2.1、屏幕理解—以苹果与谷歌为例 Ferret-UI 作为多模态大语言模型，作用是帮助 Apple Intelligence 理解用户屏幕上的内容，为 Siri 获得更好的上下文理解。苹果于 2024 年4 月8 日发布Ferret-UI，并于24年7月将模型升级到Ferret v2，目前有70亿与130亿参数两个版本的Ferret 模型。

很显然，这股热潮完全没有要停息的意思。今天，有网友发现苹果已经默默发布了 Ferret-UI 的两个实现版本（分别基于 Gemma 2B 和 Llama 8B），这是苹果今年五月发布的一个可让 AI 理解手机屏幕的技术。 不仅如此，微软也低调开源了他们的相关研究 OmniParser ...

此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。

IT之家4 月 10 日消息，苹果公司近日发布研究论文，展示了 Ferret-UI AI 系统，可以理解应用程序屏幕上的内容。 以 ChatGPT 为代表的 AI 大语言模型（LLMs），其训练材料通常是文本内容。为了能够让 AI 模型能够理解图像、视频和音频等非文本内容，多模态大语言 ...

引用使模型能够准确地解释特定区域的语义，而接地涉及使用语义描述来定位这些区域。 开发人员推出了 Ferret，这是一种多模态大型语言模型 (MLLM)，能够理解图像中任何粒度或形状的空间指代，并准确地建立开放词汇描述。 Ferret 使用一种新颖的混合表示 ...

当有了这样的框架后，苹果就可以将Ferret模型塞进便携设备里了。 Ferret模型是苹果在2023年10月推出的新型多模态大型语言模型（MLLM），它能够理解 ...

今年10月，作为苹果公司与哥伦比亚大学的研究成果，Ferret就已经发布过一次，只是当时仅供研究使用而非商业许可，所以并未引起多大关注。如今情况发生了转变，随着各大科技公司你追我赶地公布研发成果，关于本地模型为小型设备提供智能体验的讨论也越 ...

IT之家12 月 25 日消息，苹果公司于 2023 年 10 月与哥伦比亚大学的研究人员合作发布了名为 Ferret（雪貂）的开源多模态 LLM，但当时并没有引起太多关注。 许多人工智能社区的人士都错过了 Ferret 的发布，他们对苹果意想不到地进入开源 LLM 领域表示欢迎，尤其是 ...

在发布会上，创想三维发布了多款与奥比中光技术合作的3D打印及3D扫描新品，包括K1 Max旗舰3D打印机、CR-Scan Ferret、星云屏+AI激光雷达等矩阵新品实现了多项行业突破。 创想三维春季新品发布会 发布会现场，奥比中光与创想三维举行战略合作签约仪式 ...

ferret是一个网络抓取系统，旨在简化网络上的数据提取，用于 UI 测试，机器学习和分析等. 拥有自己的声明性语言，ferret抽象出技术细节和底层技术的复杂性，帮助关注数据本身. 它非常便携,可扩展且快速. 给我看一些代码 以下示例演示了动态页面的使用. 首先 ...