首页科技快讯苹果发布语言模型相关论文Siri未来也许能看懂屏幕了

苹果发布语言模型相关论文Siri未来也许能看懂屏幕了

来源：晰数塔互联网快讯时间：2024年04月04日 01:02

【#苹果发布语言模型相关论文##Siri未来也许能看懂屏幕了#】苹果近日发布的一篇语言模型相关的论文，预示了未来的Siri可能拥有读懂屏幕的能力，这意味着苹果终端设备更智能的交互能力。4月2日消息，苹果研究团队发表了一篇名为《ReALM: Reference Resolution As Language Modeling》的论文，主题在于解决非对话实体（non-conversational entities）中的指代消解（Reference resolution）问题。

文章摘要指出，虽然大语言模型被证明在许多任务处理中表现强大，但在屏幕实体、后台实体等非对话实体中的指代理解能力，还没有得到充分的开发利用。其中，“对话实体”指的是在对话过程中出现的具体对象或概念，可以是任何提及并被讨论的事物，例如人名、地点、事件、产品、观点等；“屏幕实体”指的是用户在电子设备屏幕上可以看到的各种元素，例如文本、图标、按钮、图片、视频等；“后台实体”通常指的是在电子设备的操作系统或应用程序中运行的、对用户不可见的进程和服务。

这篇文章主要展示了，如何利用大语言模型建立能够解析各种类型指代（尤其是非对话实体）的高效系统。团队的方法是将其转化为一个纯粹的语言建模问题，具体而言，ReALM（该模型的名称）通过已经解析的实体及其位置来重建屏幕，生成一个可视觉识别的文本，并通过对屏幕中的实体进行标注，使其具备出现所在位置的上下文，这就使得系统能够理解用户在屏幕上看到的内容。（界面新闻）