近日，苹果的人工智能研究人员表示，他们已取得一项重大突破，通过一种创新的闪存利用技术，成功地在内存有限的苹果设备上部署了大型语言模型（llm）。这一成果有望让更强大的 siri、实时语言翻译以及融入摄影和增强现实的尖端 ai 功能登陆未来 iphone。
近年来，像 chatgpt 和 claude 这样的 llm 聊天机器人风靡全球。它们能够进行流畅的对话、撰写不同风格的文本，甚至生成代码，展现出强大的语言理解和生成能力。然而，这些模型有一个致命弱点：它们极其“吃”数据和内存，普通手机根本无法满足其运行需求。
为了突破这一瓶颈，苹果研究人员开辟了一条新路，将目光投向了手机中普遍存在的闪存，也就是储存应用和照片的地方。在题为“闪存中的 llm：利用有限内存实现高效的大型语言模型推理（llm in a flash: efficient large language model inference with limited memory）”的论文中，研究人员提出了一种巧妙的闪存利用技术，将 llm 模型的数据存储在闪存中。作者指出，与传统用于运行 llm 的 ram 相比，闪存在移动设备中容量要大得多。
他们的方法巧妙地利用两种关键技术绕过限制，从而最小化数据传输并最大化闪存内存吞吐量：
- 窗口化（windowing）：可以将其视为一种回收利用的方法。ai 模型不会每次都加载新数据，而是会重复使用部分已处理的数据。这减少了频繁读取内存的需要，让整个过程更加流畅高效。
- 行-列捆绑（row-column bundling）： 这种技术类似于你读一本书时，不是逐字逐句地阅读，而是成段地阅读。通过更有效地分组数据，可以从闪存中更快地读取数据，从而加速 ai 理解和生成语言的能力。
论文指出，这项技术可以让 ai 模型的运行规模达到 iphone 可用内存的两倍。在这项技术的加持之下，llm 的推理速度在 apple m1 max cpu 上提高了 4-5 倍，在 gpu 上提高了 20-25 倍。“这一突破对于在资源有限的环境中部署先进的 llm 至关重要，极大地扩展了它们的适用性和可访问性，” 研究人员写道。
更快更强的 iphone ai
人工智能效率的突破为未来的 iphone 开辟了新的可能性，例如更先进的 siri 功能、实时语言翻译以及摄影和增强现实中复杂的 ai 驱动功能。该技术还为 iphone 在设备上运行复杂的人工智能助手和聊天机器人奠定了基础，据悉苹果已经开始着手这项工作。
苹果开发的生成式 ai 最终可能被整合到其 siri 语音助手中。2023 年 2 月，苹果举办了人工智能峰会，并向员工介绍了其大型语言模型工作。据彭博社报道，苹果的目标是打造一个更智能的 siri，与 ai 深度集成。苹果计划更新 siri 与信息应用程序的交互方式，让用户能够更有效地处理复杂问题和自动完成句子。除此之外，传闻苹果还计划将 ai 添加到尽可能多的苹果应用程序中。
apple gpt：口袋里的超级大脑
据报道，苹果正在研发自己的生成式 ai 模型，代号为“ajax”，旨在与 openai 的 gpt-3 和 gpt-4 竞争，拥有 2000 亿个参数，暗示其在语言理解和生成方面具有高度复杂性和强大的能力。
ajax 在内部被称为“apple gpt”，旨在统一苹果机器学习开发，这表明苹果将 ai 更深入地整合到其生态系统中。
据最新报道，ajax 被认为比早期的 chatgpt 3.5 更加强大。然而，一些消息人士也指出，openai 的新模型可能已经超越了 ajax 的能力。
the information 和分析师 jeff pu 均声称，苹果将在 2024 年底左右，也就是 ios 18 发布之时，在 iphone 和 ipad 上提供某种形式的生成式 ai 功能。pu 在 10 月份表示，苹果将在 2023 年建设数百台 ai 服务器，2024 年还将建设更多服务器。据报道，苹果将提供云端 ai 和设备端处理 ai 相结合的凯发官网入口首页的解决方案。
