苹果把 Foundation Models 框架扩展成「用一套 Swift API 接入任意大模型」的入口:既能直接调用设备端模型,也能走 Private Cloud Compute,现在还延伸到 Claude、Gemini 等服务端模型,工具调用与引导生成等能力保持一致。新加入的图片理解让多模态提示可以直接把图片附件塞进 prompt,并与 Vision 框架打通,在设备上做 OCR 与条码识别。任何模型提供方都可以发布符合 Language Model 协议的 Swift 包接入。
🔑 核心要点
关键抽象是一个 Language Model 协议:本地模型、私有云计算、第三方服务共用同一套调用方式。