苹果基础模型框架更新:支持多模态与第三方模型

苹果更新基础模型框架,新增图像理解与第三方模型支持。开发者可通过统一Swift API接入Claude、Gemini等服务器端模型,并利用动态配置文件在单一会话中灵活切换模型参数与工具集。

概述

基础模型框架(Foundation Models Framework)为应用集成大型语言模型提供了原生 Swift API 支持。该框架旨在简化从快速文本摘要到动态代理构建的各类应用场景,内置了指导生成、工具调用、图像理解及动态配置文件等核心功能。

支持Claude与Gemini接入

框架更新要点

合规与准则

  • 基础模型框架规范
  • 生成式 AI 人机界面设计指南

图像理解能力

框架支持在文本输入中并行传递图像数据,使应用程序具备对视觉内容进行推理的能力。这一特性拓展了基于视觉理解的体验边界。同时,视觉框架已直接集成至系统中,提供专门构建的工具链,包括用于精确文本提取的 OCR 功能和用于快速扫描代码的条形码阅读器。

图像理解技术进展

模型支持与扩展

开发者可直接访问 Apple 智能核心的设备端基础模型,从而构建无需互联网连接、注重隐私保护的智能化体验。针对更复杂的工作流需求,基础模型框架现已扩展至服务器端模型支持,涵盖 Claude、Gemini 等第三方提供商。所有模型均通过统一的 Swift API 接入,并完整支持工具调用和引导生成功能。

任何模型提供商均可创建符合“语言模型协议”的 Swift 包,以接入该框架生态。

支持的模型列表

  • Core AI 语言模型
  • MLX 语言模型
  • Claude
  • Gemini

私有云计算服务

对于注册 App Store 小企业计划且首次下载量低于 200 万次的开发者,可免费使用运行在私有云计算上的 Apple 基础模型。该服务在提供前沿智能水平的同时,确保用户数据不被存储或访问,兼顾隐私保护。

基于私有云的模型构建

LLM 提供者集成

动态配置文件机制

动态配置文件引入了一种新的声明式 API,允许持续更新会话中的模型、工具和指令配置。相较于固定配置的会话模式,开发者可定义包含不同模型、温度参数、推理水平及工具集的多个配置文件,并在单一连续会话中灵活切换。由于各配置文件共享会话记录,这种机制有助于提升应用的情境感知能力。该设计作为可适应的构建块,适用于开发 AI 代理、技能模块及其他高级抽象逻辑。

代理应用体验构建

调试与配置程序

结合 Core Spotlight 的 LLM 搜索

评估框架

评估框架提供了测试提示词及验证智能驱动功能在动态条件下正确性的能力。无论是调整指令、切换模型还是修改动态配置文件,该框架均能提供相应的信心保障。

评估框架合规性

基于评价优化提示

代理应用的可靠评估

命令行工具 (CLI)

fm CLI

macOS 27 引入了新的 fm 命令行工具,旨在简化脚本编写、自动化模型工作流程,并加速原型开发过程,使开发者无需编写完整的应用代码即可快速实现创意。

AI 驱动脚本构建

开源组件

为促进新兴 AI 模式的采用,官方发布了 Foundation Models 框架实用程序包。该包在框架基础上增加了实验性抽象层,包括自定义技能、上下文管理助手以及连接托管模型的聊天完成客户端。

此外,Python 版 Foundation Models SDK 将框架能力延伸至 Python 生态系统,支持与流行工具及评估包的集成。

  • 基础模型框架工具包
  • Python 版基础模型 SDK

使用要求与合规

基础模型框架的可接受使用要求明确了 Apple 基础模型的禁止用途。依据人工智能法第 53 条第 1 款第 (b) 项,Apple 向计划将 AFM 3 云集成至其系统的人工智能服务提供商提供相关信息与文档。

  • 基础模型框架可接受使用政策
  • AFM 3 云模型技术文档

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读