|
|
名称：苹果发布 Apple Intelligence 基础模型技术报告
描述：报告公布两款多语言、多模态基础模型：一款约 3 B 参数的 本地模型（针对 Apple Silicon 优化），和一款基于 Parallel‑Track Mixture‑of‑Experts（PT‑MoE） 的 服务器模型，部署于 Private Cloud Compute。
本地模型通过 KV‑Cache Sharing 把 37.5 % 的层去掉 KV 投影并与前层共享缓存，令 TTFT 缩短约 37 %。
服务器模型将解码器拆分为并行“轨道”，每 N 层同步一次，最多可削减 87.5 % 同步开销；再叠加 MoE 层提高稀疏计算效率。
数据来自 Applebot 负责任抓取、授权语料与高质量合成内容，规模达 14 T tokens；视觉分支预训练于 6 B+ 图文对后与 LLM 联合训练，可处理图像‑文本混合输入。
链接：https://pan.quark.cn/s/7d264f2e9dd0
📁 大小：10MB
🏷 标签：#AI #苹果 #报告
加入微信交流群实时交流添加微信号：ALYPW-CN，点击加入QQ群→点击入群
欢迎加入阿里云盘资源分享QQ群，群号：1004740075 点击链接加入群聊【阿里云盘资源分享】
|
|
版权声明
本文内容来源于网络，仅做收集整理，不代表本站立场，不对内容真实性、有效性、时效性负责，如有疑问，可联系删除。
本文欢迎转载，转载请注明出处。
发表评论