“悟道·天鹰”（Aquila）发布24小时后 摩尔线程率先实现兼容适配 当前信息

(资料图)

6月9日-10日，智源研究院在北京智源大会上重磅发布了全面开源的“悟道3.0”系列大模型，包括“悟道·天鹰”（Aquila）语言大模型等领先成果。目前，摩尔线程已率先完成对“悟道·天鹰”（Aquila）大模型的推理兼容适配，整个适配过程仅花费不到6小时时间，便已实现与摩尔线程自研MUSAChat应用的无缝集成。此前，摩尔线程曾在ChatGLM发布后24小时内实现适配，并在数小时内适配LLaMA模型，摩尔线程CUDA兼容的技术能力一再被验证。

这充分得益于摩尔线程强大的代码移植工具“musify”。该工具可快速将现有的CUDA程序迁移至摩尔线程MUSA，零成本完成CUDA代码自动移植，之后用户短时间内即可完成热点分析和针对性优化，大大缩短迁移优化的周期，从而使得大模型适配形成了标准“流水线作业”，让开发者可以省时、省力、省事、省心。

目前，基于摩尔线程打造的AI与云计算平台，已经可以运行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等开源大模型，以及摩尔线程自研的MUSAChat和MUSABert等模型的部分训练和推理应用。借助摩尔线程元计算统一系统架构MUSA，用户可以复用PyTorch开源社区的大量模型算子，降低开发成本。与此同时，摩尔线程开源的MT Pytorch可以支持多种模型的推理，覆盖CV、NLP、语音等多个领域，能够运行典型的大模型分布式多卡推理，也可以支持单机多卡与多机多卡的分布式训练。利用数据并行、模型并行以及ZERO等分布式训练技术，MT PyTorch还可以完成简单基础模型以及典型Transformer结构的NLP语言模型的训练。

据悉， 智源此次发布的“悟道3.0”系列开源模型涵盖语言、视觉、多模态等基础大模型，其中，“悟道·天鹰”（Aquila）语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。其在中英文高质量语料基础上从0开始训练，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间内，获得比其他开源模型更优的性能。

关键词：