蚂蚁、中国人民大学发布行业首个原生MoE扩散语言模型

钛媒体App 9月12日消息,外滩大会上,蚂蚁集团和中国人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性。该模型将在近期完全开源。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报右侧

投资日历
更多
Baidu
map