【CNMO科技动静】近日，@月之暗面Kimi 发布Kimi K3的模子权重、技能陈诉，并开源支撑Kimi K3模子练习的要害Infra技能：MoonEP、FlashKDA及AgentEnv。

Kimi

据CNMO科技相识，Kimi K3是月之暗面能力最强的模子：这是一个拥有2.8万亿参数的混淆专家（MoE）模子，具有原生视觉理解能力，并撑持100万token的上下文窗口。

此刻，每一个人均可如下载并部署Kimi K3模子——不管是用在内部研发，还有是嵌入到面向终端用户的产物中，都可自由利用。

与Kimi K3模子权重一路公然的，还有有模子练习要领——Kimi K3技能陈诉已经同步上线。

从技能陈诉中，用户可以相识这些技能细节：

KDA+AttnRes：以3:1比例混淆KDA与Gated MLA，实现高效长上下文建模，并经由过程块级留意力残差加强跨层信息流动。

Stable LatentMoE：每一个token从896个路由专家中激活16个，并经由过程SiTU-GLU与Quantile Balancing连结极高稀少度下的练习不变。

MoonViT-V2：视觉编码器从零最先利用next-token prediction练习，无需对于比预练习，于到达SigLIP初始化基线效果的同时得到更不变的优化历程。

后练习与评估：于通用推理、通用Agent及编程Agent三年夜范畴举行年夜范围使命合成，百万token上下文的强化进修基建，近20个内部评测集的完备评估成果。

版权所有，未经许可不患上转载