京东开源JoyAI-LLM-Flash大模子：手艺打破赋能AI应用新能够

京东近日在Hugging Face平台正式推出其最新研发的大语言模型——JoyAI-LLM-Flash，标志着这家电商巨头在人工智能领域迈出关键一步。该模型采用混合专家架构（MoE），总参数规模达48亿，其中仅3亿参数处于激活状态，通过优化设计实现高效计算。在预训练阶段，模型处理了超过20万亿文本Token，展现出对前沿知识的深度理解能力、逻辑推理水平以及编程相关技能。

技术团队创新性地引入纤维丛理论构建强化学习框架，开发出名为FiberPO的优化系统。该框架结合Muon优化器与稠密多Token预测技术，有效解决了传统大模型在规模扩展时面临的训练不稳定问题。实验数据显示，采用新架构的模型吞吐量较非MTP版本提升1.3至1.7倍，显著提高了训练效率与工程应用潜力。

模型架构设计突破多项技术指标：40层深度网络结构支持128K超长上下文窗口，词表容量扩展至129K，能够处理更复杂的语言任务。这种架构设计既保证了模型对长文本的连贯理解能力，又通过专家模块的动态激活机制控制计算开销。京东方面表示，该模型的开源将为学术界和产业界提供新的技术基准，推动大模型在电商、物流等垂直场景的落地应用。