MIT联袂英伟达,推理大模子练习效率最高提速210%

2 月 28 日消息，MIT News 于 2 月 26 日发布博文，报道称麻省理工学院（MIT）联合英伟达等机构，发布“驯服长尾”（TLT）技术，可以大幅提升推理大语言模型（LLM）的训练效率。

援引博文介绍，推理大模型擅长通过拆解步骤来解决复杂问题，但在强化学习（RL）的训练过程中，算力与能耗的消耗极为巨大。

研究团队发现，生成多个备选答案的“推演”（rollout）阶段占据了高达 85% 的训练时间。由于不同处理器生成回答的长度不一，完成较快的处理器只能被迫闲置，等待其他处理器完成长文本任务，从而形成了严重的效率瓶颈。

MIT 研究人员为解决该痛点，联合英伟达、苏黎世联邦理工学院等机构，提出了一种名为“驯服长尾（TLT）”的自适应解决方案。

该方案的核心在于创新性地运用“投机解码”技术，即训练一个较小的“草稿模型”（drafter）来快速预测大模型的未来输出，随后由大模型批量验证这些猜测。这样一来，大模型无需逐个顺序生成输出，从而大幅加快了处理进程。

在传统的投机解码中，草稿模型通常只训练一次并保持静态。然而在强化学习中，主模型需要更新数千次，静态草稿模型会迅速失效。

因此，TLT 系统引入了“自适应草稿训练器”。一旦部分处理器完成短查询进入闲置状态，系统会立即调度它们实时训练草稿模型。

同时，“自适应推演引擎”会根据工作负载特征自动调整解码策略，确保草稿模型始终与目标大模型保持高度同步，且不增加额外算力开销。

基于真实世界数据集的测试表明，TLT 技术在保持模型准确率完全无损的情况下，将多个推理大语言模型的训练速度提升了 70% 到 210%。

不仅如此，训练得到的轻量级草稿模型还可以作为免费的副产品，直接用于后期的高效部署。研究团队未来计划将该技术融入更多训练与推理框架中，进一步降低 AI 开发成本并提升能源利用率。