受此启发，研究人员开始探索预训练阶段的长度扩展，已有方法包括在序列中插入文本、插入潜在向量（如 Coconut）、复用中间层隐藏状态（如 CoTFormer）以及将中间隐藏状态映射为概念（如 ...

在AI领域，字节跳动同样采用了赛马机制。据最近的报道显示，字节跳动正在积极布局AI领域，并通过赛马机制来推动不同AI项目的发展。例如，在开发AI对话类产品时，多个小组会同时进行研发，每个小组都有自己的独特思路和技术路线。最终，通过综合评估，选择最优的方案推向市场。