稳定报道时间 2026-10-02 12:00
新的预训练方法在困惑度之外提升了语言模型的能力
一项新研究指出，在预训练期间进行简短的抽象、算法生成数据的热身可以提升语言模型的某些能力，这些能力在困惑度指标中并未体现。
01
影响到谁
- 1Language model pretraining
- 依赖 →事实
02
证据
- AarXiv cs.LG研究机构2026-10-02 12:00
Abstract: Language models are typically pretrained from random initialization. Recent work challenges this convention, showing that a brief warm-up on abstract…