論文「Thinking Without Words」 — 抽象トークンによる潜在 CoT で推論トークンを最大 11.6 倍削減

概要

Keshav Ramji氏らは2026年4月24日、「Abstract Chain-of-Thought（ACoT）」を提案するarXiv論文を公開した。従来の自然言語による長いChain-of-Thought（CoT）の代わりに、予約された抽象トークンの短いシーケンスで推論を表現するpost-training機構で、推論トークンを最大11.6倍削減しつつ性能を維持することを示した。

抽象トークンはモデルの内部表現として機能し、自然言語の言葉ではなく学習によって獲得されたシンボルで推論過程を圧縮表現する。学習過程では抽象トークンが自然言語類似のべき則分布を獲得することも観察されており、意味的な構造を保持したまま高効率な推論を実現する機構であることが示唆される。

数学推論、指示追従、多段階推論の各ベンチマークで複数のLLMファミリーに汎化できることも確認されており、推論コスト削減と大規模エージェント運用の効率化に直結する成果として注目される。

ポイント

• 「Abstract Chain-of-Thought（ACoT）」を提案：自然言語の代わりに予約された抽象トークン集合の短いシーケンスで推論を表現するpost-training機構
• 推論トークン数を最大11.6倍削減し、自然言語CoTと同等の性能を維持
• 数学推論、指示追従、多段階推論の各ベンチマークで複数LLMファミリーに汎化可能
• 学習過程で抽象トークンが自然言語類似のべき則分布を獲得することを観察
• 推論コスト削減とエージェント運用の効率化に直結する成果として位置付け