LLMの強化学習を安定化させる「Score Centering」の解説

大規模言語モデル（LLM）の強化学習において、推論エンジンと学習エンジンの不一致が引き起こす不安定性の原因を数学的に解明した論文を解説します。その解決策として提案された「Score Centering」手法が、量子化やデータの古さ（Staleness）に対してどのように頑健性をもたらすかに焦点を当てます。

学習と推論の不一致（TIM）とドリフト

LLMの強化学習（RL）において、サンプリングを行う推論エンジン（サンプラー）と、パラメータを更新する学習エンジン（トレーナー）の間には、しばしば「Training-Inference Mismatch（TIM）」と呼ばれる不一致が生じます。これは、推論時の量子化や、サンプラーの更新頻度が学習に追いつかないこと（Staleness）などが原因です。この不一致により、ポリシー勾配に「ドリフト」と呼ばれるバイアスが発生します。動画内では、たとえ報酬が定数（シグナルなし）であっても、このドリフトによってモデルの重みが勝手に更新され、学習が不安定化する様子が数学的に示されています。

Score Centeringによるドリフトの解消

提案手法である「Score Centering（SC）」は、ポリシー勾配の損失関数に加法的な補正項を導入することで、このドリフトを打ち消します。具体的には、期待スコアを差し引くことで、期待勾配が報酬とスコアの共分散項のみに依存するように設計されています。これにより、サンプラーとトレーナーに乖離があっても、報酬のシグナルに基づいた正しい方向への更新が可能になります。理論上、この補正によってドリフトは完全に消失し、オフポリシー学習の安定性が劇的に向上します。

実用的な実装：Top-K近似

Score Centeringを厳密に計算するには語彙（Vocabulary）全体にわたる和を求める必要があり、計算コストが非常に高くなります。これを解決するため、著者らは「Top-K近似」を提案しています。これは、語彙の上位K個のトークンのみを使用して補正項を計算する手法です。Amine氏によれば、実験ではK=8で分布の90%、K=16で97%をカバーでき、十分に安定化効果が得られることが確認されました。ただし、現状のvLLMなどの実装ではログ確率の取得にオーバーヘッドがあり、スループットが約40%低下する課題がありますが、プルリクエスト（PR）を通じて改善が進められています。

量子化とStalenessに対する高い頑健性

実験では、Qwen3-0.6BやQwen3-30Bを用い、「Countdown」タスクや「INTELLECT-2 math」データセットで検証が行われました。Score Centeringは、4-bit KVキャッシュや8-bit重みといった重い量子化環境下でも、重要度サンプリング（IS）やその派生手法（TIS, MIS）を凌駕する安定性を示しました。特に注目すべきは「Staleness = 64」という、サンプラーを64ステップごとにしか更新しない極端な設定でも学習が崩壊しなかった点です。これにより、推論と学習を分離した効率的なRLパイプラインの構築が可能になります。

なぜ重要か

この動画は、LLMのRL学習において「推論と学習の完全な一致」を諦める代わりに、数学的な補正で実用性を担保するトレードオフを提示しています。特に、量子化や分散学習によるサンプラーの遅延（Staleness）が避けられない大規模な開発現場において、この手法は学習の安定化と計算コスト削減を両立させるための重要な基盤技術となるでしょう。ただし、Top-K近似の実装に伴うスループットの低下は、現時点での実用上の制約として留意する必要があります。

こんな人におすすめ

LLMの強化学習（PPOやDPOなど）のリサーチや実装に携わるエンジニア。量子化環境での学習不安定性に直面している開発者。