Hugging Face、新モデル「Beam」を発表。501Bパラメータのオープン重みMoE

Hugging FaceとReflectionが共同で、新しいオープン重みモデル「Beam」を発表しました。このモデルは、エージェント的なタスクやコーディング、推論に特化して設計された巨大なMixture-of-Experts（MoE）モデルです。

Beamの主な仕様と性能

Beamは、総パラメータ数501B、アクティブパラメータ数23BのMoE（Mixture-of-Experts）アーキテクチャを採用しています。主な特徴は以下の通りです。

・コンテキストウィンドウ：100万トークンに対応。 ・学習データ：23.8兆トークンの事前学習データを使用。 ・アーキテクチャ：52レイヤー、隠れ層サイズ5,120。256個の専門家（エキスパート）からなり、トークンごとに8個が選択されます。 ・ライセンス：Apache 2.0ライセンスで公開され、商用利用やカスタマイズが可能です。 ・特化領域：エージェント的なコーディング、ツール利用、論理的推論に最適化されています。

ベンチマークでは、AIME 2025において事前学習直後の46.2%から、強化学習（RL）を経て55.8%まで精度が向上したことが示されています。また、推論効率も高く、トークンあたりの計算コストが抑えられています。

推論とカスタマイズのサポート

Beamは公開初日から主要な推論ライブラリやフレームワークでサポートされています。

・Transformers：最新のtransformersライブラリ（5.20.1以降）で動作します。 ・vLLMおよびSGLang：これらのエンジン向けに最適化された実装が提供されており、FP8やNVFP4といった量子化チェックポイントも利用可能です。 ・Mirror：Reflectionが開発したRustベースの高速なコーディング用ハーネスで、Beamと組み合わせて使用することで高いパフォーマンスを発揮します。 ・ハードウェア要件：BF16形式では約1TBのVRAMが必要ですが、FP8やNVFP4を利用することで、H100やBlackwellなどの最新GPUでの運用が現実的になります。

強化学習（RL）による性能向上

Beamの開発において、強化学習（RL）プロセスが重要な役割を果たしました。研究チームは、モデルが単に知識を思い出すだけでなく、自己検証やバックトラッキングといった高度な認知的スキルを獲得するように訓練しました。特に、報酬信号のノイズを排除し、モデルが正解を「推測」するのではなく、論理的に導き出すように環境を設計したことが強調されています。このRLプロセスにより、数学やコーディングといった複雑なタスクでの成功率が大幅に向上しました。

「Build with Beam」プロジェクト

モデルの公開に合わせて、コミュニティ向けのハッカソンプロジェクト「Build with Beam」が発表されました。優れたプロジェクトには、総額10,000ドルの賞金と10,000ドルのHugging Face Hubクレジットが提供されます。対象となるのは以下の3つのカテゴリーです。

1. スペース（デモ）：Beamを使用したアプリケーションのデモ。
2. モデル：Beamのファインチューニング、量子化、マージモデルなど。
3. データセット：Beamを使用して作成された合成データセットや、Beamの評価用データセット。

応募はHugging Faceのモデルページにあるディスカッションタブにリンクを投稿することで完了します。

なぜ重要か

Beamは、巨大なモデルサイズ（501B）でありながら、MoEの採用によりアクティブパラメータを23Bに抑え、推論効率と高性能を両立させています。特に、100万トークンのコンテキストウィンドウと強化学習による推論能力の強化は、長期的なタスクを実行する自律型エージェントの開発において強力な基盤となります。一方で、BF16での運用には膨大なVRAMが必要となるため、多くのユーザーにとってはFP8などの量子化版の利用が前提となるトレードオフがあります。

こんな人におすすめ

大規模言語モデルのカスタマイズを検討している開発者、自律型AIエージェントを構築したいエンジニア、最新のMoEモデルの内部構造に関心のある研究者。