大手ラボの陰に隠れたAI研究の最前線：音声・動画・世界モデルの最新動向

OpenAIやGoogleといった大手AIラボのニュースの影で、見落とされがちながらも画期的なAI研究やツールが次々と登場しています。本記事では、感情表現豊かな音声合成から、物理法則を理解する「世界モデル」まで、AIの可能性を広げる最新のブレイクスルーをまとめて紹介します。

表現力を自在に操る音声合成：Drama 3

Fish Audioがリリースした「Drama 3」は、テキスト入力だけで演技のニュアンスを細かく指定できる音声合成モデルです。従来のツールのように「喜怒哀楽」のプリセットから選ぶのではなく、スクリプト内に「[horrified, staring at the plate]（皿を見つめて恐怖している）」といった指示を書き込むことで、俳優に指示を出すようにパフォーマンスを制御できます。特定の単語だけを「ささやき声」にしたり、ため息や笑い声などの効果音を正確な位置に挿入したりすることも可能です。Artificial Analysisの評価では、単語の発音の正確さ（Pronunciation Robustness）において、ElevenLabsやSpaceX AIを抑えて最高スコアを記録しました。360億パラメータのモデルで、実行には46GB（量子化版で32GB）のVRAMを推奨しています。

画像と音声から5分の動画を生成：OmniHuman 2.0

ByteDanceが発表した「OmniHuman 2.0」は、1枚の画像と音声トラックから、その人物が話したり歌ったりする動画を生成するモデルです。最大の特徴は、従来モデルが60秒程度だったのに対し、最大5分間の連続したショットを生成できる点にあります。720pの解像度に対応し、テキストプロンプトによるカメラワークの制御も可能です。リップシンクの精度は向上していますが、話者は「まだ完璧ではなく、AIだと見破られる可能性はある」と述べています。価格は1秒あたり0.07ドルで、API経由でも利用可能です。

一貫性を保つ世界モデル：WorldCrafter

TencentのARC Labが開発した「WorldCrafter」は、画像やテキストから探索可能な3D空間を生成する世界モデルです。従来の世界モデルの課題は、一度視線を外して戻ると風景が変わってしまう「一貫性の欠如」でした。WorldCrafterは、カメラ位置に基づいたメモリ機能を搭載することで、一度見た場所を正確に再現します。デモでは、ルンバに乗った猫が部屋を移動する様子や、馬が画面外に消えて再び現れる様子が、破綻なく描かれています。コードはGitHubで公開されており、Hugging Face上でインタラクティブなデモを試すことができます。

ゲームエンジンとAIの融合：Matrix-Game 4.0

Skyworkの「Matrix-Game 4.0」は、AIにすべてを任せるのではなく、従来のゲームエンジンとAIを分業させるアプローチをとっています。ゲームエンジンが物理演算やルール、低ポリゴンの「プロキシ（代役）」描画を担当し、AIモデルはその上に高品質なグラフィックスを「塗り直す」役割を担います。これにより、AIが物理法則を忘れることなく、一貫したゲーム体験をリアルタイムで提供できます。同様のコンセプトとして、NVIDIAの「StreamRender-H3」も発表されており、こちらはカラーコード化されたマップからフォトリアルなレース映像を生成します。ただし、NVIDIAのモデルは8枚のGB200 GPUを必要とするなど、非常に高いハードウェア要件が課題です。

3D復元とアニメーションの進化

Preferred Networksが発表した「T3lescope」は、複数の写真から高精細な3Dメッシュを生成する技術です。従来のGaussian Splattingよりも詳細な復元が可能で、特にガラスや光沢のある表面の再現に優れています。また、香港大学などのチームによる「GaussiAnimate」は、3Dキャラクターのアニメーションに特化した技術です。骨格（スケルトン）だけでなく、服の揺れや体の柔らかい部分の動きを制御するための「フローティングノード」を追加することで、より自然な動きを実現しています。これらは、将来的にAIによる映画制作やゲーム開発を大きく変える可能性を秘めています。

なぜ重要か

AIによるコンテンツ生成は、単一のモデルにすべてを委ねる段階から、ゲームエンジンや物理シミュレーションといった「既存の論理システム」とAIの「描画能力」を組み合わせる段階へ移行しています。これにより、AIの弱点であった「一貫性の欠如（ハルシネーション）」を物理的に封じ込めることが可能になります。ただし、NVIDIAのStreamRender-H3のように、最高品質のリアルタイム生成には依然としてデータセンター級のハードウェアが必要であり、一般ユーザーが手元のPCでこれらを享受できるまでには、まだ時間がかかるというトレードオフが存在します。

こんな人におすすめ

最新のAI技術動向を追いたいクリエイターやエンジニア。大手企業の発表以外の、より専門的で実用的な研究成果を知ることができます。