マルチモーダル推論・3DGS・自律研究エージェントが論文界を席巻
テキスト推論を超えマルチモーダル統合へ向かうAI研究の最前線：ThinkMorphによるビジョン中心ベンチマーク34.7%改善、TideGSが単一GPUで10億超パラメータの3D Gaussian Splattingを実現するなど、実用化を意識した論文が続々と登場している。
1. ThinkMorph：テキスト・画像を交互に生成する統合推論モデル、ビジョンベンチマークで平均34.7%改善
ThinkMorphは、24,000件の高品質なインターリーブ推論トレース（テキストと画像を交互に挟んだ思考ステップ）でファインチューニングされた統合マルチモーダルモデルだ。従来の多くのモデルはテキスト推論または画像生成のいずれかに特化していたが、ThinkMorphは推論プロセス中に進行的なテキスト・画像ステップを動的に生成できる設計となっている。
ビジョン中心ベンチマーク群において、ベースモデル比で平均34.7%という大幅な改善を達成した。GPT-o3のような最先端モデルでさえマルチモーダルシナリオでのパフォーマンス維持に苦戦しているなか、ThinkMorphが示したアプローチは言語と視覚の繰り返し協調処理に基づいている。
医療診断・科学画像解析・設計補助など、視覚情報と言語推論を同時に必要とする実用応用への貢献が期待される。Hugging Face Papersでもトレンド入りしており、注目度の高さがうかがえる。
Hugging Face Papershuggingface.co
2. TideGS：SSD-CPU-GPUヒエラルキーで10億超パラメータの3D Gaussian Splattingを単一GPUで実現
香港科技大学（HKUST）のSponge Computing Labが5月19日に公開したTideGSは、単一GPUで10億以上のプリミティブ（パラメータ）を使った3D Gaussian Splatting（3DGS）の学習を可能にするフレームワークだ。従来の3DGSは超大規模シーンの表現においてGPUメモリが律速となっていたが、TideGSはパラメータをSSD・CPU・GPUのヒエラルキー全体に分散させ、ブロック仮想化により必要なデータのみをGPUにロードする仕組みを採用している。
3D Gaussian Splattingは近年、NeRF（Neural Radiance Field）に代わる高速・高品質な3Dシーン表現技術として注目を集めており、自動運転・VR/AR・映像制作・文化財デジタル保存など広範な領域への応用が進んでいる。10億超プリミティブによる詳細な都市スケール・環境スケールの3D表現が現実的なコストで可能になることで、これらの応用範囲がさらに拡大すると見られる。
Hugging Face Papershuggingface.co
3. RAG-Anything：テキスト・画像・表・グラフを統合処理するマルチモーダルRAGフレームワーク
HKUST Sponge Computing Labが5月19日に発表したRAG-Anythingは、マルチモーダル知識検索を強化する統一フレームワークだ。従来のRAG（Retrieval-Augmented Generation）システムはテキスト文書の検索に強みを持つ一方、画像・表・グラフ・図式などの非テキストコンテンツの扱いに課題があった。RAG-Anythingはこれらを一元的に処理できる設計となっており、より複雑な実世界の文書への対応を目指している。
企業内の多様な形式のドキュメント——PDF内の表や図、技術仕様書のダイアグラム、データベースのグラフ——を横断したQ&Aシステムの構築を可能にする点で、実用性が高く評価されている。特に製造・金融・医療などの専門領域で従来のテキストベースRAGが苦手としていたユースケースをカバーできると期待されている。
Hugging Face Papershuggingface.co
4. AutoResearchClaw：構造化討論と自己修復実行を組み合わせた自律研究エージェント
AutoResearchClawは、科学的発見を改善することを目的とした完全自律のマルチエージェント研究システムだ。構造化討論（複数エージェントが仮説を検証・反駁する）、自己修復実行（エラー時に自動再計画・リカバリ）、検証可能なレポート生成、ヒューマン・イン・ザ・ループの協調、そして進化的学習（過去タスクから継続的に改善）の5つの柱で設計されている。
既存の自律研究ベンチマーク上で前世代システムを上回る性能を示しつつ、人間の監督を維持するバランスを保っている点が特徴的だ。同様の方向性を持つARIS（Adversarial Research Infrastructure System）も5月4日に公開されており、クロスモデルの敵対的協力による長期研究の信頼性確保を目指している。AIが研究プロセス全体を補佐する「AIネイティブ研究」が現実のものとなりつつある。
Hugging Face Papershuggingface.co
5. Mega-ASR：複合データ構築と段階的音響・意味最適化による実世界音声認識の頑健化
5月19日に発表されたMega-ASRフレームワークは、実世界における音声認識の頑健性を向上させることを目的とした研究成果だ。複合データ構築（多様な雑音・アクセント・環境条件のデータを組み合わせて訓練データを拡充）と段階的音響・意味最適化（音響特徴の認識から意味理解への段階的な学習）を組み合わせたアプローチを採用している。
実世界の音声認識ではスタジオ収録とは異なり、背景騒音・話者間の重なり・遠距離マイク・多様なアクセントなどが複合的に絡み合う。既存のASRシステムはクリーン音声では高精度を達成する一方、こうした実環境では精度が大幅に低下することが課題だった。Mega-ASRはこのギャップを体系的に埋めるアプローチとして、ビデオ会議・ロボット・医療記録など幅広い応用への貢献が期待されている。
Hugging Face Papershuggingface.co
6. マルチモーダル手続き的知識フレームワーク：視覚エージェントの外部スキル活用を体系化
5月14日に上海交通大学から発表されたこの研究は、視覚エージェントが外部の再利用可能なスキルを活用するためのマルチモーダル手続き的知識フレームワークを提案している。テキスト・状態カード・視覚キーフレームを組み合わせた構造化表現によって、複雑な環境での意思決定を改善する。
ロボット操作・GUI自動化・ゲームプレイなど、視覚的な状態観察に基づいて複数ステップの手続きを実行するエージェントにとって、既存の知識を効率的に再利用できる仕組みは重要だ。同研究は、エージェントが事前に学習したスキルライブラリから適切なスキルを検索・適用することで、新しいタスクへの汎化性能を大幅に高めることを示している。