線形複雑度で超長文脈を処理—MSAが切り拓くLLMの新地平

1. Memory Sparse Attention（MSA）—線形計算量で超長文脈を処理するLLMアーキテクチャ

大規模言語モデルが極めて長いコンテキストを効率的に処理する手法として「Memory Sparse Attention（MSA）」が発表された。従来のTransformerはシーケンス長に対して二乗の計算コストがかかるのに対し、MSAはSparse Attentionとdocument-wise RoPEを組み合わせることで線形計算量を実現している。これにより数百万トークン規模のコンテキスト処理が実用的なハードウェアで可能となり、LLMの長文脈対応における根本的なスケーラビリティ問題を解消する可能性がある。論文は超長文脈のコード生成・長期記憶を要するエージェントタスク・大規模ドキュメント処理への応用を示唆しており、Llama 4 Scoutが採用した長文脈処理の理論的基盤ともなりうる研究として注目されている。

2. DMax：自己修正により並列デコードエラーを克服する拡散型言語モデル

拡散型言語モデル（Diffusion LM）の大きな課題であった並列デコード時のエラー蓄積を解消する手法「DMax」が提案された。DMaxはStateful Promptsと統一的なトレーニング戦略を組み合わせ、自己修正機構を内蔵することでエラーの連鎖を防ぐ。自己回帰型モデルと比較して大幅に高速な並列生成が可能でありながら、品質を維持できる点が最大の貢献だ。拡散型LMはテキスト生成の高速化・双方向文脈利用・編集能力の向上においてメリットを持つが、品質面での課題が普及を妨げていた。DMaxはその障壁を克服する実践的な手法として、次世代言語モデルアーキテクチャの候補として注目される。

3. DISCO：タンパク質配列と3D構造を同時設計するマルチモーダル生成モデル

タンパク質の配列と3D立体構造を同時に生成するマルチモーダル深層生成モデル「DISCO」が発表された。DISCOは前例のない触媒能力を持つ新規ヘムエンザイムの設計に成功しており、従来の計算的タンパク質設計の手法では到達できなかった「配列と構造の共設計（co-design）」という新アプローチを実現した。創薬・バイオ触媒・材料科学への応用が期待され、AIによる科学的探索の射程が大きく広がっている。タンパク質折り畳み予測でのAlphaFoldの成功に続き、今回は「設計」フェーズへのAI活用という新しい展開を示している。

4. HuggingFaceがOpen LLM Leaderboardを刷新—汚染耐性ベンチマークで再評価

HuggingFaceはOpen LLM Leaderboardのベンチマーク体系を大幅にリニューアルした。新ベンチマークはトレーニングデータへの汚染（データ汚染）に対して耐性を持つよう設計されており、既存のリーダーボードで見られた「ベンチマーク特化型過学習」問題に対処する。新評価基準でのトップはLlama 4 Maverick、Mistral Large 3、Command R+となっており、従来のランキングから一部の順位が変動した。LLMの公正な評価手法は研究コミュニティの長年の課題であり、今回の刷新は産学両分野でのモデル選定・研究比較に大きな影響を与えると考えられる。

5. ICMLが497本の論文を却下—査読でのAI不正使用を透かし技術で検出

国際機械学習会議（ICML）は、AI使用ポリシー違反を理由に497本の論文（全投稿の約2%）を却下した。査読用に配布した論文に透かし（ウォーターマーク）を秘密裏に埋め込み、生成AIによる査読を検出するという独創的な手法が用いられた。AIを使った査読は研究コミュニティの品質・公正性を損なうとして厳しく規制されており、今回の大規模摘発は業界全体に波紋を広げている。AI時代における学術的誠実性の確保という新たな課題に対して、主要な学会が技術的手段で対抗する先例となった事例として注目される。

6. 汎用言語モデルエージェントが強化学習とメモリで自律的にタスク特化エージェントを設計

強化学習とメモリ（スキルライブラリ・Stateful Prompts）を組み合わせることで、汎用言語モデルエージェントが自律的にタスク特化エージェントを設計・改善するシステムが提案された。エージェントがエージェントを生み出す「再帰的な自己改善」の概念を実装したもので、特定タスクへの特化エージェントを人手なしで自動生成できる。複雑なワークフローのオーケストレーションや、ドメイン特化AIアシスタントの大規模自動構築など、エンタープライズAIの自動化において有望なアーキテクチャとして注目されている。