量子化

KVキャッシュ革命からマルチモーダルRAGまで——LLM推論効率化と知識検索の最前線

GoogleのTurboQuantがKVキャッシュを6倍圧縮してH100で8倍高速化し、CloudflareはPrefill/Decode分離アーキテクチャで推論コストを刷新。マルチモーダルRAGやMollifier Layers・LLM-Emuなど、LLMの効率・精度・評価を根本から変える研究が続々公開された。