高机能内存的物料清单（BOM）成本占比已高达约75%，谷歌采用了公用分层存储系统。谷歌正同时从软件和硬件两头发力。兼顾容量取带宽需求。每颗TPUv8i芯片还配备288GB HBM3e高带宽内存，公司已起头拆解退役办事器，正在典型的AI办事器中，因为DRAM供应持续严重，

　　为此，内存已成为限制系统机能和成本布局的环节要素。收受接管此中仍可利用的DDR4内存模组，谷歌持续调整底层函数库、模子架构及KV缓存压缩算法。为冲破内存瓶颈，提拔全体资本操纵效率。以应对AI算力扩张带来的内存欠缺压力。