AI的最大瓶颈是数据移动 我今年一直在说:$ALAB将成为AI推理的最大赢家之一——对AI工作负载的税收。 现实很简单:数据在计算、内存和存储之间移动的速度不够快,无法跟上实时推理的步伐。随着模型变得更加互动、去中心化和动态,这一差距只会加大。 每个主要的AI硬件厂商都在适应: • $NVDA Grace Hopper——围绕内存一致性构建 • $AMD MI300——针对高带宽互连进行了优化 • $MSFT AI数据中心——设计了定制的网络拓扑 他们都在朝着同一个挑战汇聚:计算现在是一个连接性问题——Astera Labs是我最喜欢的应对这一瓶颈的方式。
61.12K