亚洲财经

搜索

Marvell发布新一代AI内存基础设施方案组合提升Token效率

PANews 8月4日消息,数据基础设施半导体巨头Marvell Technology宣布推出面向AI基础设施的新一代内存解决方案组合,覆盖服务器级AI存储、机架级CXL内存扩展与池化,以及多机柜光互联共享内存,旨在解决Agentic AI推理过程中日益增长的内存容量和带宽瓶颈。 Marvell表示,随着AI模型规模扩大、上下文窗口延长以及KV Cache需求增长,传统计算与内存紧耦合架构正限制AI推理效率。通过内存解耦(memory disaggregation),可以让内存资源更加独立于计算资源扩展,提高GPU利用率并降低数据移动延迟。

转载来源:PANews(panewslab.com),版权归原作者所有,仅供资讯参考。

资讯来源:PANews