英特尔Gaudi3 AI加速器详情

1. 性能提升

英特尔Gaudi3 AI加速器在性能上有了显著的提升。相较于前代产品Gaudi2，Gaudi3提供了两倍的FP8和四倍的FP16性能。它的制造工艺由7nm升级到了5nm，由台积电(TSMC)负责制造。此外，Gaudi3采用了第五代张量处理核心，内核数量由24个增加到了64个，另外还有8个矩阵计算引擎。内存和缓存从96GB HBM2E/48MB提高到了128GB HBM2E/96MB，内存带宽从2.45TB/s提升至3.7TB/s。网络连接从24个100GbE变成了24个200GbE。

2. 功率和效率

尽管PCIe扩展卡的TDP比起OAM模块低了300W，但是FP8峰值性能是一样的，均为1835TeraFLOPS。PCIe版本可以四块为一组在每个系统中运行，而OAM版可以在每台服务器里以8块为一组来配置。英特尔Gaudi3加速器的推出是英特尔持续推进AI技术创新的重要一步，同时也是英特尔在AI领域布局的又一重要举措。

3. 价格和上市时间

英特尔并没有透露Gaudi3加速器的定价，传闻比起H100会低很多。Gaudi3预计将于明年如期上市。

4. 应用领域

英特尔Gaudi3 AI加速器主要面向深度学习和大规模人工智能模型生成。它将有助于大型语言模型(LLM)和多模态模型的AI训练和推理，大幅提升效能和生产力。此外，英特尔预计,Gaudi3将于2024年第二季度起出货，戴尔、惠普、联想、超微电脑等企业将成为首批客户。

5. 中国***版

英特尔还将推出两款中国独家型号的Gaudi3 AI加速器，分别为HL-328和HL-388，分别采用OAM和PCIe外形规格，前者于6月推出，后者于9月推出，与其他PCIe外形规格的Gaudi3一起推出。