A100 和 H100 有多强悍?
然而,这些在 H100 出现之后显得略有不足了。 面向高性能计算(HPC)和数据中心的下一代 Hopper 架构,搭载新一代芯片的首款加速卡被命名为 H100,它就是 A100 的替代者。
H100 是一款针对大模型专门优化过的芯片,使用台积电 5nm 定制版本制程(4N)打造,单块芯片包含 800 亿晶体管。同时也是全球首款 PCI-E 5 和 HBM 3 显卡,一块 H100 的 IO 带宽就是 40 terabyte 每秒。
Transformer 类预训练模型是当前 AI 领域最热门的方向,英伟达以此为目标专门优化 H100 的设计,提出了 Transformer Engine,集合了新的 Tensor Core、FP8 和 FP16 精度计算,以及 Transformer 神经网络动态处理能力,可以将此类机器学习模型的训练时间从几周缩短到几天。
针对服务器应用,H100 也可以虚拟化为 7 个用户共同使用,每个用户获得的算力相当于两块全功率的 T4 GPU。此外,H100 还实现了业界首个基于 GPU 的机密计算。
基于 Hopper 架构的 H100,英伟达还推出了机器学习工作站、超级计算机等一系列产品。8 块 H100 和 4 个 NVLink 结合组成一个巨型 GPU——DGX H100,一共有 6400 亿晶体管,AI 算力 32 petaflops,HBM3 内存容量高达 640G。
与此同时,得益于与 Equinix(管理全球 240 多个数据中心的全球服务提供商)的合作, A100 和 H100 的新型 GPU 通过水冷方式来节省用户的能源成本。使用这种冷却方法最多可以节省 110 亿瓦时,可以在 AI 和 HPC 推理工作中实现 20 倍的效率提升。
公司面向全国提供自建BGP云计算中心,跨境数据中心运营,AI-GPU大数据中心运营,IOT物联网机房运营,5G移动互联机房建设,海外设备集采上架,边缘云PCDN节点汇聚,私有云建设,动态静态IP租用,机柜大带宽,高防CDN解决方案,物联系统集成,软件开发外包等业务。