< 返回新闻公告列表

A100 和 H100 有多强悍?

发布时间:2023-7-21 17:57:10    来源: 纵横数据
相比于英伟达前一代的 Volta GPU,A100 的性能提升了 20 倍,非常适合于人工智能、数据分析、科学计算和云图形工作负载。该芯片由 540 亿个晶体管组成,打包了第三代 Tensor 核心,并具有针对稀疏矩阵运算的加速功能,对于 AI 推理和训练来说特别有用。此外,每个 GPU 可以划分为多个实例,执行不同的推理任务,采用 Nvidia NVLink 互连技术可以将多个 A100 GPU 用于更大的 AI 推理工作负载。


然而,这些在 H100 出现之后显得略有不足了。 面向高性能计算(HPC)和数据中心的下一代 Hopper 架构,搭载新一代芯片的首款加速卡被命名为 H100,它就是 A100 的替代者。


H100 是一款针对大模型专门优化过的芯片,使用台积电 5nm 定制版本制程(4N)打造,单块芯片包含 800 亿晶体管。同时也是全球首款 PCI-E 5 和 HBM 3 显卡,一块 H100 的 IO 带宽就是 40 terabyte 每秒。


Transformer 类预训练模型是当前 AI 领域最热门的方向,英伟达以此为目标专门优化 H100 的设计,提出了 Transformer Engine,集合了新的 Tensor Core、FP8 和 FP16 精度计算,以及 Transformer 神经网络动态处理能力,可以将此类机器学习模型的训练时间从几周缩短到几天。


针对服务器应用,H100 也可以虚拟化为 7 个用户共同使用,每个用户获得的算力相当于两块全功率的 T4 GPU。此外,H100 还实现了业界首个基于 GPU 的机密计算。


基于 Hopper 架构的 H100,英伟达还推出了机器学习工作站、超级计算机等一系列产品。8 块 H100 和 4 个 NVLink 结合组成一个巨型 GPU——DGX H100,一共有 6400 亿晶体管,AI 算力 32 petaflops,HBM3 内存容量高达 640G。


与此同时,得益于与 Equinix(管理全球 240 多个数据中心的全球服务提供商)的合作, A100 和 H100 的新型 GPU 通过水冷方式来节省用户的能源成本。使用这种冷却方法最多可以节省 110 亿瓦时,可以在 AI 和 HPC 推理工作中实现 20 倍的效率提升。


公司面向全国提供自建BGP云计算中心,跨境数据中心运营,AI-GPU大数据中心运营,IOT物联网机房运营,5G移动互联机房建设,海外设备集采上架,边缘云PCDN节点汇聚,私有云建设,动态静态IP租用,机柜大带宽,高防CDN解决方案,物联系统集成,软件开发外包等业务。

官网:www.155cloud.com  联系方式:QQ:576791973 1590875265  手机:19906048602 

19906048602
19906048602 19906048602
返回顶部
返回顶部 返回顶部