/ 中存储网

Cerebras Systems 推出世界上最快的 AI 芯片,配备 4 万亿个晶体管

2024-03-19 22:58:43 来源:中存储

Cerebras Systems 通过推出晶圆级引擎 3,将其现有的最快 AI 芯片世界纪录翻了一番。WSE-3 的性能是之前的纪录保持者 Cerebras WSE-2 的两倍,功耗相同,价格相同。基于 5nm 的 4 万亿晶体管 WSE-3 专为训练业界最大的 AI 模型而构建,为 Cerebras CS-3 AI 超级计算机提供动力,通过 900,000 个 AI 优化计算核心提供 125 petaflops 的峰值 AI 性能。

主要规格:

  • 4万亿个晶体管
  • 900,000 个 AI 核心
  • 125 petaflops 的峰值 AI 性能
  • 44GB 片上 SRAM
  • 5nm台积电制程
  • 外部存储器:1.5TB、12TB 或 1.2PB
  • 训练多达 24 万亿个参数的 AI 模型
  • 最多 2048 个 CS-3 系统的集群大小
  • Cerebras Systems 推出世界上最快的 AI 芯片,配备 4 万亿个晶体管

CS-3 拥有高达 1.2 PB 的巨大内存系统,旨在训练比 GPT-4 和 Gemini 大 10 倍的下一代前沿模型。24 万亿个参数模型可以存储在单个逻辑内存空间中,无需分区或重构,从而大大简化了训练工作流程并提高了开发人员的工作效率。在 CS-3 上训练一个 1 万亿个参数模型就像在 GPU 上训练一个 10 亿个参数模型一样简单。

CS-3 专为满足企业和超大规模需求而构建。紧凑的四种系统配置可以在一天内微调 70B 模型,而在使用 2048 系统全面调整的情况下,Llama 70B 可以在一天内从头开始训练——这是生成式 AI 前所未有的壮举。

最新的 Cerebras 软件框架为 PyTorch 2.0 和最新的 AI 模型和技术(如多模态模型、视觉转换器、专家混合和扩散)提供原生支持。Cerebras 仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台,将训练速度提高了 8 倍。

“八年前,当我们开始这段旅程时,每个人都说晶圆级处理器是一个白日梦。我们非常自豪能够推出我们突破性的第三代水垢AI芯片,“Cerebras首席执行官兼联合创始人Andrew Feldman说。“WSE-3 是世界上最快的 AI 芯片,专为最新的尖端 AI 工作而打造,从专家混合到 24 万亿参数模型。我们很高兴将 WSE-3 和 CS-3 推向市场,以帮助解决当今最大的 AI 挑战。

卓越的电源效率和软件简单性

CS-3 的每个组件都针对 AI 工作进行了优化,与任何其他系统相比,CS-3 以更少的空间和更低的功耗提供更高的计算性能。虽然 GPU 的功耗是一代又一代的两倍,但 CS-3 的性能翻了一番,但保持在相同的功率范围内。CS-3 具有卓越的易用性,与 LLM 的 GPU 相比,需要的代码减少了 97%,并且能够在纯数据并行模式下训练从 1B 到 24T 参数的模型。GPT-3 大小模型的标准实现只需要 Cerebras 上的 565 行代码——这是行业记录。

行业合作伙伴关系和客户

Cerebras 已经积压了大量企业、政府和国际云的 CS-3 订单。

“作为Cerebras的长期合作伙伴,我们有兴趣了解晶圆级工程的发展。CS-3和基于这种架构的超级计算机正在为新型规模系统提供动力,使我们能够探索前沿人工智能和科学的极限,“阿贡国家实验室计算,环境和生命科学副实验室主任Rick Stevens说。“Cerebras的大胆继续为人工智能的未来铺平道路。

妙佑医疗国际战略医学主任兼放射学主任Matthew Callstrom博士医学博士表示:“作为我们与Cerebras开发改善患者预后和诊断的人工智能模型的多年战略合作的一部分,我们很高兴看到技术能力的进步,以加强我们的工作。

CS-3还将在Cerebras和G42之间的开创性战略合作伙伴关系中发挥重要作用。Cerebras 和 G42 的合作伙伴关系已经通过 Condor Galaxy 1 (CG-1) 和 Condor Galaxy 2 (CG-2) 提供了 8 exaFLOP 的 AI 超级计算机性能。部署在加利福尼亚的 CG-1 和 CG-2 都是世界上最大的人工智能超级计算机之一。

今天,Cerebras 和 G42 宣布 Condor Galaxy 3 正在建设中。Condor Galaxy 3 将配备 64 个 CS-3 系统,产生 8 exaFLOP 的 AI 计算能力,这是世界上最大的 AI 超级计算机之一。Condor Galaxy 3 是 Condor Galaxy 网络中的第三个安装。Cerebras G42 战略合作伙伴关系将提供数十 exaFLOP 的 AI 计算。Condor Galaxy 已经训练了一些业界领先的开源模型,包括 Jais-30B、Med42、Crystal-Coder-7B 和 BTLM-3B-8K。

“我们与Cerebras的战略合作伙伴关系在推动G42的创新方面发挥了重要作用,并将有助于加速人工智能的发展“。