YT YouTube2Text

YouTube2Text → Transcripts → 挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras

挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras — Transcript

by 硅谷101 · 1,260 words · 1,092 segments · language zh · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00十年前这是一家没人看好的公司
0:03从成立第一天
0:04它就只想做一种
0:05从来没有被造出来过的芯片
0:08它试图挑战英伟达的霸主地位
0:10却在成立之初屡屡碰壁
0:12多次濒临倒闭
0:14十年磨一剑
0:15今年5月它终于上市了
0:18市值一度接近千亿美元
0:20CEO说我们愿意和每一家
0:22Hyperscaler（超大规模云服务商）合作
0:24提升AI推理速度
0:25除了英伟达
0:27当别人说“这个问题解决不了”的时候
0:28你心里想的是
0:29是“你”解决不了
0:30我们有幸采访了Cerebras的早期投资人
0:32和最早证明Cerebras产品可以落地的
0:35研究人员
0:36我们还和Cerebras内部负责产品的高管
0:39讨论了近两年来Cerebras的转型
0:41和IPO之后的动作
0:43那串起这些蛛丝马迹之后
0:45我自己也很惊讶地发现
0:47要理解Cerebras上市的辉煌
0:49我们需要回到十年前
0:51回到一块白板
0:53一个快要倒闭的创业公司
0:55一段几乎没有人相信的物理学赌局
0:58还有一个拥有当时全球最大语言模型的
1:01AI实验室
1:03如何在一个不可能的时间节点
1:05成为了这个故事里最关键的那一页
1:09这是Cerebras的故事
1:192014年吴恩达离开斯坦福AI实验室
1:22加入百度
1:23受到Google Brain启发
1:24百度投入了3亿美元
1:25成立了位于硅谷的AI实验室
1:28他们最主要的目的是
1:30让深度学习发挥商业价值
1:32而对于当时的互联网公司来说
1:34这大部分都是物理层面的应用
1:37自动驾驶、机器人、语音识别
1:40我当时会这么兴奋是因为在英伟达的时候
1:43我就在想我们应该把整个CUDA的路线图
1:46都转向深度学习
1:47因为AI终于开始真正起作用了
1:49一开始这主要是在视觉任务上被证明的
1:51比如图像识别
1:53但后来 Andrew（吴恩达）加入百度之后
1:55我们开始重新思考这个问题
1:56他的想法是
1:57我们应该做一些真正有产品影响力的东西
1:58做一些人们真的会使用的东西
2:00所以我们才从语音开始
2:02因为语音的用户规模
2:04比图像搜索要大得多
2:05这是Greg Diamos
2:07他在独家采访当中告诉我们《硅谷101》
2:10吴恩达当时为百度带去了一批
2:12顶尖的AI研究员
2:14Greg就是其中之一
2:16在此之前 Greg在英伟达做了多年的
2:19CUDA软件架构
2:20而当年的CUDA
2:21还是一个无人问津的内部项目
2:24那时候
2:25CUDA基本上就是个笑话
2:27没人用
2:28AI实验室成立后不久
2:29百度团队就发表了一篇知名的论文
2:32《Deep Speech》
2:33端到端的语音识别模型
2:35允许人们点击麦克风标志
2:37对搜索引擎说话
2:38他们还训练了世界上最初的
2:41几个深度神经网络
2:42下一步的计划是训练语言模型
2:45我们当时有一个疯狂的卷发研究员
2:48叫Dario Amodei
2:50我们一起研究语言模型
2:51也研究如何扩大语言模型的规模
2:53那段时间我们拥有世界上最大的
2:55用于深度学习的CUDA集群
3:00这后来也挺有名的
3:02百度团队研究的语言模型
3:04在当年是全球最大的
3:06拥有3亿参数
3:08训练这个模型需要三个月的时间
3:11在这个过程中
3:12他们发现了一个规律
3:13模型越大、数据越多、算力越强
3:16模型就越聪明
3:18而这个提升是可以预测的是线性的
3:21这个规律被称为Scaling Law（规模定律）
3:24在几年后这个经过验证的结果
3:26被百度团队发表在了一篇论文里叫做
3:29《Deep Learning Scaling is Predictable, Empirically》
3:32Dario Amodei后来将这个发现
3:34带去了OpenAI
3:35成为了GPT的核心逻辑
3:37我第一次看到这个规律的时候就觉得
3:40这是通向智能的道路
3:42我当时简直不敢相信
3:43智能居然有路可达
3:44你想象一下
3:46像我这一代学计算机的人一直被教育说
3:50计算机科学里的进步都非常困难
3:52每一点提升都来之不易
3:54有些问题几乎是碰不得的
3:56比如语音、语言、视觉这些问题
3:59都非常非常难
4:01但这个东西就是能跑通
4:04而且它很简单
4:05你需要做的
4:07只是训练一个更大的语言模型
4:08但问题也随之而来
4:10如果Scaling Law（规模定律）是对的
4:11那么要训练将来真正有用的模型
4:14所需要的算力
4:15将是现有的GPU集群
4:17完全无法提供的量级
4:19百度的研究员们意识到
4:21他们需要一种新的硬件
4:27在百度团队发现Scaling Law（规模定律）的同一年
4:30有五位硅谷工程师决定离开AMD
4:33在此之前
4:34他们在一家
4:35叫做SeaMicro的微服务器公司共事
4:382012年被AMD以3.34亿美元收购
4:42这五个人的名字是
4:43Andrew Feldman, Gary Lauterbach
4:45Michael James, Sean Lie, J-P Fricker
4:48其中 Andrew和Gary是SeaMicro的联创
4:51第一次聚在一起的时候
4:53五个人在一块白板上写下了他们的愿望
4:56他们希望硅谷的计算机历史博物馆
4:59有一天会出现他们的名字
5:02从第一天起
5:03Cerebras的目标就是
5:04造一个为AI而生的硬件
5:07在2015年
5:09这个判断要归功于我的几位联合创始人
5:11Gary, Sean, JP和Michael
5:15他们当时已经看到了AI即将崛起
5:19而这意味着计算机会面临一个新的问题
5:23AI软件对底层芯片、对处理器提出的要求
5:29会和过去完全不同
5:31我们逐渐相信针对这个新问题
5:34我们可以造出一台更好的机器
5:35我们知道
5:35最初的AI训练靠CPU和GPU搭配
5:39CPU是总指挥负责调度任务
5:41GPU则像一座巨大的工厂
5:44里面有成千上万个小工位
5:46可以进行大规模并行计算
5:49但AI训练远不止一次计算
5:52参数、梯度、激活值全得在
5:54显存、缓存、计算单元和GPU间来回倒腾
5:58一旦模型大到单卡塞不下
6:01就得切成几块分给多卡
6:03让它们互相配合
6:05我们看到的是这将是最难的一个问题
6:08但只要攻克了它
6:12我们就能做出一台
6:14又快又省电的AI计算机
6:15所以真正拖慢AI的
6:17很多时候是数据在不同芯片、不同内存
6:20不同机器之间来回移动的过程
6:23许多芯片公司解决这个问题的思路
6:26是把GPU拼成一个集群
6:28再花大量工程
6:30解决它们之间怎么沟通的问题
6:32而Cerebras的思路是
6:34将尽可能多的计算单元、内存和互联
6:37放在一整片晶圆上
6:39成为晶圆级引擎
6:41普通芯片的制造
6:43是在一张晶圆上
6:44同时印出几百个小芯片
6:46然后切开一块一块单独使用
6:49但Cerebras是把整张晶圆
6:51做成一个巨大的AI处理器
6:53这片晶圆的面积是最大GPU的58倍
6:57很多原本需要跨GPU、跨服务器
6:59跨网络完成的数据移动
7:01现在都可以在晶圆内部完成
7:04传统GPU架构里
7:08HBM（高带宽内存）是和计算芯片分开的
7:14只要数据需要在内存和计算单元之间传输
7:19就会耗费很长时间
7:20这个过程受限于所谓的内存带宽
7:22因为我们的内存和计算单元在同一片硅上
7:26所以我们拥有极高的内存带宽
7:29达到GPU的数千倍量级
7:342016年3月
7:35Cerebras正式成立
7:36由Benchmark领投Series A
7:38融资2700万美元
7:40说到这里
7:41我们不得不感叹Andrew的远见
7:44在2015年底
7:45Cerebras决定押注晶圆级引擎的时候
7:48Transformer架构甚至都还没有出现
7:50而今天这套以大模型为核心的AI产业
7:54也还远远没有成型
7:56当时深度学习当然已经在爆发
7:58英伟达也已经开始
7:59把GPU推向数据中心和神经网络训练
8:03但主流路线
8:04仍然是把GPU拼成越来越大的集群
8:07再用软件和高速互联
8:09解决训练速度的问题
8:11Cerebras的不同之处在于
8:13它从一开始就问了一个更加底层的问题
8:16如果AI会成为一种全新的计算负载
8:19那能不能为它重新设计一台机器呢
8:23有投资人回忆
8:242015年底与Andrew见面的时候
8:26发现他当时有一页slide（幻灯片）
8:28列出了深度学习面临的七个核心问题
8:32而这些问题本质上都指向同一件事
8:35训练时间太长
8:37这也是上一章结尾我们提到的
8:39百度团队所面临的瓶颈
8:45这是投资人周楠
8:472016年她加入百度AI实验室
8:49成为了Greg的同事
8:51她的第一个任务
8:52就是寻找一种为深度学习打造的计算方案
8:56作为投资人
8:57研究员们交给我的任务是
9:00去寻找一种非常强大的
9:03英伟达之外的AI算力方案
9:06因为他们预测在未来五到十年
9:10更现实地说可能是十年左右
9:12会出现非常大的模型
9:16参数规模会远远超过5亿
9:19它会像一个维基百科模型一样
9:22所以在当时他们都说
9:22我们需要一种不同类型的GPU
9:25或者说一种不同的计算架构
9:27来确保模型可以继续扩大
9:30而且训练得更快
9:31因为当时的GPU
9:32并不是为深度学习优化的架构
9:36其实那个时候
9:37挑战通用GPU的尝试还不少
9:40谷歌已经在内部使用TPU
9:42这是一种所谓的ASIC（专门集成电路）
9:44是专门为了
9:45机器学习里的矩阵计算而设计的
9:47英特尔收购了
9:49深度学习硬件创业公司Nervana
9:51英国的Graphcore在做IPU
9:53Groq, Habana, SambaNova这些硬件公司
9:56基本都是在这个阶段成立的
9:58他们沿着不同的方向
10:00试图重新设计AI芯片
10:03Cerebras的方案
10:04在这之中是最激进的
10:06Cerebras对这个问题给出的答案
10:09在当时是非常大胆的
10:11我当时的理解是
10:13如果AI会继续增长如果模型会继续变大
10:15那么整个计算机系统就必须被重新发明
10:18而Cerebras的做法就是晶圆级计算
10:22也就是Wafer-Scale Engine
10:23所以那个时候
10:25真正的问题和风险是
10:27如果算力会成为AI进步的瓶颈
10:32那么这种结构真的能工作吗
10:35这种架构真的能加速AI计算吗
10:40这个想法听起来非常疯狂
10:42但我十年前做的整个尽调
10:47最后变成了一个非常科学驱动的项目
10:50我们的核心原则是这个架构到底能不能成立
10:54所以我们把所有风险
10:57拆解成很多很小、可以逐一验证的问题
11:00接下来周楠花了整整四周的时间
11:02把尽调变成了一个科学项目
11:05把所有的投资风险
11:06拆分成了一个个可以验证的技术问题
11:10第一良率能不能控制
11:12晶圆制造一定会有缺陷
11:14如果一整片晶圆就是一颗芯片
11:17那这些缺陷会不会让整颗芯片报废呢
11:20第二第一次流片能不能成功呢
11:24在芯片行业
11:25Tapeout（流片）意味着把设计交给工厂生产
11:28一次失败
11:28就可能意味着几千万美元的额外成本
11:31和几个月的时间损失
11:34第三如果晶圆上有一部分区域坏掉
11:37系统能不能识别、绕开并且继续运行呢
11:41第四真实的AI工作负载
11:43能不能被编译器映射到
11:45这样一套全新的架构上
11:48第五它能不能接入客户已经在使用的
11:51机器学习框架
11:52而不是要求所有人从零开始重写代码
11:56尽调过程当中的一个关键转折点
11:58是在Greg见到Cerebras团队之后
12:01那其实在Scaling Law的初步发现以后
12:03Greg已经见了大概20多家
12:06大大小小的做芯片的初创公司
12:09这20家公司给他的pitch（提案）
12:10都大同小异
12:12基本上就是说
12:12我们要做比英伟达更好的GPU
12:16一开始Cerebras对他来说
12:17也是这20多家当中平平无奇的一家
12:20直到有一天
12:22Greg来到了Cerebras的办公室
12:24我就开车去了Cerebras的办公室
12:27CEO拿出一本实验笔记本对我说
12:30我想出了怎么把更多处理器
12:32真正集成在一起
12:34接着他们叫来一群做散热的工程师
12:38搬出一大块金属
12:41说这是我们要连接到芯片上的热交换器
12:43直接对接在芯片本体上
12:45用来给它降温
12:46我当时的反应是
12:47等一下 GPU根本不需要这么大的功耗
12:49你们想的肯定不是普通GPU
12:51然后他们把一整片巨大的晶圆拿了出来
12:53我一下子明白了
12:55原来你们真的在尝试造一颗更大的芯片
12:57而且不只是想造
12:59你们已经成功有了一片
13:02那一刻他意识到
13:03Cerebras不是一个山寨版的英伟达
13:05他们在做一件完全不同的事情
13:08那就是造一块大到前所未有的芯片
13:12如果Cerebras真的能造出来这样一块芯片
13:15就会解决百度团队的核心问题速度
13:19周楠告诉我们
13:19团队将Cerebras的编辑器
13:21接入了百度自研的3亿参数语言模型
13:25在Cerebras的模拟器上跑了一遍测试
13:28得到了不错的结果
13:29要知道当时Cerebras
13:31还没有真正出货的产品
13:33他们只有一张实验室里的晶圆模型
13:36和一台模拟器
13:38四周后周楠得出了她的结论
13:40是的这套架构是可行的
13:43而且它非常重要
13:44因为它真的有可能加速AI的发展
13:50当然那个时候Transformer还没有出现
13:53但我们已经看到
13:54语言模型的规模会变得非常非常大
13:57远远超过5亿参数
14:00其他的技术风险当然依旧存在
14:02但周楠认为它们都是可以被解决的
14:05而且如果真的出了什么问题
14:07只要公司有足够的资金
14:09这些问题就是可以解决的
14:10所以我们决定押下这个激进的赌注
14:13在这里我们可以展开讲讲
14:15Cerebras是如何解决良率这个问题的
14:18在台积电5纳米工艺下
14:20每平方毫米大约会出现0.001个缺陷
14:25听起来很小是吧
14:26但Cerebras的WSE-3芯片
14:28面积是46225平方毫米
14:32算一下这样一来
14:33在一整片晶圆上就大约会有46个缺陷
14:37在一块传统芯片上
14:39如果没有容错设计
14:41这46个缺陷里
14:42任何一个都足以让整块芯片报废
14:45Cerebras的解法包括两个设计
14:48第一把核心做到极小
14:51传统GPU的一个计算核心特别大
14:54英伟达H100的一个SM核心
14:56大约6平方毫米
14:58一旦缺陷落在上面
15:00这6平方毫米也就全废了
15:02而Cerebras把每个核心
15:04缩小到了0.05平方毫米
15:06大约是H100核心的1%
15:09这意味着同样一个缺陷
15:11砸在H100上要损失6平方毫米
15:14但砸在Cerebras上只会损失0.05平方毫米
15:18仅仅是把核心做小这一点
15:21就让Cerebras的芯片
15:22在面对缺陷时的容错能力
15:24是传统GPU的百倍量级
15:27第二招是冗余加智能路由
15:30Cerebras在整片晶圆上
15:31多放了大约1%到1.5%的备用核心
15:35平时这些核心是关闭的闲置着
15:38芯片上还内置了一套可以动态重新配置的
15:42片上网络（on-chip fabric）
15:43制造测试阶段
15:44系统可以识别哪些区域有缺陷
15:46然后把这些坏掉的核心屏蔽掉
15:49通过片上网络绕开它们
15:51把工作负载映射到正常区域
15:54从软件的角度看
15:55整片晶圆始终是一块完美无缺的芯片
15:59那46个缺陷被悄悄地隐藏掉了
16:02这个思路其实不是Cerebras自己发明的
16:05内存芯片厂商和GPU厂商
16:08几十年来都在用“冗余核心”来处理缺陷
16:11英伟达的H100需要132个核心工作
16:14但芯片上实际造了144个
16:17允许最多12个是坏的
16:19Cerebras真正的创新
16:21是把这个冗余的逻辑从一块小芯片
16:24放大到了整整一张晶圆的尺度
16:27用几十万个微小核心
16:29加上一套能在整片晶圆上动态绕障的
16:32路由网络
16:33把一个“70年无解”的良品率难题
16:36变成了一个可以管理的工程问题
16:39在尽调之后
16:40百度共同领投了Cerebras的Series C
16:43其实在做出投资决定之前
16:45周楠还见到了Andrew本人
16:47创始人的个人魅力
16:49也是说服投资人的重要原因之一
16:52他会讲故事
16:53但他也有愿景和信念
16:57十年前我做那四周尽调的时候
17:00几乎每天都要和他通电话两个小时
17:04问他每一个具体的风险点
17:08他每一个问题都回答得非常好
17:11你能感觉到
17:12他有一种非常严谨的工程思维
17:16他很清楚每一个问题应该怎么解决
17:20当时 Cerebras的团队有70多名PhD
17:23其中大部分人都在SeaMicro共事过
17:26最后Greg告诉我们
17:27就算Cerebras找不到客户
17:30他也相信这个产品是有价值的
17:33（Cerebras）可能最终会被
17:34英伟达、AMD或者Intel之类的公司收购
17:37就算他们找不到客户
17:41（速度）对于百度来说是一个重要的挑战
17:43所以我们决定和他们合作
17:49虽然有周楠这样的投资人
17:51选择相信Cerebras
17:52但那段时间
17:53Cerebras实际上举步维艰
17:56从2016年成立到2019年中旬
17:59Cerebras完全隐身
18:01没有产品、没有客户公告、没有新闻稿
18:03这个在外界眼里神秘莫测的硬件公司
18:07内部却一度非常危险
18:09那个时候Cerebras每个月的烧钱速度
18:12大约是800万美元
18:14每六周开一次董事会
18:16他都要汇报同一个坏消息
18:18芯片还是不能用
18:20三年也就是将近三亿美元
18:23都花在一个没人见过的产品上
18:26他们要解决的问题不只是芯片本身
18:29一张晶圆级的芯片功耗高达25千瓦
18:32大约是一个普通家庭年用电量的两倍多
18:36集中在一块餐盘大小的面积上
18:39这意味着他们还需要重新发明散热系统
18:42重新设计供电结构
18:44重新设计与服务器机架的接口
18:47上一章里我们提到的技术问题都是壁垒
18:512019年夏天
18:52Cerebras终于让第一代WSE成功量产
18:55并开始正常工作
18:57那一天几位工程师坐在Los Altos市中心
19:00一间临时搭建的办公室里
19:02盯着电脑屏幕
19:04看着这个过去被认为不可能的系统
19:07真的跑起来
19:08半小时没人说话
19:10没人做过这件事
19:12当我们做到了
19:13它成功了
19:152019年8月
19:16Cerebras终于走出了隐身模式
19:18他们在Hot Chips大会上发布了WSE-1
19:21全球第一款晶圆级芯片
19:24WSE-1的规格
19:25在当时看起来近乎荒诞
19:28面积超过4.5万平方毫米
19:30是当时最大GPU的56.7倍
19:3440万个AI计算核心
19:3618GB的片上SRAM内存
19:39相比之下
19:40英伟达同期GPU的片上内存
19:42只有几十兆字节
19:44从具体产品上看
19:45Cerebras会整体交付一台完整的系统CS-1
19:49就是这台冰箱大小的机器
19:52把芯片、散热、供电、接口
19:54全部整合在一起
19:55插进数据中心的机柜就可以直接使用
19:58同年 Cerebras完成了
20:002.72亿美元的E轮融资
20:02正式成为独角兽
20:04但问题来了
20:06谁会第一个使用它呢
20:08商业AI客户在2019年还没有形成规模
20:12大家也都带使用英伟达
20:14市场上没人看好Cerebras
20:16我们解决了计算机行业里最难的问题之一
20:20但没有人在乎
20:23第一代产品
20:26我们可能只卖出了十几台
20:28第二代大概卖了300台
20:30而到了第三代我们现在是按上万台的规模在卖
20:34中间有两三年的时间
20:35我们其实是走在市场前面的
20:37即使我们的速度特别快
20:40也完全没有人在乎
20:41Cerebras的第一批真正的客户
20:44来自于一个意想不到的地方
20:46美国能源部旗下的国家实验室
20:50阿贡国家实验室
20:51用Cerebras系统分析新冠病毒的变异序列
20:54后来这个实验协助获得了
20:562022年的戈登贝尔特别奖
20:58那是高性能计算领域最重要的奖项之一
21:02Lawrence Livermore国家实验室
21:04用它来跑核聚变模拟
21:06国家能源技术实验室测试的结果
21:08是Cerebras系统
21:10比实验室自己的超级计算机
21:12快了大约500倍
21:14这些客户用真实、严肃的科学任务
21:16证明了这个技术可以落地
21:192021年 WSE-2发布
21:21升级至7纳米制程
21:23计算核心增至85万
21:25晶体管数量达到2.6万亿
21:282022年 Cerebras用一台CS-2
21:30在单台机器上
21:32训练了参数量高达200亿的模型
21:35创下了当时的纪录
21:36这年美国计算机历史博物馆
21:38为Cerebras的WSE-2揭幕了一个永久展览
21:42题为“The Biggest Chip in the World”
21:45世界上最大的芯片
21:47距离2015年
21:48五位创始人在白板上
21:50立下那个
21:51想要被写进计算机算力历史的目标
21:54过去了整整七年
22:012021年11月
22:02Cerebras完成Series F融资
22:04估值40亿美元
22:062026年5月
22:07Cerebras IPO 估值950亿美元
22:11五年间估值涨了将近25倍
22:14其中一半的功劳
22:15都归功于一个客户
22:17它在三年时间里
22:19把Cerebras
22:20从一家只有政府实验室客户的公司
22:24变成了一家有真正商业规模的企业
22:27但也是这个客户
22:28让Cerebras的第一次上市计划彻底泡汤
22:33G42是阿布扎比的一家AI科技集团
22:36与阿联酋政府深度关联
22:38同时是微软的战略合作伙伴
22:412023年 G42和Cerebras宣布了一个名为
22:44Condor Galaxy的合作
22:45基于Cerebras的系统
22:47建造一个大规模超算网络
22:49最大的一台超级计算机
22:51算力达到4个exaflops
22:54合同规模超过10亿美元
22:56其实我自己
22:57也是通过这个项目认识Cerebras的
23:002023年的夏天
23:01是我接触科技报道的第一年
23:03在Cerebras位于Santa Clara的数据中心里
23:07我亲眼见到了
23:07这台6.5英尺高的超级计算机
23:10它在白色的机箱里有序地运作着
23:13平静的白噪音闪烁的蓝光
23:15对我来说也是一个十分难忘的场景
23:18Andrew当时告诉我
23:19建造这台以WSE为内核的超级计算机
23:23只花了10天
23:24Cerebras和G42的合作始于2021年
23:28通过Condor Galaxy
23:29G42想做一个阿拉伯语版的ChatGPT
23:33技术验证本身是不够的
23:35对于一家深科技硬件公司来说
23:36光证明技术可行还不够
23:38你真的需要一个大客户
23:40愿意实际部署你的系统
23:42愿意付真金白银围绕着项技术去建设
23:45G42给了Cerebras这一点
23:48我认为这对Cerebras帮助非常大
23:50因为它为Cerebras带来了真正的收入
23:53这对他们来说非常重要
23:55财务数字就是最好的证明
23:572022年 Cerebras营收2460万美元
24:012023年跳至7870万美元
24:04G42占比超过83%
24:072024年上半年
24:08G42的占比进一步升至87%
24:12直到2024年9月
24:14Cerebras向纳斯达克提交了S-1招股书
24:17准备上市
24:19美国外国投资委员会（CFIUS）
24:21在看到Cerebras的大批营收
24:23来自阿联酋客户G42之后
24:25几乎立即启动了国家安全审查
24:29最后Cerebras在无法获得
24:30CFIUS（美国海外投资委员会）放行的情况下
24:32主动撤回了S-1申请
24:34G42持有的股份
24:36被转换为无投票权股份
24:38双方关系重新定性
24:40最终 CFIUS在2025年3月31日
24:43正式给Cerebras上市放行
24:46虽然撤回了S-1
24:47但这段时间的等待并没有白费
24:502025年里 Cerebras完成了两轮
24:52大规模私募融资
24:542025年9月的Series G
24:56融资11亿美元估值81亿美元
24:592026年2月的Series H
25:01融资10亿美元估值230亿美元
25:05在等待上市的这段时间里
25:06Cerebras用私募市场完成了再一轮资本化
25:152025年12月24日的平安夜
25:17本应是安静的一天
25:19但那一天发生了两件事
25:21改变了整个AI芯片产业的格局
25:24第一件事是英伟达和Groq签署合同
25:27达成了200亿美元规模的技术授权
25:30和资产交易
25:32Groq是Cerebras在推理芯片市场
25:34最直接的竞争对手
25:36它做的是LPU（语言处理单元）
25:39专门为固定大小的模型设计
25:41追求极致的确定性和低延迟
25:44我对Groq一直没有那么兴奋
25:47因为我心里总觉得
25:49如果英伟达真的想做
25:51它其实也可以做类似的东西
25:52第二件事
25:53就是Cerebras和OpenAI宣布合作
25:56他们签署的合同
25:57总价值同样超过200亿美元
26:00OpenAI承诺部署
26:01750兆瓦的Cerebras计算能力
26:04用于OpenAI的推理业务
26:06最大可扩展至2030年的2吉瓦
26:10这是全球历史上规模最大的
26:12AI推理部署合同
26:14大家捋捋这个时间线
26:16Cerebras是英伟达的挑战者
26:18而就在英伟达吃下Groq的同一天
26:21OpenAI选择把最大的推理计算合同
26:25给了Cerebras
26:26其实这个合作也并不令人惊讶
26:29Sam Altman是Cerebras最早期的投资人之一
26:32而两家公司团队从2017年起就频繁交流
26:36他们都相信一点
26:38随着模型规模扩大
26:40硬件架构和模型需求迟早汇合
26:44我大概是在2025年夏天中期
26:47和Sam聊过一次
26:51他第一次明确跟我说
26:53我们之前一直非常努力
26:55只是为了跟上需求
26:56但现在
26:57我们开始看到高速推理的重要性
26:58这之后我们就开始做一系列试验和测试
27:00结果显示
27:04我们比竞争对手快得多
27:07这感觉非常好
27:08因为我们真正想服务的
27:11是那些非常聪明
27:12正在用我们的东西做有意思事情的客户
27:15所以我们和OpenAI的一些工程师开始合作
27:18他们看到之后的反应是
27:19哇现在我们明白了
27:22于是OpenAI和Cerebras在感恩节前夜
27:25签了term sheet（投资意向书）
27:26在四周后的平安夜
27:27签了master agreement（主协议）
27:29一个200亿美元以上的交易
27:31能在四周内完成
27:33其实是很罕见的
27:35OpenAI选择Cerebras的原因很简单速度
27:39以及供应链多元化
27:42OpenAI需要的算力
27:44已经不是单一供应商能够完全满足的
27:47它也需要高速推理来支撑实时产品
27:51同时它也不想在推理业务上
27:52只依赖一个算力来源
27:53也就是Nvidia
27:55这个合同落地的速度
27:56也超出了预期
27:58我们在二月份完成了第一个集成
28:01也就是说在宣布合作后的几周内
28:03我们就完成了和Codex的第一次集成
28:06这个合作的反馈非常好
28:08我们推出了Codex Spark模型
28:09它特别针对速度和互动性做了优化
28:14后端由Cerebras提供支持
28:15并向全球开放
28:17这也让很多开发者和个人用户
28:21不只是企业客户
28:23第一次亲身体验到Cerebras的能力
28:29那在讲述OpenAI合作的时候
28:31我们经常提到的一个关键词是推理
28:35在最开始几章
28:36我们关注的是Scaling Law
28:37是模型的训练
28:38这也是2024年之前
28:40Cerebras和大部分硬件公司
28:42都在关注的方向
28:44训练是建造模型
28:46你要把海量的数据喂给一个神经网络
28:48让它学会了语言的规律、世界的知识
28:51这是一个巨大的、一次性的计算过程
28:54GPU非常适合做训练
28:56是因为矩阵乘法是高度可以并行化的
29:00你可以把几千块GPU连起来同时计算
29:04但训练完成
29:05AI被我们用上的时候
29:07发生的就是推理这个过程
29:09从硬件角度看
29:10推理是一个非常特殊的计算过程
29:13大语言模型生成回答的时候
29:15不是一次性把整段话吐出来
29:18而是生成第一个词
29:19才能知道第二个词该是什么
29:21生成了第二个词
29:23才能继续生成第三个词
29:25也就是说推理有很强的串行性
29:28训练的时候
29:29你可以把海量数据分成很多批次
29:31扔给几千张GPU并行计算
29:34但推理的时候
29:35尤其是生成答案的decode阶段
29:38模型必须沿着时间顺序往前走
29:41每生成一个token
29:42都要进行一次模型计算
29:44都要在模型权重、缓存和计算单元之间
29:47搬动大量的数据
29:49所以在推理时代
29:51关键词是速度
29:53模型能不能足够快地读到数据
29:55足够快地生成下一个token
29:57这个时候我们才能看到
29:59Cerebras的WSE和GPU相比所产生的优势
30:03对于推理来说
30:04最关键的就是内存带宽
30:06所以我们最根本的创新
30:08是把计算机单元和内存放在同一片晶圆上
30:12正是这种设计带来了极高的内存带宽
30:15并最终为终端用户的应用
30:18提供了高性能、高速度的推理能力
30:22换句话说
30:23Cerebras原本想解决的是
30:25AI训练过程当中的数据搬运问题
30:28但当AI进入推理时代之后
30:30反而更加地利好Cerebras
30:33你想想你每次和AI对话
30:34调用agent（智能体）的时候
30:36是不是希望速度快一点更快一点
30:39推理也从一个辅助性的需求
30:41变成了AI基础设施的核心
30:44那我也问了Angela
30:45Cerebras为什么选择从训练市场
30:47转而关注AI推理市场呢
30:50我们一开始确实是从训练开始的
30:52部分原因是在2016年
30:54大多数公司关注的
30:57都是训练基础模型
30:58但现在不一样了
30:59我们已经有了来自OpenAI、Anthropic
31:03以及很多开源公司的前沿模型
31:05这些模型已经足够强大
31:06可以被广泛用于各种应用
31:09从Cerebras的角度来说
31:10我们其实两边都擅长
31:11但当我们看到推理市场扩张得这么快
31:15而且我们在推理速度上相比GPU
31:17有大约15倍的优势时
31:22我们就意识到这里会有一个非常好的机会
31:24我们可以帮助那些正在使用推理的公司
31:27以过去无法实现的方式继续增长
31:31当然推理市场的需求
31:33也改变了Cerebras的产品形态
31:36之前就像我们讲的G42这个例子里面
31:38Cerebras卖的是超级计算机
31:41但现在它开始把自己的硬件能力
31:43包装成云服务
31:45客户通过API发送请求
31:47Cerebras在后端完成模型推理
31:49把结果返还给客户
31:51Angela告诉我们
31:52他们已经把整个产品做成OpenAI API兼容
31:56如果一家公司已经在用OpenAI
31:58或者其他的兼容接口
32:00就不需要重写整套代码
32:02换成Cerebras的API key
32:04就可以把请求送到Cerebras后端
32:07在推理服务上
32:08Cerebras目前平均可以看到
32:10每秒超过2000个token的输出速度
32:13相比之下很多传统方案
32:15可能是每秒200-300个token
32:18只要大家用过agent（智能体）工作流就会知道
32:20这样速度的提升会让使用体验大幅优化
32:24更有意思的是
32:25速度更快的时候
32:26也会创造出全新的工作场景
32:29这里我们来看几个例子
32:31有一家Cerebras的合作伙伴
32:33做了这样一个功能
32:34当程序员把鼠标悬停在一段代码上
32:38系统可以立刻显示这段代码
32:40在整个项目里被哪些地方调用
32:42依赖关系是什么
32:44这个功能本质上
32:45需要模型快速读懂代码上下文
32:48再生成一个完整的调用图
32:50如果推理慢这个功能就很尴尬
32:53如果光标要停留5-10秒才有响应
32:56那开发者的思路其实已经断了
32:59但如果响应几乎是瞬时的
33:02它就不再像一个查询工具
33:04而更像是IDE里自带的一部分
33:07另一个例子是实时教育
33:09想象你需要让AI给你解释一个复杂的概念
33:12AI一边在虚拟黑板上画图
33:14一边回答用户的追问
33:16那用户可以直接圈出图上的某一部分
33:19让AI再讲一遍
33:21如果AI要停顿很久
33:22这就只是一个普通教学视频加聊天框
33:25但是如果AI能够立刻回应
33:28它就变成了一个真正的老师
33:30可以实时对话
33:32第三个例子是AI科学家
33:34有Cerebras的合作伙伴
33:36在做一个面向药物研发的AI科学家
33:39想象一下在一个新药研发的会议里
33:42团队正在讨论一个假设
33:44这个AI员工可以在会议进行的同时
33:47实时查找竞争对手研究
33:49检索论文、测试假设
33:51然后直接参与讨论
33:53这些新的使用场景
33:56都需要更快的推理能力
33:59Cerebras的速度让他们能够变成现实
34:03这就是推理时代最重要的变化
34:06Agent（智能体）直接进入实时交互场景
34:08代码、教育、科研、客服、语音助手
34:12这些应用的共同点都是互动
34:14而互动的本质就在于速度
34:17这也解释了为什么Cerebras
34:19会在2026年这个时间点
34:21迎来它的IPO窗口
34:23在宣布和OpenAI合作后不久
34:25Cerebras又在2026年3月
34:27宣布与AWS合作
34:29CEO Andrew Feldman
34:30在采访中解释了这个合作的逻辑
34:33并且宣布将会和所有的
34:34Hyperscaler（超大规模云服务商）合作
34:36除了英伟达
34:38推理问题的本质是什么
34:40它其实由两个部分组成
34:42第一部分叫做处理prompt
34:47第二部分是生成答案
34:50所以整个推理过程就是先处理prompt
34:53再生成答案
34:54我们把第一部分叫prefill
34:56把第二部分叫decode
34:58而这两个阶段其实有非常不同的计算特征
35:02我们后来意识到
35:04有些机器比我们更适合做第一部分
35:08因为处理prompt是一个可以并行化的问题
35:10它和decode完全不一样
35:14也就是生成答案是一个严格串行的过程
35:17所以我们带着这个观察去找AWS
35:22说我们可以用你们的训练芯片
35:26来做一部分prefill
35:27然后用我们的巨型芯片来做decode
35:30这样组合起来
35:31就会得到一个非常强大的解决方案
35:34这个想法后来反响很好
35:38现在我们也在和其他公司做类似的事情
35:41用别人的芯片来处理问题的一部分
35:44用我们的芯片来处理另一部分
35:47基本上我们在和所有
35:49Hyperscaler（超大规模云服务商）讨论这种合作
35:52除了Nvidia
35:53也就是说除了Nvidia之外其他人都可以合作
35:59在我们继续讲Cerebras的IPO故事之前
36:02我想先花一分钟
36:03把Cerebras这十年做的产品解释清楚
36:07第一层产品是芯片
36:092019年 Cerebras做出
36:10第一代晶圆级引擎 WSE-1
36:13这是世界上第一款晶圆级芯片
36:16大小是当时最大GPU的56.7倍
36:20但我们说过
36:20Cerebras卖给客户的不是芯片而是机器
36:24这就是Cerebras的第二层产品系统
36:27WSE-1被装进CS-1系统里面
36:30这是一台可以直接放进数据中心的
36:33AI超级计算机
36:352021年 Cerebras发布第二代WSE-2
36:382022年11月
36:40Cerebras用16台CS-2
36:42拼成了Andromeda超级计算机
36:441350万个AI核心
36:46超过1 exaflop的AI算力功耗500千瓦
36:51远低于同级别的GPU集群
36:54这展示了多台晶圆级系统
36:56可以组成集群的能力
36:58让大语言模型训练
36:59实现接近线性的扩展
37:012024年 Cerebras发布第三代WSE-3
37:05这是当时最大GPU H100的57倍
37:09这就是Cerebras的前三层产品
37:11芯片、系统和超级计算机集群
37:14最后一层就是我们上一章的时候提到的
37:17云端推理业务了
37:192024年8月
37:20Cerebras发布Cerebras Inference
37:22客户不用买一台CS系统
37:24而是直接通过API调用云服务
37:27至此 Cerebras从一家硬件公司
37:30转型为一家推理基础设施公司
37:372026年4月17日
37:39Cerebras重新提交S-1
37:415月14日正式上市
37:43IPO前一天投行给出的发行价格区间
37:48大概是每股120-160美元
37:53我当时就想哇就算是160美元
37:55相比我们Series C进入时的价格
38:00也已经是超过25倍的回报了
38:03但到了IPO当天
38:05我坐在纳斯达克交易台后面
38:09看着那个数字一路往上走
38:11200美元、300美元、380美元
38:17这是我整个职业生涯里
38:20见过需求最疯狂的一次IPO
38:23首日收盘 311美元涨幅68%
38:27融资规模55.5亿美元
38:30市值在盘中一度触及千亿美元
38:33IPO的意义是把公司带到下一个阶段
38:36让我们真正开始规模化
38:39如果我们想跟上这个市场的增长速度
38:42就必须进行巨大的投入
38:44投入数据中心投入制造能力
38:48投入产品路线图
38:50当然也要投入我们的整个软件栈
38:54才能把这个产品真正做到它应该达到的样子
38:57所以在我看来
39:00未来一年我们最重要的任务
39:02就是把规模扩到市场需要的地方
39:04并且让尽可能多的客户用上我们的产品
39:07但可想而知
39:08上市并不是Cerebras故事的终点
39:11上市后Cerebras其实面临着更多的挑战
39:14首先我们来看供应链的问题
39:17Cerebras的整条产品链
39:18包括750兆瓦的OpenAI承诺
39:21全部建立在台积电5纳米产能上
39:24台积电是目前世界上唯一能够制造
39:27Cerebras芯片的代工厂
39:29那么Cerebras在未来能拿到多少市场份额
39:33会不会取决于
39:34它能够在台积电拿到多少产能呢
39:37Andrew在Odd Lots播客上
39:39没有直接回答这个问题
39:40他承认台积电当然是Cerebras供应链里
39:43极其重要的一环
39:44但他也说到
39:45Cerebras有几个意外的优势
39:47比如说它避开了当下AI芯片行业
39:50最紧张的三个供应瓶颈
39:53HBM（高带宽内存）
39:55台积电的先进封装公司CoWoS
39:58和台积电最先进的3纳米产线
40:01这三个竞争激烈的供应链瓶颈
40:04Cerebras的产品都用不到
40:07第二是激烈的竞争格局
40:09英伟达现在和Groq合作
40:11有了自己的推理优化技术
40:14Broadcom在帮各大云厂商设计定制ASIC
40:17谷歌的TPU、亚马逊的Trainium
40:20都在做推理
40:21一批新的推理芯片创业公司也正在融资
40:25对此 Angela是这样回答我们的
40:28我对Cerebras的前景非常有信心
40:30原因是我们拥有刚才提到的全栈能力
40:33我们有能力在每一个层面继续创新
40:37无论市场下一步需要什么
40:38我们都能继续跟上市场的发展方向
40:41由竞争带来的第三个风险
40:44是重要客户OpenAI充满变数的战略走向
40:48就在6月 OpenAI和Broadcom
40:50发布了OpenAI的第一颗自研推理芯片
40:53Jalapeño
40:54这是一个专门为语言模型推理设计的ASIC
40:57也就是专用芯片
40:59OpenAI说 Jalapeño是它长期全栈
41:02AI基础设施策略的一部分
41:04未来OpenAI
41:05想把模型、软件、网络、服务器
41:08甚至是芯片本身
41:10都更深地掌握在自己手里
41:12当然这并不意味着
41:14OpenAI会立刻放弃Cerebras
41:16因为OpenAI的算力需求太大了
41:19但Cerebras必须证明
41:20它能够提供的推理速度
41:22是长期并且不可替代的产品
41:266月24日
41:27Cerebras发布了上市后的第一份财报
41:30股价下跌15%
41:31甚至一度跌破IPO发行价
41:34表面上看这份财报并不差
41:36第一季度收入甚至高于华尔街预期
41:39但Cerebras给出的第二季度指引中
41:41调整后毛利率只有36%-38%
41:45低于第一季度的47%
41:47也就是说收入增长留下的利润空间
41:50正在被压缩
41:52对于一家上市公司来说
41:53市场看到的是一个现实问题
41:56包括数据中心、电力、冷却等在内的成本
41:59会不会吃掉技术优势
42:01对此 Andrew是这样回应的
42:04我们在2026年初制定了一个计划
42:08上市时我们也把这个计划分享给了投资人
42:11而现在我们其实已经跑在计划前面
42:12我们的毛利率也明显高于市场共识
42:17而且我们给出的全年指引是
42:20全年毛利率会比原计划高出10个百分点
42:24同时我们也告诉市场在第二季度和第三季度
42:27为了跟上需求我们会从一些客户那里
42:31把已经卖出去的设备再租回来使用
42:35这会对毛利率造成
42:37大约10到15个百分点的影响
42:39我们这样做是为了继续服务好客户
42:43确保我们能跟上
42:45他们对高速推理产品的巨大需求
42:50所以这就是整个故事
42:54我们公布的每一个指标都跑在计划前面
43:00但市场会不会买单
43:01就是另一回事了
43:03那投资人对Cerebras
43:04长期、稳定盈利的关注
43:06其实也是这个故事最有意思的地方
43:09它不是一个英伟达挑战者上市的爽文
43:12Cerebras的一波三折
43:14其实在很大程度上
43:16是对AI时代基础设施需求变迁的回应
43:19当我们对模型的需求从规模变成推理
43:22从能力变成速度
43:24我们到底需要什么样的计算机呢
43:27英伟达的答案是GPU集群
43:30OpenAI在自研ASIC
43:32Groq选择了LPU
43:34而Cerebras给出的答案
43:35是一整片晶圆
43:39十年前它是硅谷疯子
43:41而今天这个餐盘一样大小的芯片
43:43就在数据中心里面
43:45服务着一系列重要的客户
43:48这个曾经的科幻电影
43:49变成了可以登陆纳斯达克的现实
43:52真实到资本市场开始用毛利率来审判它
43:55这或许才是一个硬科技公司
43:58真正进入主流世界的时刻
44:02好了以上就是Cerebras崛起的故事
44:04我是《硅谷101》的Yiwen
44:06大家不要忘记关注我们
44:08不要错过来自硅谷的一线分享
44:10大家的点赞、转发和留言
44:12是我们做好深度科技
44:13和商业内容的最佳动力
44:15那我们就下期再见了

About this transcript

This page contains the full transcript of 挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras by 硅谷101, generated from the public captions YouTube serves with the video. The transcript has 1,260 words across 1,092 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.