YT YouTube2Text

YouTube2Text → Transcripts → 对话盛颖：xAI，Infra的浪漫，SGLang，开源，平权与“甄嬛传”

对话盛颖：xAI，Infra的浪漫，SGLang，开源，平权与“甄嬛传” — Transcript

by 硅谷101 · 3,877 words · 3,382 segments · language zh · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00Hello各位欢迎来到硅谷101 我是陈茜
0:02这期视频播客我们的嘉宾是
0:04xAI前推理系统负责人
0:06开源推理引擎SGLang的发起人盛颖
0:10盛颖本科毕业于上海交通大学ACM班
0:13之后在哥大获得计算机科学硕士学位
0:16并在斯坦福大学获得计算机科学博士学位
0:19她的研究经历横跨算法、形式化验证和大模型系统
0:23大模型浪潮兴起之后
0:25她成为LMSYS开源社区的核心成员
0:28参与推动了一系列具有行业影响力的项目
0:31并创办了推理引擎SGLang
0:34之后盛颖加入xAI
0:36并共同领导Grok的推理团队
0:38将开源研究带入全球最前沿的大模型工程实践
0:43如今她从SGLang开源生态中孵化出创业公司RadixArk
0:47希望把只有少数科技巨头才能拥有的前沿AI基础设施
0:52变成整个行业都可以使用的开放技术底座
0:55RadixArk创立之初便完成1亿美元种子轮融资
0:59投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物
1:04RadixArk最终使命是要做下一代AI
1:07我想要build（构建）的那个未来
1:08就是一个跟强力AI共存的未来
1:10以模型为目标的这些公司
1:12infra的美感上有所妥协
1:14以我跟Infra的之间的浪漫的关系
1:16我觉得Infra它不是一个辅助的角色
1:18Infra本身在我眼中就是产品
1:19你本身是一个喜欢intense（高强度）的人吗
1:22我是个必须intense（高强度）的人
1:24你是ADHD吗
1:26但它不是一个疾病
1:27它是一个特点
1:28它是一个手册
1:29我突然知道了我应该顺着我的天性去做事情
1:31然后你一旦悟到了这个之后
1:33就很多事情就迎刃而解
1:34你这个电视剧看到那一半
1:35你突然诶
1:36我怎么突然开始知道怎么解决这个问题了
1:38暂停去写证明
1:40你还记得是什么电视剧吗
1:42《甄嬛传》
1:44世界上存在那么纯粹那么好的导师
1:47存在那么好的投资人
1:48存在那么好的采访者
1:51那些好东西都存在但是你要非常相信它
1:53你要相信到
1:55你身边没有这样的人你还相信它
1:56然后有一天那个跟你一样相信的人
1:59他有一天会跟你相遇
2:01这期视频播客
2:02我建议大家配合我们上一期的解释性视频一起看
2:05上个视频我们从SGLang的技术入手
2:08解释了AI infra的作用
2:10以及软件层怎么能把“硅”的极限榨出来
2:14相信对AI Infra的技术比较了解之后
2:17再来看这期我和盛颖的对话
2:19可能会有不一样的感受
2:20还有就是嘉宾在美国多年
2:23谈到技术的时候有些词汇用英文表达
2:25我们也在字幕上给出了翻译
2:28请大家多担待
2:29那么以下就是我与盛颖的视频播客
2:33非常感谢盛颖欢迎做客《硅谷101》
2:35感谢你们的采访
2:37我看你们是刚刚搬来这个新的办公室是吗
2:40对 6月1号刚搬过来
2:42你们现在大概多少人
2:43现在有40多人
2:45扩张会非常的迅速吗
2:46其实比我预期的快
2:48因为事实上我们扩张规模增长得
2:51也比想象的快
2:53各个地方都需要人
2:55我们能招进来的人也比我想象的要更
2:59有更多合格候选人
3:00所以我们也稍微有点压力
3:02但是我们已经在控制
3:03今天会讲一讲你整个的学生时代
3:06到你之后的研究时代
3:07再到就是你出来在xAI
3:09还有你自己现在初创公司
3:11我们可以按照这个顺序来讲
3:13首先你其实是大学在上海交大
3:17上了ACM的荣誉班
3:182017年就来到了美国哥伦比亚大学
3:21读硕士学位了
3:22你当时出国是因为大家都要出国吗
3:25为什么选这条路呢
3:27确实也是因为大家当时很多人是要出国
3:29但是我其实对出国的概念知道得很晚
3:31我觉得我从江西到本科的时候
3:34是经历了很强的文化冲击的一种感觉
3:37我觉得我身边的人
3:38更理解职业发展、人生发展
3:40他们有更多的规划
3:40其实我是处在一个无知状态
3:43我记得我本科刚毕业的时候
3:44一开始其实我甚至没有申到什么
3:46就是我申请了美国的大学
3:47但我其实没有拿到录取通知一开始
3:49当时有一个港中文大学的PhD的录取通知
3:52我接了甚至都已经
3:53申请的时候我记得有个君子协议
3:554月15号
3:55君子协议都已经过了的第二天
3:57我突然收到了哥大给我发了一个
4:00很普通的研究生就硕士学位录取通知
4:02它其实是个很普通的录取通知
4:03就是很多人都能拿到
4:04但是我当时就觉得
4:05我想接触一些新的东西
4:08因为那个时候的学术中心还是在美国
4:09我觉得我想出去看到
4:10哪怕哥大的这个硕士项目
4:12它不是一个特别顶尖的项目
4:14但我希望我想看到
4:15当时还给我爸打电话说
4:18我们前面PhD录用通知能不能毁
4:20我还需要交一笔违约金
4:21但是我想出去看看
4:23我还犹豫了一下给我爸打了一通电话
4:25但我爸非常快
4:26就是一分钟就说好你去
4:28就交了违约金
4:30你说你从江西到上海
4:33其实是有一段文化冲击的
4:34你从上海到美国
4:36也是不是经历了文化冲击
4:38也有吧
4:38我觉得我确实是每一段都是舒适圈打破
4:41在早期的经历里
4:43但是我在纽约的感受要
4:44纽约是很包容的一个城市
4:46这个冲击其实不太冲击
4:47就是我感到不一样
4:48但我觉得极大地被包容了
4:50具体体现在什么方面
4:52就是我觉得在纽约当时的文化
4:54让我觉得没有人盯着我看
4:56没有人在乎
4:57我穿什么、想什么、做什么
4:59我想要什么
5:00我在纽约感受到的那个冲击更多的是一个
5:03不需要被评判
5:03也不需要评判别人的冲击
5:05这个冲击是从一个被限制状态
5:07到一个完全自由状态的一个（冲击）
5:09对它是个冲击
5:10但它其实是个更放松的过程
5:12挺好的我看你在哥大硕士阶段
5:15发表的论文还是比较偏理论的
5:17主要是测试函数、线性回归的数学性质
5:20后来到了斯坦福读PhD的时候
5:22你选择了形式化验证方向
5:24能不能先跟我们说一下在哥大
5:26你从事的这些研究
5:28其实对你后来的研究有产生任何的影响吗
5:32我刚上研究生的时候是没有想要做研究的
5:36但是我第一学期时候上了计算复杂性的课
5:39当时觉得很有趣
5:40我又碰巧交了一些当时的博士生朋友
5:45他们都是做理论的
5:47我就觉得这个领域非常有意思
5:49我就找老师和这些同学们说
5:51能不能有一些问题可以研究
5:53研究了一段时间觉得很有趣也有成果
5:56所以自然而然地就到了斯坦福
5:58就是你研究生毕业的时候
6:00有考虑过我要工作
6:02还是说我要申请博士吗
6:05我一开始是没有想要申请博士
6:06或者说我也没有觉得我不会申请博士
6:08但是我没有盯着这个目标去
6:09我没有对着这个目标去
6:10我觉得它是开放的
6:11所以我也保留了这个选项探索了一下
6:14但我后来发现这个理论的问题非常有意思
6:17我自己也非常享受
6:18我当时就是觉得我甚至
6:19也不需要赚很多钱
6:20我觉得我想stay poor（保持清贫）
6:22我想找一个没有人的地方
6:24我当时有一次去普林斯顿
6:26我去参加一个workshop
6:27我当时被那个环境就直接包围了
6:29进到普林斯顿校园那个环境里面
6:31我就突然觉得与世无争
6:33非常的学术
6:34跟哥大（不一样）
6:35它也不是学术
6:36它就是与世无争
6:37进到那里的感觉就是没有
6:39就是会觉得你人世间的很多这种
6:42大家所在乎的东西
6:43你平时去挣扎沉浮的东西都非常没有意义
6:46是学校的环境给你这样的感觉
6:49还是说那边的人他的氛围是那样的
6:52应该也还是那个workshop给我带来的
6:54那个环境加上那个workshop里的人
6:56大家讨论的这个氛围感
6:57那个氛围感让我觉得
6:58所有事情都是不重要的
6:59我觉得人的想法七情六欲都是不重要的
7:02都是甚至看上去有点荒诞的
7:04那什么是重要的
7:05就是什么都不重要是重要的
7:07就是一种虚无
7:08你觉得虚无才是它真实的东西
7:10就只有真实是重要的
7:13真实是重要的
7:14数学在那个环境下
7:16就会显得特别的美好特别的优美
7:19因为它是确定性
7:21而且是绝对化的
7:23你在跟它打交道的时候
7:26没有什么其他东西需要思考
7:28它可以让你非常地沉浸和专注
7:30或者说你可以在这个环境里面
7:32进入心流状态
7:33思考问题的时候进入心流状态
7:35这个心流状态是与人无关
7:38与其他所有事情都无关
7:39大脑被完全地调转起来的时候
7:41进入了一种生理性愉悦
7:42我有点描述不出那个感觉
7:43我能理解到你的意思
7:45但是这个状态我觉得非常的纯粹
7:47就是很纯粹
7:48很像会成为一个数学家的人的状态
7:52但是你后来为什么没有成为一个数学家呢
7:54对我当时就是很想成为一个数学家
7:56我当时觉得我就要成为一个数学家
7:58我觉得我只想做数学
8:00但是
8:02事情的发展总是
8:03不是那么简单嘛
8:04毕竟我还是有生活上的各种干扰
8:06到了斯坦福之后第一年也确实没有再
8:10我觉得到了斯坦福我就没有那个感觉了
8:11所以斯坦福不如普林斯顿纯粹吗
8:15普林斯顿那个只是一场旅行
8:17我人在哥大
8:18但是我在哥大的时候也能感受到这个氛围
8:20我甚至现在觉得
8:20是不是西海岸和东海岸
8:21其实有点这种文化的差异性在
8:24西海岸就是慢慢你会感觉到更多的这种
8:26关于成功与否的这种noise（噪音）
8:27就是你想要参与世界的推动
8:29我又开始觉得我跟世界有关
8:31我又觉得我不想跟世界无关
8:33但我在东海岸的时候
8:34我觉得我希望我跟世界无关
8:35我希望我被世人遗忘
8:37很不一样的一种感受
8:39但我在斯坦福第一年的时候想做理论
8:42那个时候
8:43斯坦福是有PhD rotation program（博士轮转制度）
8:44要配导师
8:45配到了之后才决定你后面5年
8:47PhD的旅程怎么走
8:48前面几期我觉得是因为各种各样的原因
8:50比较复杂各种各样的原因
8:51没有再遇到很
8:53很让我觉得能够进入心流状态的问题
8:56也没有跟哪个老师能够双向的
8:58都觉得很兴奋
9:01可能老师们也觉得我对他的问题
9:02不是特别感兴趣
9:03有一些情况有时候我可能也觉得
9:05那个老师我们没有完全匹配上
9:07最后到了第四轮
9:09跟我后来导师Clark匹配上的时候
9:12就已经进入到一个新的课题了
9:14是Clark Barrett教授对吧
9:17他其实是做形式化验证的一个方向
9:21能不能跟我们的观众来解释一下
9:23什么是形式化验证
9:24这个领域也很大
9:25但我可以简单讲我当时做的一部分的课题
9:29我们当时一部分的课题是
9:30我们要把我们人写出来的代码
9:33进行拆解和映射
9:35把它映射到底层的数学逻辑上
9:38你可以把这个代码映射到一阶逻辑
9:41你在这个逻辑出来之后
9:42你就可以从数学角度去证明
9:44你写的这份代码它是不是具备某一个性质
9:47我更具体地来说的话
9:49我一份代码
9:51你隐藏地来说
9:51我们是有一个东西
9:52叫做specification（规范）
9:54Spec其实是说明了这个代码
9:56它应满足什么前驱条件
9:58它会有什么样的invariant（不变量）
10:00你代码执行完之后要满足什么样的条件
10:03你可以有这样一套语言去描述这个程序
10:05你要证明的就是
10:06如果你在有这个spec的情况下
10:07你的代码是不是真的符合了这样一套逻辑
10:10从代码映射到这个逻辑公式之后
10:13公式之间的这个证明和推理
10:14就是我做的那个研究领域
10:17SMT solver（SMT求解器）做的事情
10:19我的研究大部分是在SMT求解器的
10:21那个求解器本身的优化
10:24优化一方面跟效率有关
10:26一方面跟正确性有关
10:27但是它更多的是跟你怎么定义语义有关
10:31就是你定义什么样的语义空间
10:33可以去表达你一份代码所做的事情
10:35在斯坦福其实你开始深入形式化验证之后
10:39我们看到就是开始哐哐出论文
10:412020年是拿到了
10:43IJCAR（自动推理国际联合会议）的
10:44最佳论文奖
10:452022年是拿到了
10:46IJCAR（自动推理国际联合会议）的提名
10:47后来又是cvc5的贡献者之一
10:49是拿到TACAS的最佳工具论文奖
10:52太高产了对
10:53你觉得这段时间
10:54你的一个研究状态是什么样子的
10:57其实这个真实的过程
10:59比外面看到的这个简历上的内容要
11:03要干瘪很多
11:04其实是要无聊很多
11:05我其实在斯坦福前几年的经历并不顺利
11:08一个是我首先刚进来第一年的时候
11:10找导师其实就不是很顺利
11:12被动地进入了形式化方向的领域
11:14因为我要读PhD
11:15所以我才需要把这个地方不停地去做研究
11:18产出论文
11:19我其实是比较被动的状态
11:20当然我在做的过程中
11:21慢慢地也欣赏到了它的美感
11:23后来我慢慢理解这件事情它为什么有意思
11:25以及我后来有些更多的思考
11:27我觉得它其实还有个很有意思的未来
11:28但是最开始做politeness
11:30那篇论文的时候
11:31就是我第一次拿
11:32IJCAR Best Paper（最佳论文）那一篇
11:33非常非常的意外
11:35因为我当时是一个完全小白的状态
11:37我对这个领域不知道
11:38导师给了我一个问题我去解决它而已
11:41我做完它的时候我也没有任何的认知说
11:45什么样是这个领域里最好的论文
11:47因为我看的论文还不够多
11:48所以这个奖出来的时候
11:50我完全没有想到
11:51被别人祝贺的时候得知拿到了这个奖
11:54那个是我进这个领域发的第一篇论文
11:57但是发完这篇论文之后
11:58其实我就又重新进入一个很低落的状态
12:01就是我还是没有找到
12:03我想要做的下一个问题在哪
12:04就是令人兴奋的问题在哪
12:06在那篇文章做完之后
12:08我记得就进入疫情了吧
12:10进入疫情我其实有长达一年的时间
12:12是没有做任何事情的
12:13接近一年的时间
12:14在一个depression（低落的）状态里
12:17但我遇到了非常好的导师
12:18Clark非常地支持
12:20他完全理解说我要调整好这个状态
12:22他只关心我是不是有一个好的精神状态
12:25只关心我是不是
12:26能够走出来
12:27他没有给我施加任何
12:30我需要继续产出论文或者做研究的压力
12:32他说那我可以去上一些课
12:35做一下TA（助教）
12:35做一些这种很轻量级的事情
12:37那段时间还回国待了半年一个疗愈期
12:41我其实没有产出论文
12:41但是Clark从来没有断过我的经费
12:44确实是非常好的导师
12:45非常好的一个导师
12:46我一年之后才慢慢走出来之后
12:48才又做了Sequence那篇论文
12:49我们前面也有过很多挣扎
12:51证明应该是写了20多页吧
12:53来来回回改了四五次
12:55而且有两次
12:56我几乎是全部推翻重写的那个证明
12:58已经花了一两个星期推出来的证明
13:00十几页的证明
13:01全部推翻
13:01因为你从一开始地方发现有个基点错了
13:04那个错了之后
13:04后面所有的后续推理全部是错的
13:07所以那个证明从前面要一直修正
13:08到全部重新推翻重来
13:10但是这个过程走完之后
13:12很有成就感
13:13最后这个证明完全写完之后
13:15比一开始设想得要复杂得多很多
13:17我们都觉得这段证明写出来
13:19和这段经历非常的
13:20accomplished 很有满足感
13:22我记得那个时候Clark自己也说
13:24那篇论文里的证明是他
13:25过去一年的高光时刻
13:27当时也是最佳论文提名
13:29但是没有被公开
13:30就是大家讨论过
13:31最后没有被选上但是很接近
13:32如果说我在形式化工作的话
13:34这篇论文可能是我觉得最愉悦的一段时间
13:36从这篇论文开始我看见了形式化理论
13:40这个里面的一些深刻含义和它的优美之处
13:44它的优美之处在哪里呢
13:45它让我理解了程序语言设计的
13:48几个不同角度吧
13:51形式化的这个方法去设计语言
13:53它是从数学的角度去理解程序语言的
13:57程序语言我打了很久的交道
13:58我打了20年的交道了
13:59但是我从来没有以这样的角度去看待过它
14:02它给了我一个全新的视角
14:04但是你会发现程序语言里面
14:05它也有很多的trade-off（权衡）不同角度上
14:07有一些语言
14:08更接近数学
14:09有一些语言更接近硬件
14:11你其实很难有一个支点让你
14:12一个语言它离数学和硬件都很近
14:15接近数学的语言它会更容易被验证
14:17更容易被形式化
14:18接近硬件的语言会更灵活、更高效
14:22更接近人的思维习惯
14:24当你需要编程硬件里面的具体运算的时候
14:26那样的mapping（映射）又更直接
14:27最后没有再往这个领域继续地走下去
14:30是因为什么呢
14:31我看到了它有意思的地方
14:34但是我也看见了它这个领域的局限性吧
14:37它能够在现实中
14:39实际被应用的场景太少了
14:42你要验证一个程序太贵了
14:44但是它能验证的又很少
14:45不能产生足够大的影响
14:47但是我觉得我想离世界更近一点
14:50我还是想要做
14:52更接近真实生活的东西
14:54当时觉得
14:55所以我那个时候就开始探索AI
14:56我开始寻求双向转化
14:58开始探索AI这个过程其实也不太顺利
15:01可能我又有一年时间的空窗期
15:03就是你看上去我的发表论文没有停
15:05但其实我中间有很多的空窗期
15:07外界的空窗期
15:08跟你自己定义的空窗期是不一样的
15:10对我自己定义的空窗期就是
15:11那段时间我没有做任何
15:13我其实没有取得进展
15:14在我转AI的时候又有大概一年的时间
15:16我其实没有任何新的想法
15:18我实际上没有做成任何事情
15:20可能长达一年之后
15:21我突然某个时间找到事情可做了之后
15:23我三个月产出了一件事情
15:24但是外人看来
15:25你会觉得那个作品是我过去一年的成果
15:28实际上它是我过去一年里
15:29最后三个月的成果
15:30前面九个月我都在这个零状态
15:32完全不知道自己在干什么的状态里
15:34我非常理解这个过程
15:36就像我们记者写稿子也是一样的
15:38对你给我一个月的时间
15:40前面29天的时间我都在做调研
15:42或者是放空或者是采访
15:44我其实这个稿子就是用一天时间写出来的
15:47对
15:48所以你看上去比如我形式化
15:49我可能发了3篇论文
15:50分布在3年时间里面
15:52但每篇论文真正推动
15:53其实它都只花了什么三个月的时间
15:55我这三年里面
15:56每年都有九个月不知道在做什么
15:58其实也不叫在做什么你可能是在
16:01在迷茫
16:02想要去找到你想解决的问题
16:04因为我听下来是说
16:06要去找到一个你真正感兴趣的问题
16:08并且解决它
16:09真的是你的一个驱动力
16:12是的这个是的
16:14我确实有一些特点
16:16就是我没有办法妥协
16:18我后来服从了我的这个特点
16:20就是我原来在不理解我自己的时候
16:22我尝试努力去适应过一些规则
16:24但是我后来发现我自己是不能被勉强的
16:27就是我没有办法做我不感兴趣的事情
16:29没有办法做好
16:30我能做但其实我没有办法做好
16:32我只有这个事情它让我觉得非常兴奋
16:35我才有可能把那件事情做好
16:37这是一个特别纯粹的性格
16:40你当时什么时候发现说
16:45这个性格就是这样了
16:46我必须要去服从我这个性格呢
16:48这是一个缓慢发展的过程
16:50倒也没有某一个时间点突然顿悟了
16:52它是一个我慢慢意识到
16:54以及终于有一天我完全接受它的一个状态
16:58我完全接受它可能是在
17:00博士的最后一两年吧
17:03你本身是一个喜欢intense（高强度）的人吗
17:06我是个必须高强度的人
17:08从小就是这样的
17:09对
17:10我觉得从你发论文的那个数量跟节奏
17:12就能看出来
17:13对我没有办法
17:14就是我哪怕睡觉的时候也会一直做梦
17:17就是我没有办法停下来
17:18你做梦也会梦到跟你研究
17:19或者工作相关的事
17:20那肯定会
17:21肯定会
17:22会大家都会吧
17:23有时候的梦是完全无关的
17:26我都还是挺有关的
17:28就说明你在睡觉的时候
17:29你的潜思维其实
17:30还是在工作
17:31也可能是生活就工作生活
17:33但它一般来说都不是
17:35不是没有任何关系的东西
17:36但肯定会有虚假的成分会有想象的空间
17:39但是它不会是毫无关联的
17:40我觉得我PhD经历的那段
17:43低落的时期
17:44就是因为那段时间太无聊了
17:46因为疫情的时候大家都放慢了
17:48我根本没有办法在一个慢速的环境里面
17:50保持我精神的健康
17:51所以就是一定要忙起来
17:53才能让你健康地运作
17:55我不一定要忙起来
17:56我硕士做那个理论研究
17:59做数学研究的时候是不忙的
18:00那个时候你是很沉浸的
18:01因为那个问题它就是
18:03你除了看着一张纸在那想
18:04其实没什么能做的
18:05就我看上去很闲
18:06我每天可能也就想4个小时
18:08工作4个小时我就去打游戏了
18:11其实我硕士期间打了好多游戏
18:13因为那个问题都太难了
18:14你没什么事可做你只能空想
18:17打游戏的时候也很高强度对吧
18:19其实也没有
18:20我觉得做理论非常不一样
18:22做理论就是有很多灵感你只能等它来
18:25其实你没什么事情可做
18:26你只能在那等你等着那一刻来临
18:28所以我有大量的时间去打游戏
18:30在游戏中
18:31灵感来了然后去写一写是吗
18:33其实我当时那个题目解出来
18:35就是在我看电视的时候想到的主意
18:37对我也不知道为什么
18:38但确实那个情境是
18:39我看电视之前看了一篇论文
18:41然后我就开始看电视去了
18:42看到中段的时候
18:43不知道为什么那个论文里的东西突然回响
18:45回声出来
18:46然后突然又想到了论文的那个点
18:48突然意识到这个地方
18:49可能是一个解法突破点
18:50那个就是关键点
18:51就是你那个问题被解决了
18:54就发生的那个瞬间
18:54那个真的是有一个phase transition（状态转变）
18:57那个是一瞬间的事情
18:58就是那个时刻
18:59好神奇
19:00那个问题被解掉了
19:02你那个电视剧看到那一半你突然
19:04我怎么突然开始知道怎么解决这个问题了
19:06暂停去写证明
19:08你还记得是什么电视剧吗
19:10《甄嬛传》
19:12我是真的记得
19:14太神了
19:15我一般是在洗澡的时候会有灵感突然击中
19:18这种也会有对
19:19但是电视剧我觉得我很少
19:21因为看电视剧你还是要很沉浸的
19:24看起来你看电视剧的时候
19:26你的潜思维感觉还是在
19:29一直在思考一些
19:30我会
19:30就前面说到我跟我自己和解
19:32我是怎么和解的
19:33就是我以前不知道
19:34ADHD（注意力缺陷多动障碍）这个东西
19:35有一天我就慢慢地了解到
19:37有个东西叫做ADHD
19:38然后我看完各种症状
19:40深入理解之后我发现
19:41好多东西都可以被解释
19:42就你觉得你是ADHD吗
19:44我确实是
19:44我定期要看心理医生
19:46但它不是一个疾病
19:47它是一个特点
19:47学习之后我发现
19:49好多事情被解释了
19:51它给我带来最大的帮助是
19:52我通过理解它而理解了我自己
19:54像是我找到了怎么使用我自己的一把钥匙
19:57我突然知道了就是
19:59手册有了
20:00对它是一个手册
20:01我突然知道了
20:01我不应该逆着我的短处去
20:04我不应该逆着我的天性去做事情
20:05我应该顺着我的天性去做事情
20:07它告诉我这件事情
20:08你一旦悟到了这个之后
20:10很多事情就迎刃而解
20:12其实很多事情你是不要勉强的
20:14是没有必要勉强的
20:15对
20:15所以我前面说的我只能做我喜欢做的事情
20:17当你把这个当成真理的时候
20:19你就不再跟它对抗了
20:20特别棒对
20:22然后我们聊
20:23我刚刚说这个是因为
20:25可能我已经开始有点这个症状显现
20:29它的这个特点之一
20:31就是我看电视的时候也是不专注的
20:33你是不专注的
20:34对
20:35就我看电视时候
20:36我也会跟不上那个电视的内容
20:39我经常要回退
20:40好
20:40我经常要往回拉
20:41刚刚讲了什么
20:4230分钟视频
20:43我经常看四五十分钟才把它看完
20:44比如说你自己在做研究
20:47或者你在工作的时候
20:48就是什么样的时候你会非常专注
20:51什么样的时候你其实是没有办法专注的
20:53就是我自己特别被它吸引的时候
20:55我非常专注
20:56它这个是两极化的
20:57我专注的时候非常专注
20:59专注的时候我会听不见别人叫我的名字
21:01不记得时间不知道外面发生的事情
21:04会错过很多个会议
21:05不专注就是根本没办法专注
21:07就是哪怕这事情很重要我也无法专注
21:09看《甄嬛传》都没有办法专注是吧
21:12说明《甄嬛传》不够吸引人
21:15它如果够吸引人我就会非常专注
21:17打游戏会非常专注
21:18打游戏非常专注
21:19有些竞技性运动也会
21:21它需要非常地高强度
21:22对它要非常高强度
21:23它要非常激烈它要竞争
21:25游戏的话你是对打有输赢
21:27球类运动也是你有输赢
21:28这个时候我就会非常专注
21:30所以你是一个好胜心很强的人
21:32我觉得我不是真的很在乎输赢
21:35但是我在乎那个高强度的感觉
21:37我喜欢那个感觉
21:38我其实不在乎输赢
21:40我游戏可以输
21:41打比赛也可以输
21:42没关系
21:42我也不会觉得我非要赢
21:44但是你这个机制设计进去了之后
21:46我会很享受那个心流状态
21:48就是还是那个我喜欢心流状态
21:50你的大脑被抓住
21:52就是心流吧
21:53人非常专注的时候那个应该就叫心流状态
21:55是很享受的
21:56所以打游戏、研究、学习
22:00这个上面你都可以获得你的心流状态
22:03对学我喜欢的东西可以
22:04再提一个你大学的问题
22:06我们（聊）到这个公司上面来
22:08就竞赛圈它其实是一个很有那种
22:11天才标签的这样的一个圈子
22:13对你觉得天才这个词在你身上安得多吗
22:19很多人会跟你说你从小是个天才
22:23不多
22:23甚至你拿了这个竞赛的金牌之后都没有吗
22:27我没有拿金牌首先
22:29对你是拿了全国信息学奥林匹克的银牌
22:34但是我记得你好像是在纽约的一个
22:38纽约那个区域赛冠军
22:39区域赛冠军好
22:40区域赛冠军也是组队
22:42就是三个人一个小队
22:43也没有说是我个人成就
22:45我的队友其实非常强
22:46非常运气好
22:47有非常强的队友把我带飞了
22:48不是经常肯定有
22:50但是小时候更多一点后来不是经常
22:52因为虽然有拿了这些奖项
22:56但好像其实都不是
22:57就比方说那银牌不算啥
22:59还有很多金牌选手
23:02所以对啊
23:03就看你跟谁比嘛
23:05但是我在的那个环境里面
23:06他们总是有比我更强的
23:08比如说我在ACM班
23:09ACM班里面有比我更强
23:10有很多比我更强的
23:11所以你觉得
23:12努力这件事情更重要
23:13还是天分这件事情更重要
23:15我赞同天分
23:16你觉得在研究上面
23:18天分它主要表现在什么样的方向
23:20天分是指当外界人不把研究当回事
23:24不觉得研究是件伟大的事情的时候
23:27你还想做它那就是你的天分
23:29那叫兴趣
23:31我觉得大部分时候
23:32天分和兴趣相关性还是蛮强的
23:34那这么说吧
23:35可能很多人想当研究员
23:36但不是很多人都能研究出来
23:39或者解决这个问题
23:40就你能解决这个问题肯定是有你的天分在
23:43对是有天分的
23:45但我其实首先不觉得
23:46大多数人真的想成为研究员
23:49我见过太多的人他们想做研究
23:51想成为研究员
23:51是因为他们觉得这件事情酷
23:53是因为外界的环境
23:54让他们觉得这件事情很酷
23:56或者当教授是一个铁饭碗
23:58类似吧反正就一些原因
23:59但这个并不是
24:00如果说当所有人都开始觉得
24:03当教授是一个被人唾弃的职业时候
24:04他们马上就不会想做了
24:06这你能识别出来
24:08但是在我当时想要做这件事情的时候
24:10其实我是
24:11就是比方说我在的环境里面
24:13其实大家也没有觉得
24:16做理论是件多么伟大的事情
24:19你赚的钱也很少
24:22但是你还是想
24:22你还是觉得它有意思
24:23我想做一件事情
24:24是因为我希望跟别人无关
24:27是因为我享受无关
24:29那个时候才是你真正的
24:30所谓的兴趣和天分所在的时候
24:32我也不敢说我有天分
24:33我毕竟也没有发明过什么
24:35也没有什么巨大的数学成就
24:36我也不能算有天分
24:38你肯定是算有天分的
24:39不然的话你论文怎么能发那么多
24:41有很多人论文发得很多
24:43比我发论文多的人还有很多
24:44那可能就是更有天分的
24:46发论文只是一个
24:47发论文是有套路的
24:50什么套路
24:51就是发论文其实你如果掌握了发论文
24:54发论文本身是一个技能
24:56发论文跟做研究是两件事情
24:58发论文跟人们定义的做研究
24:59和真正意义上的科学家是三件事情
25:02好
25:02发论文是有套路的
25:03你完全可以一个人
25:04根本就不怎么懂研究他也能发很多论文
25:07就像是一个什么
25:09命题作文一样是不是
25:11你套着它那个框去写就可以了
25:13对就是你只要掌握了这个规则
25:16你掌握这个体系的规律
25:17在同样的规律里面不停地产出
25:19你就可以一直发很多的论文
25:20但是顶刊也很少
25:23不少了现在顶刊一年都几千篇、上万篇
25:26这么多人去投稿的话
25:28顶刊还是算少的
25:29对那肯定是有范围的
25:31那我可能还是比平均要有天分一些
25:34对掌握这个套路本身
25:35就是一件有天分的事情
25:37所以你说发论文跟做研究
25:40跟当科学家是三件事情
25:43发论文跟打工人是一样的
25:44跟打工人是一样的
25:45是一个非常平凡的事情
25:46OK
25:47做研究跟当科学家
25:49这两者有什么区别吗
25:50做研究的话就是
25:51有很多研究它们其实是不突破的
25:56也是不关键的
25:57但是不是没有价值
25:58所以做研究它仍然是个职业
26:00它只不过是件职业
26:00只不过是我作为一个研究员
26:03我喜欢享受做研究
26:04所以我在这里做研究
26:06而并不是我比别人更有天分
26:07我没有天分我也可以是个研究员
26:09所以研究员只是一个职业
26:10但我所说的科学家
26:12这个名词我可能也用错了
26:13但我就说还有另一类
26:14就真正在推动
26:15人类知识边界的人是非常少的
26:18这批人一般来说
26:19但我的标准也很高
26:20就是在我眼中真的在推动
26:22这个推动就是指如果不是他
26:24这个事情会晚很长时间发生
26:27这个是被我定义的
26:28所谓真正的科学推动者
26:29就是推动人类边界的这批人
26:31这批人就非常少了
26:32绝大多数的教授可能都不是
26:34绝大多数教授还是在第二类是研究员
26:36所以Geoffrey Hinton、Yann LeCun
26:40还有Yoshua Bengio
26:41就是图灵奖的这三个人
26:43你觉得他们是科学家吗
26:45或者是你定义的第三类人吗
26:46应该是吧
26:47不过我没跟他们直接接触过
26:49所以还是不给我的直接定论
26:51我非常在乎一手信息的
26:53我非常在乎求真
26:54我不想评价我没接触过的人
26:55但既然他们世俗成就这么高
26:57他们应该是的
26:58你在谷歌实习是什么时候
27:012022年的暑假吧应该是
27:03在谷歌实习了之后
27:05你想要转去做AI的
27:07还是在谷歌实习之前
27:09你就看到了这个方面有非常大的一个前景
27:13发展很快了
27:14我是在去谷歌之前就想要转AI
27:16我是因为想转AI所以找了那份实习
27:19那份实习是AI for code（编程）
27:21我之前也尝试了一些其他的纯AI岗
27:23他们都不收我
27:24我都没有拿到机会
27:25这一个岗位跟程序分析有一点关系
27:28我因为这个背景被招进去了
27:29所以我接触到了AI
27:30但我其实是因为想接触AI进去的
27:33但是我进去之后发现
27:34当时的人们做
27:35AI for coding（编程）的时候
27:36还企图利用一些原来的程序分析里面的
27:41技术或者工具什么的
27:43非常的无力
27:44其实什么忙都帮不上
27:46AI人的幻想说
27:47我是不是可以利用一些
27:48另外一个领域的工具
27:49交叉学科的这种希望
27:52利用另外一个领域的工具
27:53来帮助更好地解决这个问题
27:55但是我作为从另个领域过来的人
27:57我其实发现这个工具非常地无力
27:59当时就是看到了那个大模型
28:01已经是编程直出
28:02相反我反而看到的大模型
28:04其实已经把传统这个领域里的技术
28:06都完全覆盖了
28:07那个时候其实还挺早的 2022年
28:09应该ChatGPT它还没有出来
28:11但是在谷歌内部
28:12大家其实已经看到了这个方向了是吗
28:15我估计其他的公司肯定也是有的
28:17但是确实ChatGPT还没有出来
28:18那个时候是谷歌刚出PaLM
28:20内部有那个LaMDA
28:21就大家其实已经有所感觉了
28:22只是没有到全民爆发的阶段
28:24当时好像有个谷歌的程序员
28:26他号称LaMDA是有意识的
28:29对就是那个时候
28:30那个时候我们还做了个报道
28:31还讨论了一下AI是不是有意识的
28:34对就是那个时候的事情
28:35我相信很多程序员
28:36他们可能也是第一次或者是
28:38很新鲜的一个感觉去接触AI
28:41才会有它到底是不是有意识的这种讨论
28:43在那个时候
28:44对其实确实已经很多人
28:46是已经看见了那个很大的潜力
28:48但是当时的模型潜力离真的生产代码
28:51还有挺大距离的
28:52我记得当时都是做一些
28:54生成一两百行的代码
28:56当时你们那个小组有多少人
28:58AI for code（编程）那个小组
28:59那个也是谷歌内部孵化的创业项目
29:02就Google X里面
29:03全职应该
29:04我其实有点不记得
29:05但好像一二十个人吧
29:06那个暑假他们非常激进
29:08他们想要尝试很多方向
29:10所以他们招了跟全职等量的实习生
29:13让这些实习生全都去疯狂尝试不同的方向
29:16他们希望能从中看到一点东西
29:17后来这个实习结束的时候
29:19大家看到了什么东西
29:21我觉得当时那批人其实很多人后面还是
29:24很多人就还在做编程
29:25那段经历对我的影响很大
29:26它让我看见了
29:28因为我原来是不知道
29:29AI是什么事情的一个人
29:31我进来之后看见了AI原来这么的强大
29:33我发现原来根本就不需要什么显式的推理
29:36我是被震惊到的那个人
29:37它让我非常坚定地进入了这个新的课题
29:40我就要做大模型
29:41但大模型其实有很多分支
29:43跟不同的垂直领域
29:45但是你选择了做infra（基础设施）的那个赛道
29:48为什么呢
29:49其实也不是我选择
29:50我其实也尝试了不是infra赛道的
29:53就是分析一下算法上的事情
29:55但我发现我更适合infra
29:56我那边可能没有太成功 infra成功了
29:58所以最后发现
29:59就是我爆发都在infra这一侧
30:01做infra跟我的思维习惯更接近
30:03它是co-reason（协同推理）的、确定性的
30:05基于数学的
30:06基于代码的
30:07数学和代码这两件事情我都很熟悉
30:09能不能说一下
30:10你最开始做SGLang是什么样的一个契机
30:14我转了AI之后
30:15最后PhD的两年就是在做
30:17LLM（大模型）推理相关的很多研究
30:19FlexGen是我的第一个研究
30:21连续的一系列研究到SGLang
30:23它类似于成为了一个收官之作
30:25我那个时候就是PhD 我可以毕业了
30:26我也觉得我已经做了很多不同角度的研究
30:29但他们都比较局部
30:30SGLang是我希望把它们都集大成
30:33一体的一个作品
30:35所以SGLang时候
30:37我们就开始把它做成开源
30:39希望走向的是product-ready（部署就绪状态）
30:41这个从一开始就想好了
30:42从做SGLang之初
30:43就希望它是做成一个部署就绪
30:44可以被广泛使用的推理引擎
30:46被大规模使用的推理引擎
30:48其实你在做SGLang之前
30:50vLLM已经推出了半年多了
30:52你之前其实在vLLM
30:53也是做了一些项目的对吧
30:55为什么已经有这样的一个东西
30:57你自己还是想要做SGLang呢
30:59这个历史也比较长
31:01我在vLLM的研究论文上
31:04这个其实也是我本来自己在做研究
31:06其实当时我听到有这个vLLM项目的时候
31:10vLLM当时的想法跟我们在思考的
31:12另一个想法是类似的
31:15所以其实当时我是被说
31:16那既然我们想法类似
31:17那我要不合并进那个项目吧
31:19在我的视角里
31:19我是被合并进了vLLM那个项目
31:21因为我觉得这个项目
31:22已经在做了我想做的事情
31:23vLLM做开源
31:24其实是论文之后的另一个节点
31:26并不是在论文的时候就是一个开源项目
31:28真的把它推成开源了之后
31:30你就要做很多除了研究之外的
31:31不仅仅是创新的事情
31:33你要做项目的维护、社区的维护
31:36还有很多工程细节的琐事
31:39那段其实我就没有太参与
31:41但我还在继续做我自己的其他研究
31:44包括S-LoRA、SGLang、Fairness
31:45这些事情
31:46就是Serving（在线推理/模型部署）里面其他的问题
31:47我继续在做研究
31:48SGLang是一个想要把我的思想
31:51能够在一个地方继续往上推的地方
31:53本来它也是以某一个创新为起点
31:55去做成一个general engine（通用引擎）
31:57在我看来是
31:58当时有很多这样的Serving Engine（服务引擎）
31:59SGLang是其中一个
32:02并不是存在我在vLLM的这个引擎里面
32:05做到SGLang引擎里
32:06那比如说SGLang跟vLLM的核心差异性有吗
32:10还是说其实大家都差不多
32:13不同的团队做出来的肯定不一样
32:14但是差异性它随着
32:17就如果你不把时间维度放进去的话
32:19他们是会类似的
32:20因为相互会学习
32:22如果你有好东西
32:22一定会相互学习会趋同
32:24但是
32:25你如果把时间放进去的话
32:26每个时刻可能大家会有不同的侧重点
32:28比方说
32:29SGLang在更早地
32:31进军了scale up（规模化）的方向
32:33就是把大规模的Serving（模型/推理服务）、生产
32:35这种千卡级别、万卡级别的Serving
32:37甚至千万卡级别、百万卡级别做好了
32:40vLLM可能在社区的覆盖
32:43长尾模型的支持上做得更早
32:45所以大家的专注是有所不一样
32:46但是你现在去看的话
32:48可能两方又在互相学习在补齐短板
32:51（2024年）你在Databricks
32:52不是也做过五个月的时间吗
32:54当时公司的联合创始人之一Ion Stoica
32:57也是之前伯克利的教授
32:58他跟你有什么样的合作吗
33:00他是我在伯克利访问的时候的教授
33:03所以我们在伯克利的时候
33:04就一起做了很多的研究
33:06他对你有什么样的影响吗
33:08在专业水平上给我带来了很多启发
33:11其实我跟Ion Stoica
33:13我们还一直保持联系
33:15除了是我那个时候的
33:16研究的一个导师之外
33:19他也是我可能终身的一个导师
33:22整个终身的一个导师
33:23Ion Stoica还是个很特别的人
33:25当然他这么成功
33:26那肯定是很特别的一个人
33:27你觉得他特别之处在哪里
33:29他其实是个很立体的人
33:31他做很多事情
33:32他同时开很多公司然后是一个教授
33:35但如果你真的靠近他的话
33:38他的骨子里
33:39他最自我认同感高的还是教授这个身份
33:42就是教授和学生
33:44这个是他所有身份自我认同感的
33:47如果你追溯到根源这是他的根源所在
33:49他很在乎making impact（产生影响力）
33:52Impact（影响力）可能是他做所有事情的动力之源
33:56他也把这个精神传递给了他的学生
34:00他底下的学生
34:01和跟他一起共事的人
34:02可能都受到了这个影响
34:04就是making impact（产生影响力）
34:05但我其实不一样
34:06我其实在另一个价值观里面
34:08但是我能理解到了这套价值观
34:11所以making impact（产生影响力）
34:12不是你的价值观吗
34:13对不是同一类价值观
34:15那你的价值观是什么
34:18我在乎的不是making impact本身
34:21我会在乎一些我想要make的impact
34:25如果我觉得有一种impact
34:26我有一种价值观
34:27我希望它被执行和被推向这个世界
34:30我就会非常努力地去推动它和希望它发生
34:33我会尽一切努力
34:34但其实我不是完全在意
34:36这件事情是不是我推动的
34:38别人推动也可以
34:39如果有人愿意帮我把这个事情推动
34:42太好了
34:43但一般来说不会有这样一个人
34:45但是我慢慢学会的是
34:47我真正自己想做的事情没有人会代劳
34:49因为他有他想做的事情
34:50别人有别人想做的事情
34:52最后你自己真正想做的事情
34:53你其实只有自己去坚持不断
34:56你只有自己能够长时间地去
35:00为那一件事情所奋斗让它发生
35:03所以在这个逻辑上
35:04我觉得是有一些微妙的不同的
35:06就我在乎的是impact 不是making
35:08所以在另外一个价值观说
35:10making impact有可能是非常地说
35:12我希望我个人有impact
35:14但是你更在乎的是这件事情
35:17对我更在乎有一些
35:19我觉得正确的事情发生
35:21这个有时候会让我
35:22显得很opinionated（有强烈主张的）
35:24因为我会有一些事情我有观点
35:25会非常希望我的观点发生
35:27但我其实不是在乎它是不是我的观点
35:29而是就是这个观点
35:30我不知怎地被它intrigued（产生兴趣）了
35:32被它给吸引了
35:33我们说一下你在xAI的一些经历
35:362024年10月份你是当时加入了xAI
35:39当时为什么选择xAI呢
35:41我当时PhD刚毕业的时候
35:42想要推广SGLang这个项目
35:44对我到目前为止
35:45从我开始做SGLang之后
35:47我的整个规划都跟SGLang紧密相关
35:50我当时刚去Databricks的时候想要
35:52在Databricks里面推广它
35:55推广SGLang
35:56推广SGLang 对
35:57或者说我至少找到一个地方
35:59可以好好地开发它
36:00我也不一定说它能够取代所有的技术栈
36:02但是我希望它是给我一块地方
36:04可以让好好开发的
36:05我在刚加入的时候
36:06我觉得Databricks跟我说有这样的自由
36:08但是实际上Databricks里面的
36:11业务模式还是不那么一样嘛
36:12而且Databricks毕竟是一个
36:14已经很成熟的公司
36:15它不是你可以随便说我想做什么就做什么
36:17它做每件事情都需要理由
36:19或者充分的理由
36:20我作为一个研究员
36:23新毕业的研究员进去
36:24其实也没有太大的权力
36:25我自己也不够成熟
36:27就是你怎么在一个成熟的企业里面
36:29去推动一个比较大的项目
36:30我还不会这件事情
36:31所以我觉得当时那几个月
36:32尝试没有特别成功
36:33可能也造成了一些影响
36:35但不算特别成功
36:36xAI给的这个机会就是它
36:39愿意去支持我
36:42和Lianmin 是我的丈夫
36:44他已经在xAI那个时候
36:45那个时候在xAI之前还是在做训练
36:47但是正好xAI到了一个节点
36:48就是需要去做product inference（生产推理）
36:51就有了这样一个机会
36:52我和Lianmin可以去xAI
36:54共同建立整个推理技术栈
36:56整个推理的解决方案和团队
36:58所以它可以给我两样东西
37:00一个叫做Support（支持）
37:02一个叫做Freedom（自由）
37:03同时有support和freedom的时候
37:04我就能做这件事情了
37:05所以我就选择加入xAI
37:06而且当时应该只有xAI才真正给我这两个
37:09我有些其他的机会
37:10有些是只给support 有些只给freedom
37:13确实我觉得能这两个支持你去做这个事情
37:17跟又让你自由地去做这个事情
37:20这个机会其实是蛮罕见的
37:22是不是也是因为xAI
37:23那个时候比较早期
37:24所以才有这样的机会
37:26是的
37:26那个时候的xAI是什么样子的呢
37:29就在你能说的范围内给我们描述一下
37:32我觉得xAI是我生命中非常重要的一部分
37:35就虽然我没有工作特别特别多年
37:37但是我在很多地方工作过
37:39xAI时光是我回忆最美好的
37:43xAI的时光是我回忆最美好的一段时光
37:45评价这么高
37:48而且我离开xAI的时候其实也非常不舍
37:50我离开xAI的时候
37:51是因为SGLang开源的一些需求
37:54到了一个节点
37:55我觉得我不得不去出来
37:57把RadixArk新的公司扶起来
37:59让我们社区能够很好地继续发展
38:01如果不是因为这个原因的话
38:03我是不可能选择离开xAI的
38:06也不是说完全不可能
38:07但我说就是非常非常不希望
38:09也不舍得离开xAI
38:10而且我觉得这个想法不是我一个人有的
38:12其实我知道在我们早期的那一批员工里面
38:14大家都有很多人有类似的想法
38:16甚至有些人可能在xAI的工作
38:18已经有点承受不住了
38:20因为压力强度都很大
38:22但他们还是一直在里面坚持
38:24就是因为他们不想离开这群人
38:25我的想法是类似的
38:27所以是这群人
38:28你们形成了一个非常好的团队的感觉
38:31对我觉得是
38:32我觉得早期的xAI
38:35就我在之前的xAI
38:36我所体验到xAI是一个
38:39就是
38:40个个都是人才
38:42里面个个都是人才
38:44大家互相之间也都
38:46很支持、很友善
38:47很懂感恩、很谦逊
38:49这是当时xAI给我的印象
38:51跟你的价值观很像
38:53对我觉得非常的
38:55就是我觉得当时在xAI
38:56我能够非常专心地做事情
38:58没有太多的杂念
39:01而且大家都是这样的
39:03大家都能够非常直白地做事情
39:05都知道把事情做成最重要
39:07我经历过那么多公司
39:08RadixArk之前
39:09那（xAI）是我第一次经历到一个团队
39:11一个公司里面完全没有任何人际博弈
39:13没有任何办公室政治
39:14当然后面可能慢慢地也会有
39:15公司大了就肯定会有
39:16那个时候多少人xAI
39:18不到100人吧我加入的时候
39:20100人没有办公室政治还是挺难得
39:23可能也有我没有看见
39:24但是至少我看见的范围里面
39:25我没有看见办公室政治
39:27我很幸运地在一个我能够非常
39:30就是好的思考问题的那个环境氛围里面
39:34我只要思考怎么做事情
39:35我身边的人他们也在思考怎么做事情
39:37大家也会有一些摩擦那很正常
39:39但是是一些
39:41就说不影响团结的摩擦
39:44这些摩擦是不影响
39:45我们始终在一起
39:46我觉得现在我们在RadixArk
39:48是带过来了这个氛围的
39:50那好棒
39:51你把你在xAI的时候描述是V1.0（版本）
39:56没加入之前是V0.0（版本）
39:58可能现在是多少
39:59V3.0、V4.0（版本）
40:00我也不知道大家怎么定义的
40:01因为后面我也不在了
40:02我只能听大家的说法对
40:04但是我能够感觉出有那么几个阶段
40:06所以V0.0跟V1.0的时候是非常美好的
40:10对
40:10那个时候Elon的重心也不在你们身上
40:12就V0.0的时候应该是Elon不怎么在
40:15V0.0是我听说的我不在V0.0里
40:17V0.0的时候Elon对大家都非常好
40:19V0.0应该是非常非常美好
40:21像一个家庭一样
40:22V1.0的时候其实已经开始生长了
40:25已经开始一有这个生长痛
40:27V1.0的中途Elon回来了
40:29但是我觉得就算在那个时候
40:31V1.0里面产生的阵痛
40:32大家也还是共同克服难关的
40:35我没有感觉到军心有什么动摇
40:37我觉得大家都非常团结也彼此照顾
40:39我觉得那个时候是彼此照顾的状态
40:41构建了一段战友情的这种感觉
40:44这段故事特别珍贵
40:45是因为它跟现在
40:47大众对xAI的一个认知
40:49差距是非常大的
40:51因为现在大家的认知说
40:52就前段时间xAI的联合创始人
40:54全部都离开了
40:56要么被解雇或者被裁员
40:57或者自己辞职的
40:59就感觉这两个叙事
41:00就好像在说两个不同的公司一样
41:03确实很不一样
41:04因为后面公司大的
41:06我觉得xAI是没有过那个阵痛期的
41:08是没有过那个从很小的、很团结的
41:13一个创业公司变成一个
41:14需要靠体制来运转
41:16而不是靠人来运转大公司的状态
41:17它这个过渡期的阵痛是没有很好地抚平掉
41:20所以产生了这些巨大的变化
41:23但有天它可能又会找到一个新的解决方案
41:25因为xAI还在那里
41:27新的人员在新的组织架构
41:28有天它可能会找到一个新的解决方案
41:30但是就是可能是一个另一家公司
41:33从人员上来看的话
41:34反正Elon还在
41:36对这是最重要的
41:37又被SpaceX收了上市了
41:41这段我觉得就是对组织架构的一些震动期
41:44因为你肯定有你的观察
41:46你觉得对你之后做初创公司
41:48因为你们现在也是几十个人对吧
41:50可能很快你们会上百个人
41:52几百个人的一个规模
41:53会对你有什么样的经验教训吗
41:56有的有的
41:57我觉得我们现在就在一个很美好的时期
41:58其实我知道
41:59我们现在在一个很美好的时期
42:01这段时间一定会成为我们所有人以后
42:05人生中非常珍贵的一段回忆
42:07但是我们也一定会面临那个挑战
42:09扩大规模的挑战
42:10对
42:10就是你在人少的时候你是可以通过文化
42:13通过人的管理去实现运转的
42:16但你规模化上去了之后
42:18其实文化就很脆弱了人也很脆弱了
42:21个人能力都会变得很脆弱
42:23那个时候你能不能把公司做大
42:24能不能把一件事情推动好
42:26更多的就是看你的系统搭建得怎么样
42:28体系构建得怎么样
42:29最后是靠体系去支撑的
42:32而不是靠人去支撑的
42:33这个转变可能
42:34我其实不知道正确答案
42:35因为我没有经历过
42:37但是我能学到的经验就是
42:38这个过程要非常的intentionally thinking（有意识地思考）
42:42它不是一个会自然发生的事情
42:44它不是一个你只要公司这个计划有
42:47然后往前推进
42:48有scope（业务范围）有事可做
42:50你就理所当然会得到的东西它不会
42:52如果你不上心它是会破裂
42:54它就会破裂
42:55你当时主要任务是什么
42:57当时你在xAI
42:59比如说给Grok构建推理系统的时候
43:01我们是负责引擎那一块
43:04我们要同时服务其他很多组
43:06包括product serving（产品服务）
43:07产品服务是他们会部署
43:08做deployment
43:09我们需要跟他们对接
43:10他们遇到问题回来会报给我们说
43:12引擎里面可能有什么事有什么问题
43:14我们也要帮忙部署上的一些协调
43:16configuration（配置）什么的
43:17也要跟研究团队合作
43:18研究团队做评估
43:20跑RL rollout（强化学习试验）
43:21用的也是我们的inference engine（推理引擎）
43:23所以我们也要去支持
43:25他们这个workload（业务）里面的各种适配
43:27当时在xAI的时候
43:29因为它整个算力系统也是非常庞大对吧
43:34它后来又买了非常多这样的卡
43:36你觉得在整个的过程当中
43:38比如说你是不是在里面
43:41受到了全栈的训练
43:43这对你来说产生了什么样的影响
43:46对我觉得在xAI的是
43:50机会就是能看到所有
43:51因为当时团队小
43:52所以能看到
43:53而且xAI
43:54我觉得Elon还是设置了一个
43:55我很喜欢的文化
43:57Elon有一些他的问题
43:58但是他有一些很突出的地方
44:01而且我很喜欢的地方
44:02就是Elon能设置一个没有边界的文化
44:05一个没有边界的文化
44:06没有边界的文化对
44:07就是在xAI里面
44:08至少我还在的时候
44:09我觉得任何事情我都是可以接触到的
44:12我不会说
44:12当然组与组之间是被隔开的
44:15你必须限制在一个很小的范围里面
44:17只能做这一件事情
44:18你不知道外面发生了什么
44:19xAI里面是不会这样
44:20也没有特别多的人员管理
44:22xAI里面都是技术性的
44:23而且它非常重工程师文化
44:25所以你做事情可以非常直接
44:28这样一个文化就使得我能够看见
44:30很多很多个层面和
44:32很多个模块之间
44:33大家是怎么合作的
44:34事情是怎么发生的
44:35它作为一个整体是怎么发生的
44:36这个给我带来非常大的成长
44:39因为原来我确实没有办法
44:40看到这么多的东西
44:41并且在xAI因为强度很大压力很大
44:44人都是被训练出来的
44:45你一定要高强度
44:48你只有经历过那个高强度
44:51你的成长撕裂
44:51就像你健身
44:52你一定要很累了你感觉到痛了你才
44:54对开始长肌肉
44:55xAI这个高强度它给我们带来的成长就是
44:59可能你在那里待了一年
45:00可能在外面是好几年才能拿到的成长
45:03你当时是决定说
45:05SGLang想要把它商业化
45:07去成立RadixArk
45:09是一个什么样的时机点
45:11对这个是因为当时在2025年的时候
45:14前面有几波浪潮把SGLang推到了一个
45:18还不错的被关注点
45:20有很多的需求向我们涌过来
45:22想要使用
45:24和让我们参与一起开发之类的
45:27但是我们社区
45:28SGLang社区是一个
45:30虽然最早我们也是大学里面做了一些研究
45:32但从很早的时候开始
45:33SGLang就已经变成了一个纯社区项目
45:35我们的核心开发者都是网上认识的
45:37我们都是网友
45:38就跟我小时候在网上学习
45:40大家可能都没见过面
45:41没见过面
45:42就现在还是核心开发者
45:43我们已经共同工作了两年了
45:44我还不知道他们长什么样子
45:45有好几个是这样
45:46可能也没有好多有那么几个吧
45:48我不知道他们长什么样
45:48下次年会的时候可以把他们请过来
45:50对我们已经开了很多次会
45:52但是从来没有开过摄像头
45:54好
45:54我们也从来没有要求过对方开摄像头
45:58大家就有一个默契
45:59这个默契就是我只要看到你的代码
46:01我就知道你是谁
46:03我也只想只看到这个部分
46:05所以开摄像头
46:06或者是真正地认识对方这件事情不重要
46:09还是说大家都是i人
46:10所以不想开摄像头
46:12我觉得大家没有i到完全不想开摄像头
46:14没有这么夸张
46:15我觉得是他自然到你
46:18根本没有想起来这件事情
46:19没有说大家拒绝开
46:20但是自然到你根本没有想起来这件事情
46:22对 SGLang是个这样的社区
46:24但是这样的社区也会导致
46:26我们大家其实没有那么的有组织纪律性
46:29虽然大家都很有热情
46:30也非常在乎这个项目
46:32但是你还是很难说让大家
46:34有时间去把项目
46:36非常严肃地给它做好
46:38做成一个成熟的
46:39高质量水准的一个项目水平
46:41除非我们有自己的公司
46:43变成我们的全职工作
46:44大家其实有自己的全职工作
46:47也只是说其他空闲的时间
46:49来为这个社区做贡献的
46:51对就是晚上熬一下夜通个宵
46:53周末再工作一下
46:54放假的时候过来写代码
46:56这样子去维持
46:57但是我们当时的增长是快到
46:59你不可能用这样的方式去维持
47:00那个时候接到的很多需求
47:02我们想要去抓住这些机会
47:03想要跟对方合作
47:04想要交付一些东西
47:06但是我们还是强撑了一段时间
47:09但我觉得强撑的那几个月
47:10之后发现的就是没有办法交付
47:11就其实大家都是很想交付的
47:12你觉得我们已经不能再透支了
47:14你知道这个团队已经不能再透支了
47:15它就是被团队的带宽限制住了
47:17我们没有办法很好交付
47:19都是勉强低空飞过
47:20或者甚至没有成功交付
47:22所以到了大概七月份那个时候就已经
47:27我觉得我自己的焦虑已经到了一个
47:29我觉得如果我们再不出来做这件事情
47:31我再不把这个背后实际上的空白
47:33就是这个是个中空的状态
47:35我再不把这个空白填充的话
47:37我们就快要让外界失望了
47:39所以我自己焦虑到了一个
47:40我觉得我没有办法再拖的这个状态里
47:42所以我从xAI出来
47:44从xAI出来应该放弃了很多金钱上
47:48那倒也没有
47:49还好吧
47:50而且Lianmin他在xAI 他比我多
47:54但我确实是没满一年
47:56就是我是有一年的cliff（悬崖期）的
47:57我出来的时候是10个月
47:58对
47:59其实我只要再待两个月
48:00我就可以拿到我的第一年的vesting（股权激励）
48:02所以两个月都不能待
48:04对因为
48:04等不了了
48:05等到7月份已经是等了很久了
48:08其实我可能5月份就已经有点受不了了
48:11到7月份时候已经实在是受不了了
48:13如果不出来的话
48:13可能这个社区就
48:15两个月都等不了了是吗
48:17对大概是那样的结论
48:19我的心理状态到了一个
48:20我没有办法专注做xAI的事情
48:23我已经没有办法高效地生产
48:24我对xAI的价值
48:26但是我不能忍受自己在一个
48:28就是如果我是在xAI上班的
48:29我就觉得我要对它有用
48:31不然我就会觉得我不配在这个地方
48:34所以我当时已经到了一个
48:35我觉得我不配再继续待下去的
48:36一个心理状态了
48:38它不是我能控制的
48:39刚才忘了问一个问题
48:40你觉得金钱对你有任何的重要性吗
48:44有必须性没有重要性
48:45它的必须性来自于
48:48有金钱可以让我
48:50解决很多事情更容易
48:51这个我承认
48:53就我没有追逐过它
48:54但是你真的说它不重要吧
48:55我也没有到那个程度
48:57它能够给你带来的底气就是
48:58比如说我想创立这个公司
49:00如果有一天我融不到钱我自己还有钱
49:01这是它对我的意义
49:03忘了提一段经历
49:04你在哥大毕业之后
49:06其实是到了华尔街的一个对冲基金
49:09叫Two Sigma
49:10里面是工作了有几个月吧
49:12是不是没有到一年
49:14有半年 6个月
49:15好就那段经历是什么样子的
49:18就是在华尔街
49:20大家觉得说
49:21纽约华尔街上纸醉金迷
49:23在一个对冲基金里面
49:25好像跟你之前做研究的这个氛围
49:27是不是会完全不一样
49:29但我们那个对冲基金是一个tech（技术）的对冲基金
49:31对我知道量化
49:32对技术的
49:34但是我当时确实是想要接触金融
49:36觉得挺有意思的
49:39我有一任前男友是学金融的
49:42这个剪掉
49:44我一定会放出来的
49:46所以当时我确实对那个
49:48就觉得金融挺有意思的有点好奇
49:51当时量化大家的说法就是
49:53那里面的人很聪明
49:54是
49:54都是那个
49:55好多PhD 什么学物理的
49:57就好多PhD后来我们学校的都去量化了
50:01就是我不知道为什么
50:01我就是喜欢聪明的
50:03跟聪明的人说话
50:04我喜欢做有挑战的
50:05跟智商挑战的事情
50:06所以它这个特点当时吸引我
50:08当然这个也是吸引很多其他人的原因
50:10那个时候我也就21岁吧 22岁
50:14单纯地被这东西吸引
50:14我觉得我要去体验一把
50:16我觉得这个事情我要是不体验的话
50:17以后我会一直想着它
50:18但是我又觉得金融不是我的人生追求
50:20我又觉得天天在那玩钱没啥意思
50:22对
50:23所以刚好PhD中间隔了
50:25有个半年的gap（间隔期）
50:26然后完成一个体验挺好的
50:28我就去那里做了半年
50:29那半年的回忆也非常好
50:30如果要我排序的话
50:31我工作过的所有公司
50:33排第一的是xAI
50:33排第二是Two Sigma
50:35评价这么高
50:36但是我听说Two Sigma
50:37就我在的时候又是它最好的时候
50:39我很幸运
50:40我每次在都是它最好的时候
50:41后来可能就有些变化了
50:43但是我在的时候
50:44是Two Sigma最蓬勃发展
50:46甚至拥抱开源他们那段时间
50:47Two Sigma那段时间是做开源项目的
50:49非常拥抱科技
50:50也拥抱新技术、AI、大数据什么的
50:53里面的人也是非常地互相帮助
50:55我没有感受到任何多余的东西
50:58所有人都只是在做事情
51:00所有人都非常地开放
51:03非常开放
51:04非常喜欢分享
51:06质量也很高
51:07里面当时交到的很多朋友
51:10到现在也还是我的朋友
51:11大部分人还继续在华尔街量化里面
51:14还是也都会出来开始做AI
51:16都有有些出来的有些还在里面
51:18Two Sigma让我看到一个
51:19非常有组织的公司的样子
51:21至少在当时
51:22所以它是非常有组织
51:23我当时觉得Two Sigma非常有组织
51:24我当时不觉得
51:25但我后来去了其他公司之后
51:26我再回想我就觉得
51:27原来其他地方这么乱是吗
51:28对原来其他地方这么乱
51:30Two Sigma它都不是一个技术公司
51:31但是Two Sigma的基础设施
51:33跟其他的比起来是最稳定的一个地方
51:35有意思
51:36你觉得原因是什么
51:38公司文化就是这样的吗
51:39就让它非常地干净
51:40我觉得是它的聚变不多
51:43它的业务模式比较稳定
51:45所以大家可以在那里一直做维护
51:46大量的维护
51:47所以对于做一个金融
51:52追逐那个回报的数字
51:56赚钱这个事情
51:57在你这边就不是优先事项
51:59你只是想体验一下
52:00对我只想体验一下
52:01对我一开始就知道那不是我的优先事项
52:03体验还不错
52:04对体验不错挺好的
52:06这个技术稍微给大家去科普一下
52:09LLM infra（大模型基础设施）
52:10你们在做什么样的事情
52:11你们在解决什么样的问题
52:13Infra分好几个模块
52:14我们长远的目标是
52:16我们希望整个infra
52:18我非常模糊地说
52:19我们的这个结构性思考
52:20是我们希望RadixArk在一个地方它可以
52:23给你提供很好的基础知识
52:25让大家根据你不同的使用场景
52:28不同的数据的形式不同的产品目标
52:31和不同的survey（探索）目标
52:33你有可能希望模型
52:35它可能解决个很简单问题
52:36但是你希望它很快
52:37又或者是它要解决一个很难的问题
52:39但它可以比较慢
52:40你都可以用这套工具源源不断地产生
52:43适应你不同目标的最好的模型
52:45我们希望把这个foundation（基础）做出来
52:47这个基础我统称为infra（基础设施）
52:49它会包括传统意义上
52:50大家所理解的推理引擎
52:52推理和训练后训练
52:53这些都是大家传统的脑中的关键词
52:55我还想在这里其实加一个组件
52:57就是基座模型也是infra 在我看来
53:01整个这个基础里面是包括了
53:02所有你需要的ingredients（要素）
53:03包括了这些codebase（代码库）
53:05Tool（工具）、Toolbox（工具箱）
53:06Sandbox（沙盒）、Environment（环境）
53:07和一些中间状态的模型检查点
53:09它们在一起变成个工具箱
53:11你可以在这里进行组合去不断地产生
53:14更适用于你的场景和目标的特异化模型
53:17整个这个工具箱这个基础
53:19是我们要做的infra的部分
53:22现在我们因为要聚焦一步一步来
53:25所以我们现在是聚焦在
53:26Inference（推理）和RL（强化学习）
53:28它们处在你这个生产模型整个流程的末端
53:33假设说我前面已经走完了
53:34我的基础模型预训练已经做完了
53:37我有基本的checkpoint（检查点）
53:38现在我开始要适应不同的任务
53:40我需要过后训练的时候大家开始用RL
53:42这个地方已经开始开枝散叶
53:44因为AI进入人的生活的各个方面
53:46有不同的场景需求
53:48这个时候你开始需要有
53:49不是一个模型解决所有问题
53:50你可以开始有多次训练产生多个模型
53:52解决各种各样的问题
53:53并且多个企业他们可能都想有自己的模型
53:55所以post-train RL（后训练的强化学习）
53:57在这个地方是一个fan-out（散开）的状态
54:00所以它是比较适合做我们想要的这种
54:04给所有人分享技术
54:06然后做一套基础设施
54:07让所有人都使用的这样一个模式里的
54:09后训练完之后的模型推理
54:11那就更加fan-out（散开）了
54:12推理就是真的到了末端
54:14模型都已经完成了
54:15推理我需要让你模型的
54:17架构和weights（权重）都已经有了
54:19我需要让你模型在硬件上跑起来
54:21跑起来之后可以被
54:23你有个end point（接口）可以被cover（包含到）
54:24别人可以来别人可以使用这个模型
54:26推理就是在那个更末端贴近用户的部分
54:29整个的Infra LLM Serving这个版图
54:31其实中间涵盖蛮多领域的
54:34比如说vLLM是解决内存管理
54:37H2O是做KV cache的压缩
54:39S-LoRA是解决多适配器的并发
54:43Chatbot Arena做测评
54:44SGLang做结构化生成
54:46非常多不同的方向
54:48对这部分的研究
54:50你是有一个什么样的方法论
54:52在解决这些问题
54:54还是说你有一个很完整的路线图
54:59说这些东西都是我要一起去解决的
55:01还是这些东西是你一步一步地
55:03去慢慢地解决这些问题的
55:05我觉得是一次性看见
55:06短时间内一下看见了很多问题
55:08但你做的时候得一件一件做
55:10想法肯定是跑得比手要快
55:12也不是我一个人看见很多人都看见了
55:14上来一下看见很多问题
55:15然后大家慢慢地把每件事情都解决掉
55:17在解决这些问题的时候
55:19你觉得有哪个点是最难的
55:21我觉得没有哪个点是难的
55:25就是去做掉就可以了
55:26对
55:27那你的优先级是怎么排序的
55:29哪一个能给你带来最大的margin（边际收益）
55:31哪一个是最大的瓶颈
55:32先解决最大的瓶颈
55:33也有些是dependent（依赖的）
55:35比方说你要先解决内存的
55:36KV cache的碎片化问题、管理问题
55:40然后你才能解决prefix cache（前缀缓存）的问题
55:42所以你觉得现在这些问题完全被解决了吗
55:44还是有继续优化的潜力
55:48肯定总是有优化的潜力
55:49Attention（注意力机制）现在有这么多的变种
55:51Sparse Attention（稀疏注意力）还可以做得更激进
55:52然后新的创新不会停止的
55:55这一块其实应该是一个很大的市场
55:57但这个市场为什么
55:58最开始从开源的生态里面跑出来的呢
56:01也不能说是开源跑出来的
56:03因为推理已经很长时间了
56:05Inference provider（推理服务提供商）
56:06你看从Fireworks、Together这些公司
56:08已经存在好几年了
56:09这些公司都很不错有很大的使用量
56:11而且你看推理的领域有这么多的竞争者
56:14对
56:15这么多跟推理有关的公司
56:16层出不穷每年都在不停地出
56:17但是你会发现这个游戏里面没有输家
56:20没有输家
56:20没有输家
56:22所有的inference player
56:23Inference provider player（推理服务提供商）
56:25不停地出来有这么多
56:26但是没有任何一个
56:27因为有竞争的存在而消减下去了
56:29所有人都是同步增长的
56:31我之前其实跟你联合创始人邦华聊的时候
56:33他就说
56:34做infra的人他需要的taste（品味）
56:36跟做比如说
56:38预训练的研究者
56:39他的taste（品味）是不一样的
56:41比如说做infra的人
56:42他的taste（品味）是表现在什么样的方面
56:46我其实不确定是不是真的不一样
56:48是吗
56:48我觉得本质可能是相通的
56:50那你觉得taste（品味）表现在什么样的方向
56:52不论是在做预训练算法
56:55还是在做infra
56:57你做一件事情时候是不是喜欢精益求精
56:59它是一个很细节的活
57:00就因为它这个效率要做到非常极致
57:03不光是效率
57:05如果你是追求一个目标的话
57:06可能就不在taste（品味）这个维度上
57:08你如果要的是一个最终目标
57:10Taste（品味）其实就是你关注的
57:12不仅仅是最终目标
57:13并且还有这个最终目标的组成
57:15就是我的系统不仅能跑
57:16我并且知道它是怎么跑起来的
57:18它是以一个设计过的
57:20设计良好的形式形态跑起来的
57:22还是它是一个豆腐渣工程跑起来的
57:25他们有可能有同样的最终目标
57:27有taste（品味）就是说我更在乎它
57:28是一个很优美的形式跑起来的
57:31而不是很
57:32豆腐渣的
57:33对很hacky（粗糙的）方式跑起来的
57:35那你在乎吗
57:36我非常在乎这是RadixArk的文化之一
57:39我们非常强调这一点
57:40我们想要成立RadixArk
57:41想要好好地做一家infra-first（基础设施优先）公司
57:44因为我觉得在很多其他的
57:47我之前工作过的其他地方
57:48或者是听大家讨论
57:50以产品、以模型为目标的这些公司
57:52在基础设施的美感上有所妥协
57:54他们在基础设施的功能上还是很追求的
57:56但是在美感上是有所妥协的
57:58然后基础设施的人在整个这个全栈里面
58:02可能长期处于一个被低估的状态
58:07就他们需要被迫去不停地支持其他的组件
58:11他们需要去支持研究者
58:13去很好地使用基础设施工具
58:15然后把实验跑起来去迭代
58:16他们也需要支持产品端的人
58:18能够把自己的产品运行得又稳又快
58:21但是基础设施自己
58:23以我跟基础设施之间这个浪漫的关系
58:25我觉得基础设施它不是一个支持的角色
58:27基础设施本身在我眼中就是产品
58:29你在推一个产品的时候
58:30因为产品面向用户你会去想
58:32我这个产品不是只有功能
58:34我会想这个产品美
58:35我希望它好看、好用
58:36被人所喜欢
58:37我希望它击中用户心里的痛点击中人性
58:41我希望产品击中人性
58:43但是没有人会说我希望基础设施击中人性
58:45但是从我的视角里看
58:46我觉得基础设施也是击中人性的
58:48它只是没有直接到用户
58:50没有那么直接的联系而已
58:51但实际上它产生的这个深远影响
58:53是从底层就开始往上传递的
58:56我觉得刚才你说的两个词非常有意思
58:58第一你是说基础设施的美
59:01第二你是说你跟基础设施的关系
59:03是浪漫的
59:04这两个词其实我很少听到
59:06我倒是没有仔细想过为什么是这个词
59:08但是它自然而然存在于我的脑中
59:13其实我觉得写基础设施的人
59:14他们都是能理解的
59:15你写基础设施的时候你追求
59:17你会去觉得我这个代码写得
59:20我其实不知道怎么更细地拆解了
59:22但是我不是特例我只是其中之一
59:24其实有很多有一批这样的人
59:27他们都很在乎你的基础设施构建的时候
59:29这个系统它优不优美稳不稳定
59:31然后他们总是被迫
59:32去做一些hacky（粗糙的）事情来达成目标
59:34其实他们都是会在一个被拉扯的状态里
59:36我明白你的意思
59:38比如说
59:38其实如果你看一些大厂
59:40OpenAI有自己的基础设施团队
59:42之前你在xAI
59:43xAI也有自己的基础设施团队
59:45是不是在这种大厂的时候
59:46基础设施团队它总是一个支持者的角色
59:50所以也就是说
59:51它有很多你需要去妥协的地方
59:53但是如果你自己出来做一个infra native（原生基础设施）
59:56就可以达到你所说的
59:58Infra-first（基础设施优先）这种美感
1:00:00对比如说在RadixArk
1:00:01其实我们是反过来的
1:00:02比方说我们也有训练任务
1:00:04但是我们并不是说
1:00:05我需要一个基础设施团队
1:00:06去一直支持这个训练任务
1:00:08跑得非常的on track（按计划进行）
1:00:09我们其实是反过来的
1:00:10我们希望这个训练任务它可以没有压力
1:00:14它只需要跑
1:00:15然后一旦你训练任务被卡住了
1:00:17遇到问题的时候
1:00:18我们希望大家的注意点是
1:00:19把这个问题系统化地解决
1:00:22而不是打一个补丁上去
1:00:23让这个训练任务必须跑
1:00:24任务是可以跳过的
1:00:25我们刷分也不着急刷
1:00:26我们也不是非要刷一个
1:00:27非常好的基准测试分数
1:00:28这个在我们这里不是第一优先级
1:00:29但是我们如果能刷高当然是好的
1:00:31我们不会说这事情不重要
1:00:33但是在时间线上
1:00:34它不是source of urgency（紧迫感的来源）
1:00:36我们的紧迫感的来源是
1:00:38你的任务不能被迭代的时候
1:00:40这个问题本身它应该怎么样
1:00:42从深层次地解决它
1:00:43我们先再回去一点点
1:00:45让我们的观众更加了解一下
1:00:47基础设施的这个赛道
1:00:49比如说我们在技术的细节上面
1:00:51看到这个RadixAttention
1:00:53它其实是SGLang的核心技术之一
1:00:56是用Radix（基数）树来做这个前缀的缓存
1:00:59避免重复地计算KV cache
1:01:01能不能用比较通俗的语言
1:01:02给我们的观众来解释一下这个技术
1:01:05这个技术其实也比较简单
1:01:08就是当你有很多的请求
1:01:10发到引擎这边需要处理的时候
1:01:12如果你的请求有一个公共前缀
1:01:15那我们就不需要重新计算
1:01:16这个公共前缀所对应的KV cache
1:01:19而是可以复用你第一次
1:01:21一个请求进来我已经计算过KV cache
1:01:23第二个请求进来
1:01:24如果他们共享的话
1:01:25我可以复用已经计算出来的KV cache
1:01:28所以这套内存管理系统
1:01:30就是对前缀的共享结构做了indexing（索引）和存储
1:01:35首先一个是你对进来的请求之间的
1:01:37前缀的关系
1:01:38要建立前缀树来做indexing（索引）
1:01:40做完indexing（索引）之后
1:01:41你需要把已经计算的KV cache
1:01:43存在KV memory pool（KV内存池）里面
1:01:45然后把这个indexing（索引）
1:01:46跟这个KV memory pool（KV内存池）
1:01:47给mapping（映射）起来
1:01:48既然它的核心是用重复的前缀
1:01:50但是如果我们假设
1:01:52用户每次发的问题都是全新的
1:01:54没有什么共同的前缀
1:01:55比如说长文档摘要或者创意写作
1:01:58是不是这套机制就有一定它的局限性
1:02:00因为agentic（智能体）场景出现复杂场景的出现
1:02:04大部分都是会有前缀共享的
1:02:06因为你只要进入多轮对话
1:02:07你后面的对话都会要复用
1:02:09前面已经对话的历史
1:02:10所以前缀复用
1:02:11是大量存在在几乎所有的场景里
1:02:15是不是说agent（智能体）来了之后
1:02:17这个问题是更需要被解决的
1:02:19或者更需要被优化的
1:02:21它一直都是需要被解决的
1:02:22Agent（智能体）来了之后
1:02:23它确实可能变得更被大家所关注到了
1:02:27其实SGLang在论文刚出来的时候
1:02:30如果现在还回去看那个两三年前的论文
1:02:33我们确实是以agent（智能体）为入口进来
1:02:37说我们为什么要新设计SGLang这套体系
1:02:39当时还设计了一个前端语言
1:02:41都是为了agentic（智能体）的用例所设计的
1:02:43因为我们觉得LLM（大语言模型）AI它会将来成为
1:02:47变得非常强大之后
1:02:48你需要构建一套
1:02:49人与AI之间交互的interface（界面）
1:02:51SGLang的创作之初的动机
1:02:53其实是想要去定义和构建这套界面
1:02:56让人和AI可以更好地交互
1:02:58但发展到今天因为你挑战的重点
1:03:04可能推理就是后端
1:03:05推理挑战重点更为突出
1:03:07所以大量的开发精力是移到了
1:03:10后端的运行时的优化
1:03:12但我觉得有一天在某个时刻
1:03:14其实我们还是应该回顾一下
1:03:15最初的这个想法
1:03:16就是为什么要设计SGLang
1:03:18这个SGLang 它structure general（原初化结构）是语言
1:03:21SGLang原初设计的时候
1:03:22是希望它是一个语言
1:03:23我觉得有一天我们会重新审视这个部分
1:03:26我觉得最终它还是应该是一个语言的形式
1:03:28这个语言它是人与AI之间交互的窗口
1:03:31在看你们社交媒体的时候
1:03:32你们经常就是说这个模型发了之后
1:03:34我们是Day-0
1:03:35就是从0天开始兼容的
1:03:38能不能跟我们解释一下
1:03:39为什么这件事情很重要
1:03:41这件事情很重要是市场觉得它很重要
1:03:44我们做事情还是很务实的
1:03:45我们做开源
1:03:47哪些事情重要和不重要
1:03:48还是被市场所决定的
1:03:49不是完全我们自己定义的
1:03:51我觉得市场上
1:03:52人性好像大家就是很希望
1:03:53东西刚出来时候我就能用上
1:03:55这个愿望从用户端一直传递到了
1:03:58我刚提到那些
1:03:59Inference provider（推理服务商）
1:04:00Inference provider进而又传递到了我们
1:04:02也进而再传递到了模型厂商
1:04:04所以这个链条式的传递
1:04:06它其实满足的就是一个人你想要
1:04:08就跟你发布了产品我要去
1:04:10第一天就去抢购一样的这样一个心态
1:04:13比如说前段时间发这个DeepSeek v4
1:04:16发布之后你们马上就是
1:04:17Day-0兼容
1:04:19达到这个Day-0兼容
1:04:20你们要去做什么样的事情
1:04:21这个跟模型的复杂度很相关
1:04:24DeepSeek v4他们是在architect（架构）上做了很多创新
1:04:27所以我们其实花了特别大的精力
1:04:29团队花了特别大的精力
1:04:30去做这个模型的支持和各种优化
1:04:32但是我们DeepSeek的Day-0兼容
1:04:34支持这一次featureure set（功能集）
1:04:35做得也非常全
1:04:36因为花了很多的时间
1:04:37非常多的功能都是第一天就兼容了
1:04:39并且也是我们第一次
1:04:40有这个RL（强化学习）的Day-0
1:04:42Miles是我们的RL框架
1:04:44很多的算子层一些实现都要重写
1:04:47大部分的代码基本上是重写的
1:04:49因为DeepSeek v4的架构设计
1:04:52跟之前已经存在的模型有太多的不一样
1:04:54是不是每一代新的模型出来
1:04:57其实都是需要有个
1:04:58重新适配的这样一个过程
1:05:00只是说它的模型架构如果变得非常大的话
1:05:02可能你的这个工作量就会更大一些
1:05:04但如果它就是一个非常小的调整
1:05:09或者是一个升级的话
1:05:11你这边其实就没有必要
1:05:12去做非常大的一些适配
1:05:14对如果它的架构完全不变的话
1:05:16其实甚至都不用适配
1:05:17如果它只是更新weights（权重）的话
1:05:19那甚至几乎不用适配
1:05:20最近有一些研究都是探索模型
1:05:23直接在latent space（潜空间）里面推理
1:05:26而不是逐字地去生成token
1:05:28比如说我们看到之前Meta的Coconut
1:05:30还有字节的Cola DLM等等
1:05:32如果这个方向成熟
1:05:33你觉得在推理引擎的很多优化假设
1:05:37是不是可能会发生一些变化或者重写呢
1:05:40如果这个成熟的话
1:05:41那确实很多事情是会变的
1:05:42因为它推理的过程形态不一样了
1:05:44但是我觉得这个也
1:05:46本来就是你写推理引擎的一环
1:05:49世界在变结构在变
1:05:50然后你的事情又一直在变
1:05:52这是一个本来就持续存在的过程
1:05:55我觉得这个不是真正的变革本身
1:05:58不同的团队
1:06:00或者是不同的AI infra的玩家
1:06:02适应变化的能力这个东西重要吗
1:06:05重要我觉得团队更重要
1:06:07再提一句尤其是现在有AI了
1:06:09AI写代码写得这么快
1:06:12实际上变一点其实
1:06:13就技术上来说
1:06:14不是真正产生巨大变革的地方
1:06:16技术上总是能做的
1:06:17我觉得真正的难点
1:06:18从来都还是在回归人和团队本身
1:06:21那为什么你们的人你们的团队就更好呢
1:06:24我觉得我们的人和团队团结
1:06:26谦逊又聪明又努力
1:06:28那可能其他团队也会这么跟我说
1:06:31我觉得其他团队也挺好的
1:06:32我觉得大家都挺好
1:06:33但是你每个群体都会有一个自己的
1:06:35最终会形成一个自己的文化
1:06:36大家各有所长
1:06:37你强调的公司内部的企业文化
1:06:39是什么样子的
1:06:40我希望大家是专注
1:06:42专注
1:06:42谦逊专注且谦逊
1:06:44精益求精
1:06:45这个是我们追求极高的审美
1:06:48我们追求把事情做扎实
1:06:50我们希望RadixArk的人
1:06:51都是对自己特别挑剔的人
1:06:53都是自己本身特别挑剔的人
1:06:55对自己对自己的作品特别挑剔的人
1:06:58在今年年初的时候
1:06:59我们看到这个vLLM的核心团队
1:07:01也是商业化了
1:07:02成立了Inferact公司
1:07:03也是融资了1.5亿美元估值8亿美元
1:07:06这个产业之后会有更多的竞争对手吗
1:07:09更多的公司会商业化来做这个事情吗
1:07:12我觉得完全有可能
1:07:13而且其实它就是持续不断在发生的
1:07:16Inferact和RadixArk这两家之后
1:07:18还有新的推理的公司在不断地涌现
1:07:22谁会变成赢家呢
1:07:24核心的竞争点
1:07:25团队的竞争点会在什么样的方向呢
1:07:28我其实不觉得我们在这个赛道
1:07:29虽然我们有SGLang
1:07:30SGLang是推理引擎
1:07:31但我觉得RadixArk的那个长远使命
1:07:33其实是不属于这个赛道的
1:07:36能不能详细来说一下
1:07:38我如果按照前面说法
1:07:38我觉得RadixArk
1:07:39我说的目的是我们想把最好的AI带给大家
1:07:42这是我们非常朦胧的一个目标
1:07:43RadixArk接下来一年要做的事情
1:07:45三年要做的事情五年和十年
1:07:47其实讲出来都会非常的不一样
1:07:50我们最终想要
1:07:51我不想透露我不想披露
1:07:53但是我可以大概地说
1:07:54我认为RadixArk最终使命是要做下一代AI
1:07:56下一代AI是什么意思
1:07:57下一代 Next Generation AI
1:07:59我们的本质还是不是
1:08:01单纯的Infra implementation（基础设施实施）
1:08:03意思是你们想要做模型吗
1:08:05也不一定是模型它是下一个形式
1:08:07我现在我不讲它是什么
1:08:08但我可以说我们并不是停在这个地方
1:08:11只是说这个推理
1:08:13或者是基础设施只是一个起点
1:08:16对它是一个前提条件
1:08:17但我们想我们要做的也不是模型
1:08:19我们将来想做的事情
1:08:20不是一个现在世界上已经存在的东西
1:08:23有意思
1:08:25所以我其实不觉得我们跟
1:08:26现有的这些推理公司是一个类别里面的
1:08:30它还不存在但是你觉得它一定会发生的
1:08:33我觉得它会发生
1:08:34然后你想把它造出来
1:08:35或者是我希望它发生我想看到它发生
1:08:38我就很好奇你能跟我说一下
1:08:40我们后期把它哔掉吗
1:08:42不能
1:08:43好
1:08:45对但我可以说
1:08:46推理不是我们的
1:08:48它是一个起点
1:08:49它不是RadixArk的长远核心
1:08:52所以我们其实跟其他的推理公司
1:08:54都是保持良好的关系
1:08:56我们的engine（引擎）是全开源的
1:08:57SGLang也不是RadixArk的所有物了
1:08:59SGLang是LMSYS下面
1:09:00它是属于社区的
1:09:02但是我们公司的所有贡献
1:09:04在SGLang都是开源的
1:09:05我们是没有private fork（私有派生仓库）
1:09:06我们的愿望也很简单
1:09:08我们其实只是希望这些东西被所有人使用
1:09:11我们并没有想要通过这个地方
1:09:14制造一个差异然后去获取利益
1:09:16所以公司的命脉是不在这里的其实
1:09:19我们看到其实有不少的
1:09:20做推理引擎的创业公司
1:09:22虽然有些公司他们自己不做引擎
1:09:24但是也是在这个引擎上面去做服务的
1:09:27而且现在体量也不小了
1:09:28比如说Baseten
1:09:29是最近完成了3亿美元的融资
1:09:31估值50亿美元
1:09:32Fireworks AI现在估值有40亿美元
1:09:35Together AI
1:09:36现在也是在寻求10亿美元的新融资
1:09:38同时我们看到AWS、Google
1:09:40这些大的云厂商也是在提供托管推理服务
1:09:44整个的AI infra的生态链
1:09:47最近在发生什么样的事情
1:09:48能不能给我们梳理一下
1:09:50我觉得推理这件事情
1:09:51其实很早就存在也发展了很久
1:09:54但是今年AI可能在变得更加成熟
1:10:00尤其是Anthropic这个爆点大家都看到了
1:10:02AI变得更有用之后
1:10:04整个市场的投入可能会有更多的
1:10:06从训练转向推理
1:10:08开始需要让它盈利和兑现的时候
1:10:12这个转化就会使得推理市场进一步地
1:10:15本来就已经很爆发
1:10:16现在更大的爆发
1:10:17所以你会看到很多这种
1:10:19雨后春笋般冒出来的各种各样的推理公司
1:10:21但同时所谓的AI native（原生）的公司
1:10:23它们也开始感受到了这个
1:10:25你继续使用现有模型
1:10:27去做prompt engineering（提示词工程）的局限性
1:10:29与此同时也有更多的公司
1:10:31开始需要利用好自己的数据
1:10:33去做定制化的需求
1:10:35这个需求它从另一方面也在推动
1:10:37RL（强化学习）这一块的市场化
1:10:39一方面你看到有很多新的推理公司出来
1:10:41另一方面你发现
1:10:42你会看到一个已建立的推理公司
1:10:44在往RL（强化学习）那边移动
1:10:45在往RL（强化学习）那边扩张
1:10:46我觉得这可能是这一批公司里面
1:10:48最大的两个趋势最明显的两个趋势
1:10:50Baseten还有Fireworks也是你们的客户
1:10:54我们的用户
1:10:55你觉得以后会发展成竞争对手吗
1:10:57我不知道
1:10:58他们有可能觉得
1:10:59我们是某种意义上的竞争对手
1:11:01但是我们不把他们当成竞争对手
1:11:03我们是更想和谐相处的
1:11:04一个是我们其实重点、重心
1:11:06并不在这个地方
1:11:07不然我们就不会把我们的推理
1:11:08给大家随意使用
1:11:10对
1:11:10我还去支持他们使用
1:11:11第二点是我们
1:11:12因为我们这个开源的意愿
1:11:13我们希望
1:11:14被大家都使用
1:11:14所以我们也不想跟他们成为竞争对手
1:11:17我们希望这些都是我们的盟友
1:11:19我们更希望的是聚焦在
1:11:21AI本身的一些技术迭代上
1:11:24我们希望把这些技术
1:11:25可以跟他们所共同发展
1:11:28促成他们的业务模式的增长
1:11:30现在你们服务的客户
1:11:32大概是什么样类型的企业
1:11:34或者是他们有没有一个什么
1:11:35比较典型的使用场景可以分享的
1:11:37我们各个类型的客户都有
1:11:39从data center（数据中心）
1:11:41Neocloud（新云）
1:11:42就是hyper scaler（超大规模云服务商）
1:11:43就这些是cloud provide（云服务提供商）
1:11:44就他们有GPU
1:11:45我们想跟他们一起或者帮他们销售GPU
1:11:48到这些inference provider（推理服务提供商）
1:11:50我们其实也想跟他们合作
1:11:51也是希望他们成为我们客户
1:11:52但现在还是一个用户的关系
1:11:54再往上到AI这些公司
1:11:56它们想要使用AI infra
1:11:58去不管是train（训练）它们的模型
1:11:59或者是serve（服务）模型也好
1:12:01他们也是我们的客户
1:12:02还有一些传统的大公司
1:12:04它不是完全的AI公司
1:12:06但是它想要用AI来助力它原来的业务
1:12:10那我们也希望在这里可以提供一些价值
1:12:13SGLang之后
1:12:13还开发了Miles
1:12:15这个主要是用在RL（强化学习）上面的
1:12:17你们为什么同时要做推理跟强化学习训练
1:12:21因为我们做的是整个AI infra
1:12:22推理和强化学习是
1:12:24就我刚刚说
1:12:24它是在最靠近用户的两个末端的步骤
1:12:27所以我们从末端步骤开始布局
1:12:29但是我们要做的
1:12:30是整个能够把AI制造出来的能力
1:12:33这两个东西同时做难度大吗
1:12:35还好因为它俩其实非常相关
1:12:37RL（强化学习）里面很大一部分的挑战
1:12:38是来自于reward engine（奖励引擎）
1:12:40Reward engine（奖励引擎）它也是跟
1:12:41它就是inference engine（推理引擎）
1:12:43如果RL（强化学习）的话
1:12:43你更多的是要做一些调配上的工作
1:12:46和可能weights transfer（权重转移）之类的胶水性的工作
1:12:49Scheduling（调度）算法也有一些新的东西
1:12:51但是系统层面
1:12:52它们有非常大的重叠
1:12:54对
1:12:55你刚刚跟我讲了两个很好的教授
1:12:58非常教科书级版级别的教授
1:13:00有没有哪个管理者
1:13:01你是觉得你遇到过是最好的管理者
1:13:05他们的特质是什么样子的
1:13:07其实“管理”这个词也很宽泛
1:13:09不同位置的管理者
1:13:10他们的功能也是不一样的
1:13:12管理与被管理
1:13:13它其实也不是一个单纯的
1:13:17管理与被管理的关系
1:13:18它其实也是一个职能分工的关系
1:13:20一件大事要做成
1:13:21它背后一定要有一个人
1:13:24他非常的跟这件事情绑定
1:13:27他是不遗余力地要推动事情发生
1:13:29这个人不管是创始人也好
1:13:31是CEO也好
1:13:32就他可以是任何一个人
1:13:33但一定是有这么一个人的
1:13:34他以某种形式
1:13:35他跟这件事情被绑定了
1:13:37这个角色这个人
1:13:38他需要有很清晰的想法
1:13:40知道我们从哪里来我们要去哪里
1:13:42我为什么要做这件事情
1:13:43团队为什么要做这件事情
1:13:45他需要能够有这个坚持
1:13:46并且他要能够看见未来
1:13:48看见一个他想推动的未来不一定
1:13:50也许没有他就不会发生
1:13:51但是一定是一个他能看见的未来
1:13:53有远见
1:13:55这些东西是最重要的
1:13:56但是你
1:13:57有远见的这个人
1:13:58他并不一定需要具备
1:14:00管理者需要的所有特质
1:14:01你与此同时
1:14:02公司里面还需要的其他的管理者
1:14:04他们又需要执行不同的职能
1:14:06比方说能够真的把一个远见变成真实
1:14:10变得可执行
1:14:11能够把人与人之间的合作关系调度得很好
1:14:16这可能都是不同人的功能
1:14:17管理者非常重要
1:14:18它的架构制度非常的重要
1:14:20对但我觉得我现在的想法都很初级
1:14:23我其实现在确切地说
1:14:24就处在一个思考这个问题的阶段
1:14:26我觉得我们刚好就在一个
1:14:29从我还能一个人看清所有事情
1:14:31到我现在看不清的这个阶段了
1:14:33所以我其实最近就是在想这个问题
1:14:34我们还没有找到答案
1:14:36我现在看到的都是挑战
1:14:40那现在这个挑战
1:14:41跟你当时刚加入xAI的时候面临的挑战
1:14:44是相似的吗
1:14:45因为你也说
1:14:46不一样
1:14:46你也说xAI你也是把它看成你的宝宝
1:14:49看成一个很重要的事情
1:14:51那你在孵化它的时候
1:14:52因为你加入xAI的时候
1:14:54它应该还没有推理团队
1:14:56你其实是把它给建立起来的
1:14:58这样的一个很重要的核心的人
1:15:00你觉得在回顾当时
1:15:03你面对的一个局面跟挑战的时候
1:15:05跟现在有什么样不一样吗
1:15:07还是完全不一样的
1:15:08因为毕竟在xAI
1:15:08我不是xAI的所有者
1:15:10就算我想虽然我把它当成宝宝
1:15:12但其实其他人并不觉得它是我的宝宝
1:15:15所以我其实并没有被赋能
1:15:17我并没有被赋权
1:15:19我有想法我有观察
1:15:20但是我很多事情是改变不了的
1:15:22我是没有办法去做很多决定
1:15:24或者是告诉其他人一些影响他人的决定的
1:15:27我的责任其实也没有办法
1:15:29扩展到那么大的边界上
1:15:30但是我在xAI确实学到了一句话
1:15:32xAI的两个leader（联创）
1:15:35当时Tony Wu和Guodong Zhang分别跟我说过
1:15:37我不知道他们是不是串通过
1:15:38他们都跟我说过同一句话
1:15:39就是说你的authority（权力）
1:15:42和responsibility（责任）要匹配
1:15:44就我在xAI是没有authority（权力）的
1:15:46我只是一个小团队负责人而已
1:15:48我其实没有权力做很多事情
1:15:49所以我就没有责任
1:15:52所以你觉得你自己有责任但是
1:15:55我其实没有
1:15:56实际上没有
1:15:56我其实没有
1:15:57因为我负不了责
1:15:58我不能决定事情我就负不了责
1:16:01这个事情如果我不能决定该怎么做
1:16:02做错的话我也担不了责
1:16:05做对了就不是我能控制的事情
1:16:07但是现在的话
1:16:09这个公司我要做决定我必须要做决定
1:16:12它变成了我的义务我必须要做决定
1:16:13那它做的好和坏
1:16:14所有的责任全部在我头上
1:16:16如果事情没有做好我就要背锅
1:16:18当然做好了你也会开心
1:16:19做好了其实是团队的功劳
1:16:20做坏了是我的责任
1:16:21这个就是跟之前的事情完全不一样的角色
1:16:24挑战也是完全不一样的
1:16:25从研究员到大厂
1:16:27再到自己出来创业
1:16:28你对自己的定位有什么样的转变吗
1:16:31我其实没想过这个问题
1:16:32我觉得我一直都只想我想做什么事情
1:16:35我做这件事情
1:16:36能够借用的身份也好资源也好
1:16:40当时的我觉得什么是最好选择
1:16:41我就会去做什么选择
1:16:42但他们都只有一个目的
1:16:43就是我要做我想做的那件事情
1:16:45两年前的时候我可能觉得
1:16:47我想要创造那个未来教授是一条路
1:16:49两年后的今天
1:16:50我觉得教授这条路走不通
1:16:51我就开始开公司创业
1:16:53不管我是做教授还是开公司
1:16:55它都只是途径
1:16:56我没有想过这个身份本身意味着什么
1:17:00我不是很在乎那个身份
1:17:01但是因为你选择的路不一样
1:17:03你要做一些其他的事情
1:17:05来辅佐你最终想做的事情嘛
1:17:08比如说你现在是一个
1:17:10非常明星初创公司的创始人
1:17:13你要去融资你要去招人
1:17:15你可能要去做一些其他
1:17:17以前你也没有想过要去做的事情
1:17:20所以比如说融资跟投资人聊这件事情
1:17:22对你来说是负担吗还是
1:17:24这个事情
1:17:25我觉得融资这个事情我以前确实不懂
1:17:28就是被迫去做的
1:17:30这些事情总是要做
1:17:31First principle thinking（第一性原理思考）
1:17:33我如果要做我的目标
1:17:33这件事情该做那我就去做它
1:17:35我们当时融资还是挺曲折的
1:17:37具体我就不讲了但是挺曲折的
1:17:39但是我现在觉得
1:17:40我经历了这么长时间之后
1:17:42我现在对这个行业有些更多的理解了
1:17:43我其实觉得我在跟他们打完交道之后
1:17:46昨天我们聊完之后我又做了更多的思考
1:17:49我现在觉得我对投资人有更多的尊重
1:17:52我觉得我更理解他们的一些想法
1:17:54为什么整个行业是一个这样的状态
1:17:57当然Sand Hill（硅谷沙丘路，指风投聚集地）
1:17:59有一套它的游戏规则
1:18:00这套游戏规则我理解
1:18:02其实跟之前做研究的时候是完全不一样的
1:18:04你觉得你自己
1:18:05在适应这一套新的游戏规则的
1:18:08我觉得没有真的不一样
1:18:10没有不一样吗
1:18:11本质逻辑（是一样的）
1:18:12肯定是不一样（的事情）
1:18:12但是本质逻辑都是
1:18:14就是不同的体系然后还是人
1:18:16还是人性
1:18:17你追根到底还是所有的人性
1:18:19本质逻辑没有不一样
1:18:20就是你把东西做好
1:18:22你追求的一个真的东西
1:18:24你把它给做出来说出来是吗
1:18:28我觉得它体系不一样
1:18:30学术界的体系跟投资人体系
1:18:33肯定是不一样的
1:18:34所以你的规则不一样
1:18:35那你的这个机制不一样
1:18:36你做事的方式肯定不一样
1:18:37但是归根结底
1:18:38所有事情再次说下去都是人
1:18:40人与人之间是共通的
1:18:41所以当你进入另一个体系的时候
1:18:43其实只是要学习那个体系是怎么回事
1:18:45怎么运转
1:18:46各种利益点是怎么样的一个平衡关系
1:18:49你如果还是以同样的人的根本
1:18:51作为推理基点的话
1:18:53你对这整个体系的理解
1:18:54还是可以被推理出来的
1:18:55这个点有意思
1:18:56就像发论文一样它是有套路的
1:18:58你学到了这个套路那其实你也很快
1:19:01所有普通的东西都是有套路的
1:19:03所有常见的事情都是有套路的
1:19:04最后的这个投资人
1:19:06应该是说结果非常非常好了
1:19:08英伟达、AMD、英特尔
1:19:09这几个最大的半导体公司
1:19:11都罕见的集体地投了你们
1:19:13除此之外
1:19:14你们也是拿到了非常硬核的
1:19:16很多投资人的背书
1:19:18你觉得他们为什么投你们
1:19:19他们看中了你们的什么
1:19:21我也很想问投资人这个问题
1:19:24我觉得我很难为他们代言
1:19:26就是他们看中了我们什么
1:19:27但我如果说现在让我推销一下的话
1:19:29那我觉得我们是在这个赛道里面
1:19:35一个跑出速度的玩家
1:19:37我们跑出的速度
1:19:39让大家可以看见我们的未来
1:19:40我们也觉得我们可以有机会创造新的市场
1:19:44也有机会去助力现有的市场
1:19:46我们可以赋能更多的其他的AI公司
1:19:50或者是想要进入AI的公司
1:19:52去赋能它们制造AI的能力
1:19:55可以让它们更多地接近AI
1:19:56和利用AI创造更多的价值
1:19:58我们如果能提供这部分价值的话
1:20:00这个就是我们值得被投资的原因
1:20:02就是说他们还是看重这件事情
1:20:03觉得这个事情是关键的
1:20:05我觉得肯定很多人是看重事情的
1:20:07当然早期投资也有些也看人
1:20:10我其实更喜欢看人的投资
1:20:12但可能后来可能接下来
1:20:15A轮、B轮、C轮之后的投资人
1:20:17就会看数字跟业绩了
1:20:19但是我们第一轮因为有这个开源的基础在
1:20:22他们肯定是人和事一起看的
1:20:23至于他们为什么看中了
1:20:25我就不替他们回答了
1:20:29你为什么对开源这么执着
1:20:32这个是追溯到
1:20:34我其实想纠正一下
1:20:35我觉得我不是对开源执着
1:20:37在乎
1:20:39就是我其实没有刻意要在乎或执着它
1:20:41它是自然发生的
1:20:42当然我从这里获得价值观
1:20:44确实跟我以前的经历有关
1:20:45我出生在江西这样一个中部的省
1:20:48也不是很发达的一个省
1:20:50我小时候受到的教育
1:20:51我已经在江西省受到了很好的教育
1:20:52但是你放眼全国
1:20:55甚至国际去比的话
1:20:56那我当时受到的教育还是很朴素的
1:20:59一段教育经历
1:21:00当时我想要学编程
1:21:02其实没有太多的资源可以学
1:21:03所以我大部分的学习
1:21:05都是从互联网上拿到的
1:21:07计算机那个时候也不是最火的专业
1:21:09计算机竞赛更不是大家追捧的竞赛
1:21:11所以你能够在市面上搜集到的教材
1:21:14或者是各种资源都非常地稀少
1:21:16都是未经加工的
1:21:18所以当时我的学习全都是来自于
1:21:20我去互联网上
1:21:22去看到的那些非常随机
1:21:24别人留下的帖子
1:21:25CSDN
1:21:26各种当时在线评测系统的网上题库
1:21:28我从那些地方学到的东西
1:21:31都是来源于一群我不知道是谁的人
1:21:33我至今也不知道他们是谁
1:21:34当时我也不知道他们是谁
1:21:35我只是过非常自私地把代码拿走了
1:21:37我回家研究
1:21:38我都不知道写这个代码的人
1:21:39把它生出来的人是谁
1:21:41我是被这样一群人
1:21:44被互联网上不知道世界上在哪里的人
1:21:48给raise（养）起来的
1:21:49就是我是被他们教会的
1:21:50所以分享开放的这个文化
1:21:53它对我来说就像我生活的空气一样存在
1:21:56我也没有觉得我在刻意追逐它
1:21:58但是它对我来说就是一个
1:22:00从我很小很小开始它就一直在我身边的
1:22:03像空气一样
1:22:03我觉得它理所应当
1:22:04你有一个想法你做了一件事情
1:22:06你不分享出来那才觉得奇怪
1:22:07我其实是这样一个状态
1:22:08你觉得开源社区在最近几年
1:22:11有发生什么变化吗
1:22:13一个好的变化
1:22:13一个不那么好的变化
1:22:15好的变化是我觉得开源越来越多了
1:22:18大家越来越追求开源
1:22:20越来越愿意开源
1:22:21越来越相信开源的价值
1:22:23不管是大家的思维模式
1:22:26就是人对开源的欣赏
1:22:27还是资本对开源的认可
1:22:29都是上升状态的
1:22:31但是有那么一点不好的变化是
1:22:33它的这个追捧上升中也开始掺杂一些
1:22:35其实不是那么纯粹的东西在里面
1:22:37你掺杂一些不是那么纯粹的东西
1:22:39一个是会破坏原来我们所想象的
1:22:41那个开源带来美好的事情本身
1:22:44另一方面是
1:22:45你如果开始有这样的东西存在了
1:22:48会让原来相信这件事情的人
1:22:50变得不那么相信
1:22:51开源里面混进了一些功利主义者
1:22:54这些功利主义者的存在
1:22:55使得那些本来不是功利主义的人分不清楚
1:22:57开源里面的成分哪些是纯粹的
1:22:59哪些是不纯粹的
1:23:01他们影响的不仅仅是他们自己
1:23:03这是我可能觉得开源也
1:23:05你在变好的过程中
1:23:06也同时会
1:23:07开始出现的一种平衡
1:23:10阴阳总是共存的一种平衡
1:23:12大家最近对开闭源之争也聊得蛮多的
1:23:16你觉得整个AI的走向
1:23:18会慢慢地往闭源那边去迁移吗
1:23:22还是说以后
1:23:23我觉得应该还是共存状态
1:23:25我觉得开源不会停
1:23:25而且根据我的了解它也没有停
1:23:27有更多的人一直在想要进来
1:23:29贡献自己的力量
1:23:30但我也不觉得所有东西都应该开源
1:23:32因为你不能没有规则
1:23:36你也不能没有界限
1:23:37就是完全地开放开源这个状态
1:23:41如果你没有掺杂太多可套利的空间
1:23:45它可以是美好的
1:23:46但你一旦把它完全打开的话
1:23:48人性的恶也会被放大
1:23:49是
1:23:50所以我觉得两种论点都是正确的
1:23:53我确实也不觉得
1:23:54AI应该完全地展现在所有人面前
1:23:57它确实有风险我不否认这一点
1:23:59我也不站在
1:24:00AI应该完全被握在一小批人手上
1:24:02我也不站在那一侧
1:24:03我觉得AI应该均等地
1:24:05被握在不同的人的手中
1:24:07我们想做的就是这件事情
1:24:09RadixArk其实不是纯粹为开源服务的
1:24:12就我们是有开源文化在
1:24:14但并不意味着我们做的所有事情
1:24:16都是开源和为开源服务的
1:24:18我们也为闭源模型服务
1:24:19但是我们说的democratization（民主化）是
1:24:21我们认为开源闭源是共存的
1:24:24但是我们希望闭源它存在但不centralize（中心化）
1:24:26理解但这个怎么实现呢
1:24:29所以我们希望提供这个
1:24:30能创造最好的闭源模型的工具链
1:24:34让所有人都拥有
1:24:35制造属于你自己的AI的能力
1:24:37但是你制造出来的AI属于你自己
1:24:39Anthropic昨天呼吁
1:24:40大家都停止AI的研究
1:24:42但是它又加了一个附加条件
1:24:44就是说我现在确保大家都停止了我才停止
1:24:47你现在能接受这些最强大的模型
1:24:50都被握在这么几个闭源模型的玩家手中
1:24:54这件事情吗
1:24:55这件事情它能被打破吗你觉得
1:24:57我觉得这件事情很难发生
1:25:00它是违背人性的
1:25:01你是说所有人停下来AI研究这种事情是（违背人性）
1:25:05因为你跟大家没有在
1:25:07这样一个体系里面
1:25:08大家没有拿到同样的资源
1:25:10所有人都想要接收到最好的AI
1:25:12所以这个事情就很难发生
1:25:13我不觉得它不正确其实
1:25:14如果说现在有一个非常强力的上帝
1:25:17他下来安排每一个人做什么
1:25:20那这件事情是可以发生的
1:25:21我不认为那是一个非常差的世界结局
1:25:23就是大家都停了然后Anthropic领先
1:25:24我不觉得这是个极度差的世界结局
1:25:26但是世界不可能停在那个地方
1:25:28因为没有这样一个上帝下来
1:25:29可以把所有人安排得按部就班
1:25:31一定会有人要在里面起义
1:25:33所以我觉得它不可能发生
1:25:34那这个事情会往哪里走呢
1:25:36终局可能不知道是不是一个会非常美好
1:25:39就像你说的一个非常decentralized（去中心化的）
1:25:42每个人都能有自己的AI的这样一个终局
1:25:44但是你觉得接下来是什么
1:25:46这看我往多远的未来去想
1:25:48如果我想到很远的未来的话
1:25:50我觉得现有的AI还没有强到
1:25:52它会真的完全控制和威胁到人类
1:25:55所以在可见的目前我能够
1:25:59保证看到的未来里面
1:26:01人类还是安全的我觉得
1:26:02如果是这样一个前提下的话
1:26:04大家还是会互相追逐
1:26:05然后AI会变得越来越强
1:26:07但是它这个强是一个
1:26:09生产力上去取代人类的
1:26:10一些功能性的强
1:26:12它不能完全地取代人类
1:26:13它只是取代了人类的一些功能
1:26:14但这个变革肯定也是巨大的动荡
1:26:17它会对人类的社会结构、权力结构
1:26:20产生巨大的动荡
1:26:21就是跟过往发生过的每次工业革命一样的
1:26:25一些席卷性的这种动荡
1:26:26可能比以往的工业革命更加工业革命
1:26:29但是它是个你可以理解的范畴
1:26:31更远的未来就是
1:26:32如果说AI它真的可以强到
1:26:36已经开始操控人类
1:26:37就它真的已经over（超越）人类
1:26:38Dominate（统治）人类了
1:26:39能够做人类做的任何事情
1:26:41如果那天真的能来的话
1:26:42我们是阻止不了的我觉得
1:26:43我觉得那天就会来
1:26:44或者说你想阻止它的方式
1:26:46不是通过呼吁所有的人类停止来阻止
1:26:49这个事情是不太可能发生
1:26:50对
1:26:51你阻止它的方式一定是发明
1:26:54发现另一条路径
1:26:55使得你允许AI继续前进
1:26:56而人类还不会输
1:26:58你在这中间想做什么事情吗
1:27:00我觉得我想
1:27:01我想要构建的那个未来
1:27:03就是一个跟强力AI共存的未来
1:27:06我们现在说我们要把
1:27:08强力的AI、最好的AI带给所有人
1:27:11人类需要这个公平
1:27:12你不太可能通过一小部分人
1:27:15把好的AI握在手里
1:27:16其他的人都无能
1:27:17来维护你表面上的和平
1:27:19这是不可能的
1:27:19如果说AI一定要往前走的话
1:27:21那所有人都往前走所有人都能够去
1:27:24不一定是所有人
1:27:25不是字面意思的所有人
1:27:26但是我说
1:27:27大家都不是被这样bond（关联共处）的
1:27:28而是如果你是个
1:27:29你有这个想法潜力
1:27:31你知道往前走的时候
1:27:31你能够接触到最好的人类知识的话
1:27:34你需要在这样的竞争环境中往前走
1:27:35它是一个健康的与AI共存和大战的状态
1:27:40你先要有这样一个假设
1:27:41然后整个人类他们才能是团结在一起
1:27:43去寻找这个解决方案的
1:27:44所以这件事情是必然的
1:27:45我们不管如果那天发生
1:27:47真的到了有一天
1:27:48你需要让人类寻找一个新的解决方案的话
1:27:51这个它都是个前提
1:27:52你先要让所有的人类平等共处团结一致
1:27:56然后你才能再寻找一个
1:27:58人类与AI共存的世界
1:27:59LMSYS 你想说一下那段经历吗
1:28:01LMSYS是我们想
1:28:02我跟Lianmin最早
1:28:03一开始想成立一个机构
1:28:05这个机构可以让不同学校的人参与研究
1:28:08LMSYS到今天虽然它是一个非盈利组织
1:28:11我们大家都在里面兼职地帮一些事情
1:28:13但是LMSYS其实是一个
1:28:14我们想要非常严肃做的事情
1:28:15如果说RadixArk有一天
1:28:17我希望它永远走下去
1:28:18但如果有一天它不是走到底的话
1:28:20LMSYS是那个我终生会做的事业
1:28:22但是它跟RadixArk有些共同性
1:28:23就它们都有个共同的价值观
1:28:26就是关于平等和关于平权
1:28:28LMSYS的平权是来自于我们希望
1:28:31能够孵化优秀的人才做的项目
1:28:35即便他们没有充分的背景
1:28:38没有充分的后台没有充分的品牌
1:28:41这个是来源于一些
1:28:43我自己个人经历也
1:28:44我经历过很低谷的时期
1:28:46也经历过很高昂的时期
1:28:49我自己能感知到这里面的不同
1:28:51可能同样是我同样做了一件事情
1:28:53我在高昂的时期做的那件事情
1:28:55非常容易被大家关注到
1:28:56被大家记住甚至被大家夸大
1:28:58但是我在低谷时期做的事情
1:29:00有些也不错
1:29:00但是其实你就很难被大家所看见
1:29:03或者是被大家认可
1:29:05但我觉得这个不同是没有必要存在的
1:29:06而且它是破坏社会公平竞争结构的
1:29:10LMSYS希望做的是抹平这个差异
1:29:14希望好的项目真的能够被托举出来
1:29:19并且我们希望功劳能够分到
1:29:21做事情的人身上
1:29:22让可能还没有积累没有建立声望的人
1:29:25对项目有更强的掌控权
1:29:27保护未建立声望的真实的开发者的掌控权
1:29:30对项目的掌控权
1:29:31我看你在开源社区的时候
1:29:33还做了蛮多其他的一些项目
1:29:36比如说LM Arena
1:29:38这个东西其实在行业里面影响也是挺大的
1:29:42那段时间你其实主要还是一个主线
1:29:46只是说不同的项目
1:29:47它在不同的project这样来推进是吗
1:29:51Arena是当时我们做LMSYS那段时间
1:29:53其中的一个有趣的项目
1:29:55当时觉得这个事情挺有意思的
1:29:57然后做了一下
1:29:58它意外地得到了挺多的关注
1:30:01可能大家当时就觉得
1:30:03排行榜这个事情
1:30:04可能本身它具有一定的娱乐性
1:30:06但是我觉得这个Arena
1:30:08确实是我们开始做的
1:30:09但你真的说把它壮大然后做成公司
1:30:12那确实还是我们后来就是Wei-Lin Chiang
1:30:14我们把这个项目交给了Wei-Lin Chiang他们
1:30:16后面有些新的人也加进来
1:30:18是后面这个新的团队
1:30:19把它们真的做成商业级别规模的一个项目
1:30:21刚才你说每个人要公平要平权
1:30:26平权更多的是说相同的机会
1:30:28相同的机会
1:30:29特别是对于科技方面的一个怎么说
1:30:33程序员也好或者是研究员也好
1:30:36你对这件事情的在乎是
1:30:39因为什么样的契机或者是什么样的经历
1:30:42可以跟我们分享一下吗
1:30:44一部分是我觉得我好像天生就是这样的
1:30:47我生下来就是在乎这个事情
1:30:48另一部分可能也是一种延伸
1:30:51我觉得我从小到大是
1:30:55我觉得我是经历和看见了很多性别歧视
1:30:58我觉得虽然大家回避这个就没有那么
1:31:01这个话题有一定的可争议性
1:31:04就是你怎么鉴定是或者不是
1:31:06但我觉得我还是很明显地说
1:31:07这个事情它存在你无法回避它存在
1:31:10而且我非常切身地经历过
1:31:11无数这样子的例子
1:31:14每一个例子你单拎出来它都非常小
1:31:16但是它是那种一件在你生命中
1:31:19无时无刻每天发生的平凡的小事
1:31:22所以它其实对那些被影响到的人
1:31:25造成的影响
1:31:26不是你听到一个例子时候所感受到的冲击
1:31:28而是把那一件小事的冲击乘上一亿倍
1:31:32那才是对那个人人生的真实的冲击
1:31:34然后你再把它扩大到整个群体
1:31:37它所造成的这个互动性影响
1:31:39就是常识的影响
1:31:40刻在所有人共同认知里面的影响
1:31:42是没有办法用一个例子去说清楚的
1:31:45我觉得这个是它造成了我
1:31:47为什么特别在乎平权和公平平等
1:31:50这些东西的一个性格特质的原因
1:31:53第三个就是我刚跟你讲的
1:31:55我自己经历过我能感受到
1:31:59包括我自己做的我发的那些论文
1:32:01有些论文其实我觉得也就一般
1:32:03但是那个论文可能就是因为是我发的
1:32:05或者是我一个斯坦福发的伯克利发的
1:32:08大家就会觉得它是一个标准
1:32:09但其实同期可能有一些
1:32:11跟我做的论文差不多的论文
1:32:14我其实只是一个研究者
1:32:15我不是那个科学家
1:32:16但是因为这样一个身份
1:32:18让我这篇论文被定义了
1:32:20但是我觉得这个事情它本不应该这样子
1:32:24虽然我是获益者
1:32:25但是当我是获益者的时候
1:32:26我觉得我现在终于有力量可以
1:32:29因为我是获益者
1:32:30我终于有力量把这个事情往外推动一点
1:32:33LMSYS想要以什么样的形式
1:32:35去把这个权力很公平地分给每个人
1:32:40很难首先我们都知道这是个结构性问题
1:32:44它不是我能做的或者是一个机构能做的
1:32:49我记得有一次我跟Ion Stoica聊天
1:32:51我忘记是具体聊的什么内容了
1:32:53但是我跟他说我想改变一些东西
1:32:55他聊到一个什么事情
1:32:55我说这个事情我想改变
1:32:57他说你改变不了
1:32:58或者是来问我说
1:32:59你觉得你能改变吗改变得了吗
1:33:01然后我就说我说不能改变
1:33:04我确实没办法改变
1:33:05但是如果我能改变1%的话
1:33:07我愿意用我的一生去改变这1%
1:33:09一样的答案
1:33:11我觉得我改变不了
1:33:12这个挑战对于我来说
1:33:14在这个挑战面前我太渺小了
1:33:16但是我觉得我能改变一点点
1:33:19或者是改变我身边的一点点人
1:33:22这个一点点人
1:33:22他们会把这个精神再传递到更多的人身上
1:33:25它就发生一点点变化
1:33:27那我就觉得它值得我用一生去做
1:33:30但是这个里面有一个很微妙的地方
1:33:32就是当我们想要改变一件事情
1:33:35推广一个价值观
1:33:37或者你想改变身边的人的时候
1:33:39这个传递是非常容易出错的
1:33:40对
1:33:41是非常容易出错和被人利用的
1:33:44其实真正最后你能够传递的是
1:33:46你是不是能够把
1:33:49你要挑选的人非常重要
1:33:50有很多人他就不在这个里面
1:33:52他根本就不在这个体系里面
1:33:53所以不是所有人都可以被教育的
1:33:55所以你要找的那些人不是
1:33:58打个比方说我现在想帮助弱势群体
1:34:00但不是说我真的去帮助弱势群体
1:34:02这事情就能被解决解决不了
1:34:04你要解决的是你要找到那些跟你一样
1:34:07想去找到想帮助弱势群体的人的人
1:34:10你只能去找到那个
1:34:11能把这东西散布出去的人
1:34:13而不是直接去做到就比方说
1:34:15哪怕你培养更多的学生成为老师
1:34:17都是不够的
1:34:17你要培养的是
1:34:19想要去把学生培养成老师的老师
1:34:23你需要把那个recursive（递归）的链条建起来才有用
1:34:26对
1:34:27这个事情它会非常的慢
1:34:30它非常非常的慢
1:34:31所以我觉得我做不了多少事情
1:34:33但是它的好处是
1:34:34你如果能做到一点它就做到了
1:34:36它不是个会回退的边
1:34:38它不是个会回退的改变
1:34:39它是一个渐进的
1:34:40就是你往前推了它就是往前推了
1:34:42它至少是扎实的一个改进
1:34:44我觉得所有的改进
1:34:45只要它是扎实的话就可以
1:34:46如果它不扎实
1:34:48但是看上去是个跃升
1:34:49但它不扎实
1:34:50那你这个跃升就是没有意义的
1:34:51就我们平时推项目我也这么跟他们说的
1:34:53我说不用着急我们不用到那个目标
1:34:56但是我们重要的是
1:34:57你团队能不能训练出来一套系统化方法
1:34:59我的每一小步的移动是不是扎实的
1:35:01哪怕我就动了一点点
1:35:03比你那个动了很大一部分
1:35:04将来还要退回来要好很多
1:35:06在研究界也会有性别歧视吗
1:35:10它也不能叫歧视其实没有那么严重
1:35:12叫性别不平等
1:35:13它可能都没有到平不平等和歧视的地步
1:35:16但是它会有
1:35:19但是很多很微妙的意识层面的不对称
1:35:25是无处不在的
1:35:26我给你举个微妙的例子吧
1:35:28有多微妙这个事情
1:35:29微妙到你会觉得它不是个事
1:35:31就打比方说小时候
1:35:32比方说我竞赛出身
1:35:33我打竞赛打得很好
1:35:34如果我是个男生大家就会说我是天才
1:35:36如果我是个女生
1:35:37他就会说“她很努力”
1:35:38“她很听话”
1:35:41“你很用功”
1:35:43对他会觉得
1:35:44或者“你运气好”
1:35:45我小时候经历的是什么呢
1:35:46就是
1:35:46有一年的竞赛
1:35:47那年我一直成绩是
1:35:49各种大赛比赛都是很好都是顶尖最好的
1:35:52反正至少是比我们学校里
1:35:54跟我同龄的人要好很多
1:35:56但是我身边的人会找无数个理由
1:35:59来解释我为什么好
1:36:03他们觉得你赢是不应当的
1:36:06他们否认你是天才这件事情
1:36:08他们不否认他们不会否认
1:36:09但是他们会觉得你
1:36:12如果换一个人那个人赢是理所应当的
1:36:14但如果是我赢了
1:36:15他们会觉得你这个赢需要被解释
1:36:17但是你正常情况下
1:36:18一个人赢是不需要被解释的
1:36:19我为什么要去解释他为什么赢呢
1:36:21他厉害呀
1:36:22对
1:36:22但是我的每一场赢都要被解释
1:36:24背后都有个原因叫做我为什么赢
1:36:26而不是你为什么输
1:36:27就是这个解释可能是
1:36:29她的对手最近状态不好
1:36:33然后下一场她的对手状态还没回来
1:36:37下一场是她这个题押中了
1:36:39这个题她以前做过
1:36:41但是可能其实我并没有做过
1:36:43但是你感受到这个
1:36:46也不是故意的恶意
1:36:47让人很窒息
1:36:49这些微妙的存在也会出现在你之后
1:36:51做研究、读博士、做项目
1:36:55对是源源不断的
1:36:56也都会一直有这样的存在
1:36:58就是说你赢了你比人厉害
1:37:01大家就会给你找理由说
1:37:03她为什么为什么是她为什么她赢
1:37:05对他们会说我要再去研究一下
1:37:07这个人为什么可以她为什么可以
1:37:09她为什么能发这么多论文
1:37:11因为没有看《甄嬛传》
1:37:14一旦有一个合作方
1:37:16这个合作方他是男性
1:37:17或者是他是被公认的
1:37:19别人就会觉得
1:37:20这个想法会不会不是她的
1:37:22就是些很微妙的事情
1:37:24你单独去看的时候它们都很小
1:37:26但是我说这是一件持续发生
1:37:28每天发生每分每秒在发生的小事
1:37:30而且它会波及到每一个在这个群体里的人
1:37:33确实会对
1:37:34你根本就没有办法跳出这个框架
1:37:35因为一旦你跳出别人就会觉得你小气
1:37:37别人就会觉得你格局小
1:37:39我年轻的时候
1:37:40对这件事情的态度会更极端一些
1:37:41但我后来已经觉得没什么好
1:37:46这个事情是不需要被讨论的
1:37:47你要解决这一点只有一个方法
1:37:51就是你让所谓的“弱势群体”
1:37:54或者说如果在这个特殊例子的话
1:37:56就是女性真正拥有权力
1:37:59除此之外没有别的办法
1:38:01你就是不断去赢就好了
1:38:03对而且这个权力是
1:38:05所谓的人类的真的头部0.001%
1:38:080.01% 0.1% 1%里面全部平权
1:38:12她们只有真正获得权利
1:38:13这个事情才会被改变
1:38:14其他所有的一切
1:38:15通过教育是达不到任何目标的
1:38:17你觉得在过去10年有好一点点吗
1:38:22还是没有
1:38:23肯定有好一点点吧对
1:38:24我觉得社会是在向前
1:38:26但是这个它
1:38:27你如果拆分到不同的方面的话
1:38:30有些地方可能也在也有
1:38:33也不是都在变好
1:38:34对它那个价值观是一个很波动的状态
1:38:36但你整个来说的话我觉得是在变好
1:38:38好的我觉得我们覆盖了大部分的东西
1:38:40你让我再看一看有没有什么问题
1:38:42你觉得有什么问题我们漏掉的吗
1:38:44我没有想过有什么问题要问
1:38:46但是结尾的时候
1:38:48我倒是可以有一件事情想说
1:38:49昨天你们过来
1:38:50你给我看那个文档的第一眼
1:38:52我其实当时挺打动
1:38:53就是那个文档里面已经有很多对我的描述
1:38:56就感觉你们已经对我
1:38:57我不知道这是AI生成的还是人做的
1:38:59没有我们看了很多论文
1:39:00是人做的
1:39:01挺详尽的
1:39:03我觉得很多投我的投资人
1:39:04都没有这么样地去看过我的经历
1:39:07在我跟他们聊天中
1:39:07我发现他们不了解我的经历
1:39:09他们不了解发生过什么
1:39:11他们可能在别的侧面去打听了
1:39:12但是这份文档还是我当时印象很深刻
1:39:15我觉得包括融资的这段经历
1:39:18给我的一些成长
1:39:20很多职业本身我们觉得会做的事情
1:39:23其实它们不是自然发生的
1:39:26也许我原来觉得一个做采访的人
1:39:28他就应该对被采访者先有一个深度的研究
1:39:31但事实上很多的采访者
1:39:34他们并不一定真的会做这件事情
1:39:36也许我们觉得投资人
1:39:37他应该创始人做个很深度的调查
1:39:39但实际上大多数投资人
1:39:40都没有去做深度的调查
1:39:42也许我们觉得一个PhD应该好好做研究
1:39:44大多数PhD未必真的好好在做研究
1:39:46有很多事情它在定义里面该发生的
1:39:48其实不会发生
1:39:49我后来发现一个人
1:39:51他只要能把职业里面该做的事情做完
1:39:55其实就已经非常稀有
1:39:56我觉得我昨天看那个文档的时候
1:39:59我不喜欢采访
1:40:00本来我们也差点就要推掉了
1:40:02对
1:40:02但是我昨天看那个文档时候
1:40:03其实我觉得我愿意好好做一下采访
1:40:05因为我觉得你们做了这个劳动
1:40:07我是尊重的
1:40:08我就想说一句尊重
1:40:10谢谢我也很尊重你
1:40:14我觉得很多就刚刚聊到的
1:40:19比方说我的PhD
1:40:20其实前面也有很多波折
1:40:22融资时候有很多波折
1:40:24我们这个开源项目做起来也有很多波折
1:40:26但我现在你真的要我说结局怎么样的话
1:40:29其实这三段波折
1:40:31或者说过往包括童年很多波折
1:40:33他们波折之后的那个终点都非常的好
1:40:37我的PhD第一年
1:40:40Rotate（博士轮转项目）找导师不是很顺利
1:40:41但是最后我找到那个导师
1:40:42他是一个教科书般完美的导师
1:40:45我们这个开源项目
1:40:46一开始也有各种各样的被打击
1:40:49但走到今天我们有了一个这么好的团队
1:40:54我们团队大家都这么的有能量
1:40:58这么的有热情还这么团结
1:41:00融资我前面也经历了
1:41:02很多各种各样的事情
1:41:03但我觉得最后我们容纳进来的这些投资人
1:41:06也是教科书般完美的投资人
1:41:08是
1:41:09我在当时刚出来融资之前对融资一无所知
1:41:13所以我想去学点东西
1:41:14我就去看了一些书
1:41:15理解了一下
1:41:16融资的书怎么去融资的书
1:41:19类似吧
1:41:19可能创始人跟投资人之间相关的一些书
1:41:22Fundraising 101（投资入门）
1:41:24差不多然后我想理解这是什么东西
1:41:27那个时候我很多名词都不知道的
1:41:28我不知道什么叫term sheet（投资条款清单）
1:41:30我是在一个这样的状态下出来融资的
1:41:32我也不知道什么叫做估值
1:41:34什么叫做Seed轮（种子轮）我都可能都没有概念
1:41:37很多基本概念我都不知道都不理解
1:41:39Pitch deck（融资演示文稿）是什么
1:41:40Pitch deck这个词我都没有听说过
1:41:41什么叫pitch
1:41:42Deck是什么
1:41:43要写多少页每页写什么
1:41:45对是完全没有概念
1:41:46就是没有概念到
1:41:47Pitch deck这个词我都没听说过
1:41:49Term sheet（意向条款书）是什么东西
1:41:50有个人跟我说
1:41:51你们有没有拿term sheet
1:41:52我说啥是term sheet
1:41:53我是在这样一个状态里面
1:41:56所以我就尝试去学这些东西
1:41:58但是我从书本里面看到的
1:42:00书本里写的都是美好的
1:42:01书本里面告诉我的那个
1:42:03投资人和创始人之间的关系
1:42:06是一个终身友谊的关系
1:42:08是一个你们并肩作战的关系
1:42:11虽然我早有准备童话总是美好的
1:42:13虽然我早有准备但
1:42:15发现现实不是这样的
1:42:17现实总是复杂很多
1:42:19但是我最后真的跟我们匹配的投资人
1:42:22这些合伙人
1:42:23他们又回到了我当初在教科书里面看到的那个
1:42:26所谓的投资人跟创始人之间的关系
1:42:28书本也没有骗我们
1:42:29包括我以前PhD之前
1:42:32很多人跟我描述过的
1:42:33PhD导师跟学生之间的关系
1:42:36可能也是过于美好的
1:42:37但是我最后拿到了
1:42:39那些美好的描述它们都没有骗我
1:42:41世界上存在那么纯粹那么好的导师
1:42:44存在那么好的投资人
1:42:46存在那么好的采访者
1:42:48但是绝大多数人他们没有坚持到
1:42:51把那个跌宕起伏的过程走完
1:42:54没有坚持到
1:42:55相信那个好的东西其实是存在的
1:42:58只是说你要筛选只是说你要有耐心
1:43:01等着它最后显露出来
1:43:03你要有这个耐心
1:43:04让那些不是理想状态的沙砾自己脱落掉
1:43:08很多人可能在中间就开始怀疑了
1:43:10然后放弃了
1:43:11对怀疑了放弃了
1:43:12或者是他不再相信
1:43:14借这个机会我其实想说
1:43:16那些好东西都存在
1:43:17所有好的东西都不是编出来的
1:43:20但是你要非常相信它
1:43:22你要相信到
1:43:23你身边没有这样的人你还相信他
1:43:25然后有一天那个跟你一样相信的人
1:43:27他有一天会跟你相遇
1:43:32坚持
1:43:35这一段特别好
1:43:36刚刚我都有点想流泪你知道吗
1:43:40这一段太好了
1:43:41最后两个问题
1:43:42你是一个逻辑如此缜密之人
1:43:46但是就像你说的
1:43:47这个世界上很多东西是乱的
1:43:51或者它逻辑上是不成立的
1:43:53就很多随机的地方
1:43:54世界是一个草台班子
1:43:56这件事情能自洽吗
1:43:57还是说你其实是会痛苦的
1:44:01我在我的逻辑里是自洽的
1:44:02我的逻辑不受我看到的事情的干扰
1:44:06痛苦也有就是会痛苦
1:44:07我其实很情绪化的
1:44:09我是非常情绪化的人其实
1:44:12很多很微小的事情
1:44:13会对我造成非常大的情绪影响
1:44:15但是我能够把那个情绪影响
1:44:17跟我的价值观构建分离开
1:44:20比如说我看到了很多事情我不想看到
1:44:23我不希望它发生但它们都发生了
1:44:24然后我觉得很不高兴
1:44:25但是我看完它们之后
1:44:26不会导致我觉得那个是正常的
1:44:28我仍然会坚信那个
1:44:29我没看见但我相信的东西是对的
1:44:31我仍然会坚信就像我刚刚说的
1:44:33我仍然会坚信有一个我想看见的世界
1:44:35但是我现在没看见
1:44:36只是我还没看见它而已
1:44:38这个事情我可能会相信它
1:44:41几年、十年的时间
1:44:42我还相信它在那里
1:44:43这个东西很难被改变
1:44:44但是我过往的经历告诉我
1:44:46它们其实都存在
1:44:47最后我都遇到了它们
1:44:48所以我有很多正反馈
1:44:50但我觉得有很多人是没有看到正反馈的
1:44:52所以你也不能说要求所有人都坚持
1:44:55但是我觉得我是幸运的
1:44:57因为我全都看到正反馈
1:44:58就是我的正反馈循环
1:44:59让我可以在后面遇到这种类似情况时候
1:45:02坚持得越来越久
1:45:04可能我第一次时候我等了几个月
1:45:06然后它被验证了
1:45:08下一次我等了几年它被验证了
1:45:10再下一次我等了十年它又被验证了
1:45:11但我就知道了它总是能被验证
1:45:13下次我可以等20年再下次我可以等
1:45:15就没有人生可能等完了
1:45:17但是我想至少我等到了
1:45:19我觉得别人也能等到
1:45:20你有没有想过
1:45:21因为你是对的人
1:45:22你是正确地去做这件事情的人
1:45:24所以你等到了
1:45:26比如说有些人他可能对自己的认知有误
1:45:29他可能不是最正确的那个人
1:45:31他可能不是有天分的那个人
1:45:34可能他等下去就是等不到的
1:45:36就需要找到这个自洽吧
1:45:39比方说我说我等了10年最后等到了
1:45:41但是我其实自己心里的一些认知
1:45:43跟世界一直是不吻合的
1:45:45这10年里我一直都是很割裂的存在
1:45:48我觉得也可以
1:45:49我也可以一直就很割裂地存在
1:45:50就算我整个人生都很割裂
1:45:52我也不想妥协
1:45:53就是你能不能找到那个边界是重要的
1:45:55其实这件事情可以
1:45:56我想说有这个割裂其实是完全可以的
1:45:58它不会真的很痛苦人们只是害怕而已
1:46:01但如果说有个人告诉你说
1:46:02就这样就这么回事没关系
1:46:04其实就真的没关系
1:46:05但是首先这世上也没有绝对的正确
1:46:07我也不能说我是正确的人
1:46:09大家都是正确的人
1:46:10但我只说每个人都有你自己的想法
1:46:12你所谓的正确在别人的眼中不正确
1:46:14也是可以的
1:46:15也是完全可以没有任何问题
1:46:17但是它的唯一重点就是
1:46:19你是不是按照你自己的想法去认知和行动
1:46:25还是你其实是被别人牵着走的
1:46:27或者你觉得自己在妥协
1:46:29你只要不觉得自己在妥协都没关系
1:46:31哪怕你真的错了就错了吧也没关系
1:46:34但是我非常不喜欢的是
1:46:36大家都变成了不能执行自己意志
1:46:39这样是不好的
1:46:40如果所有人都执行自己的意志
1:46:42哪怕你不和谐
1:46:44那也是自然存在的其实本来就合理
1:46:46好的以上就是我们所有的问题了
1:46:49非常感谢
1:46:50谢谢盛颖
1:46:51以上就是我和盛颖的视频播客栏目了
1:46:55这一期节目我们录制于6月初
1:46:57当时RadixArk刚宣布融资
1:47:00不到两个月的时间 AI市场经历了开源模型爆发
1:47:03而SGLang等推理引擎作为AI Infra的重要技术框架
1:47:08正在成为AI时代新的核心技术层
1:47:10链接英伟达、AMD还有谷歌TPU等芯片与各大模型和应用
1:47:16而我们也很期待盛颖口中保密的
1:47:19目前还不存在的“下一代AI”是如何的形态
1:47:22好以上就是这期视频的全部内容了
1:47:25你们的点赞、评论和转发
1:47:27是支持我们硅谷101做好深度科技和商业内容的最佳动力
1:47:30我是陈茜那我们就下期视频再见啦

About this transcript

This page contains the full transcript of 对话盛颖：xAI，Infra的浪漫，SGLang，开源，平权与“甄嬛传” by 硅谷101, generated from the public captions YouTube serves with the video. The transcript has 3,877 words across 3,382 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.