YT YouTube2Text

YouTube2Text → Transcripts → Gemini是“美国豆包”？Ai为何会降智？是错觉还是暗中阉割？｜Gemini｜Claude｜ChatGPT｜节点｜代理｜API中转站｜聊点不同E59

Gemini是“美国豆包”？Ai为何会降智？是错觉还是暗中阉割？｜Gemini｜Claude｜ChatGPT｜节点｜代理｜API中转站｜聊点不同E59 — Transcript

by KK日常折腾 · 1,194 words · 1,149 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00hello大家好
0:01欢迎来到我的Youtube频道
0:03那遥想在一年以前
0:04在Gemini3.0发布的那一天晚上
0:07大量的自媒体高喊
0:08这个这个
0:09哈哈哈这个**的
0:10遥遥领先～～
0:11那一天
0:13Gemini在LM Arena上面拿到了1,501分
0:16是人类历史上第一个
0:18越过1,500分的模型
0:20压过了当时的GPT5.1和Claude4.5
0:22而这个成绩在Openai
0:24内部触发了一次code red
0:26他们把GPT5.2的发布提前到了12月11日
0:31那那几周里面
0:32从chatgpt换过去了不少的用户
0:34而在最近
0:35Gemini在中文社区有
0:37一个外号叫“美国豆包”
0:39这个外号的描述是一种处境
0:41它无处不在
0:42在谷歌搜索结果的最上面
0:44在安卓手机的侧边键上
0:46在Gmail的写作框里面
0:47Chrome的地址栏里面
0:49没有人特地去选它
0:50它自己就在那里
0:51大多数时候
0:52人们拿它查天气
0:53查翻译的一句话
0:55问一个生活的常识
0:56但同时这些中文社区也在影射它
0:59它出现了严重的降智
1:01以及上下文常常出现的观点的反转
1:04前后结论不一致的情况
1:06这期视频我们想要回答三个问题
1:08谷歌的Gemini为什么会时强时弱
1:11所谓的“降智”到底存不存在
1:13以及如果存在
1:15降智它降的到底是什么
1:17那么三家公司
1:18Openai Anthropic Google
1:20现在摆在货架上的十几个模型
1:23作为用户到底应该如何去选
1:25这三个问题共用一套前提
1:28所以我们先花几分钟把一个
1:30在线的大模型拆开来看一下
1:32首先一个在线模型它
1:34到底是由什么构成的
1:36那当我们说Gemini3Pro的时候
1:38我们说的其实是三样东西
1:40第一样是权重
1:41它是一个文件
1:42里面装着几千亿个浮点数
1:44而这个文件在训练结束
1:45的那一刻会固定下来
1:47之后呢也不会自行来进行变化
1:49那第二样是服务端的配置
1:52同一份权重加载的
1:53时候用什么数值精度
1:54是16位浮点还是8位整数
1:57每次回答最多允许
1:58模型思考多少TOKEN
2:00系统本身自己的
2:01提示词里面写了什么内容
2:03解码时候的温度
2:04top p top k分别要设置成什么
2:06超长的对话如何来进行截断
2:08如何来复用缓存
2:09一个看起来很简单的请求
2:11要不要悄悄地交给一个
2:13更小的模型去进行回答
2:15那这些参数都不在权重的文件里面
2:18改它们不需要去进行重新的训练
2:21改完是可以立即生效的
2:23那第三样是名字
2:25名字其实是一个指针
2:26就像我们使用域名
2:27指针是可以改指向的
2:29而从Gemini的历史记录来看
2:31它确实也更改过指向
2:332026年的2月19日
2:35Gemini3.1Pro发布
2:36Gemini3Pro Preview
2:38随后就关停了API里面的Gemini3Pro Preview
2:41这个字符串指向了Gemini3.1 Pro Preview
2:45而Gemini的应用里面写着的那个Pro的
2:48下拉选项也同步换成了3.1模型
2:51所以从去年11月用到今天的人
2:53后端为它加载的权重文件
2:56其实已经整体替换过一次了
2:57而社交媒体上
2:59包括油管上大量的
3:00出现Gemini降智的说法
3:01也在那之后像
3:02雨后春笋一般直接涌出来
3:05因此降智的说法不是一个心理作用
3:08是真的后台有所改动
3:09那很多朋友会问
3:11从3.0更新到3.1
3:13不应该是修正了什么bug
3:14或者升级了什么功能吗
3:15为什么反而降智了呢
3:17那这个就要从AI模型的
3:18特殊性开始讲起了
3:20AI模型的3.0模型和3.1的模型
3:23其实是没有任何继承性的
3:25从某种程度上讲
3:27它们可能甚至是AI公司单独
3:29训练的两个完全不同的模型
3:31因此我们作为用户是没有办法
3:33套用软件更新的版本号
3:35它的更新规律去
3:36理解AI模型从3.0改为3.1
3:39它是一种进化的
3:40因为这只是后台模型的一种变更
3:43而不是一种升级
3:45那我们来到第二部分
3:46我们就要来讲一讲AI
3:47模型变弱的它的感觉
3:49主要来自于六个来源
3:50我们一个一个来讲
3:52首先第一个原因
3:53可能是名字指向的
3:55模型的权重被更换掉了
3:56那这一条不需要重复进行解释
3:58它的字面意义上就是换了一个模型
4:00人们说同一个模型退化了的时候
4:03“同一个”这三个字在很多情况下其实并不成立
4:06那第二个原因可能
4:07是同一份权重上面
4:09服务端的配置被更改了
4:11那我意识到这个问题
4:12是因为我看到了Openai
4:14的帮助中心里面
4:14有一个页面
4:15它现在也还在
4:16叫做模型发布说明
4:18它不在首页上面
4:19因此也没有什么人去转发它
4:21它就是一份按照时间
4:22顺序排的一个流水账
4:24里面有三条记录
4:25日期挨得非常近
4:262026年的1月10日
4:28下调了standard和light
4:29两个档位的思考时长
4:31给出的理由是观察到
4:33用户更喜欢快的回答
4:35同一条记录的后半句上面写着
4:37作为这一次改动的一部分
4:39GPT5.2的extended思考
4:41档位被无意中一起调低了
4:44那2月3日的时候
4:45基于测试对standard的档位思考
4:47时长又做了一次小幅的下调
4:492月4日把GPT5.2thinking的extended
4:52档位恢复到了之前的设置
4:54纠正到了一月那次误调之前
4:57从1月10日到2月4日
4:59将近一个月的时间里面
5:01如果你是一个订阅了chatgpt plus的用户
5:04那么你每天打开的chatgpt
5:065.2的这一个thinking模型
5:08你在付同样的钱
5:09用同样的模型名
5:10敲一模一样的提示词
5:12那他拿到的思考预算会比
5:141月9日的时候要更少一些
5:16这里面一部分是产品决策
5:18因为用户想要更快
5:19那就快一点
5:20那另一部分呢
5:21就是生产事故
5:22因为他调错了地方
5:24一个月之后才发现
5:25extended这一部分有了问题
5:28那在那个月里面
5:29如果这个人跑到论坛上大喊说哎
5:31我感觉5.2变笨了
5:32它降智了
5:32那么他会收到两种回复
5:34一种说你想多了
5:36模型压根就没变过
5:37那另一种说哎
5:38对对对我也是这么觉得
5:39那这两拨人手里面呢
5:40都没有证据
5:41因为改动记录要等到
5:432月4日的时候才会写出来
5:45而思考预算是服务端
5:47配置里面的其中一项
5:49改它不需要进行重新的训练
5:51这一份日志的价值就在于
5:53它是极少数被写下来的那一次
5:55谷歌是不公开服务端配置的
5:57Anthropic也不逐条进行公开
5:59因此普通用户是没有办法在这
6:01两家当中去知道他们到底
6:04有没有去调整它的服务端配置的
6:06同时在很多的模型的
6:08预览版和正式版之间
6:10还通常有一次收紧
6:12预览版的思考预算非常的宽松
6:14这个阶段的目标
6:15是让人惊艳
6:16能够在发布会上喊出那一句
6:18遥遥领先
6:20而转正之后
6:21需要按照成本进行重新的调整
6:24可能是大调
6:24也可能是特调
6:25也可能是微调
6:26因此模型厂商内部的更新
6:29可能不是为了消费者
6:30而是为了他们自己的降本增效
6:33那第三个是新版本里面的取舍
6:36版本号往上走一格
6:38模型就要完成好几件事情
6:40首先它要把推理的成本压下来
6:42第二它要把延迟压下来
6:44同时再把工具调用的可靠性提上去
6:47把安全策略重新的调整一遍
6:49这是一个目标向量
6:51凡是写进这一个向量的维度呢
6:53都会涨上去
6:54凡是没写进去的
6:55又没有好用的自动评测盯着的那几个维度
6:57就有可能会掉下来
6:59散文的语感
7:00超长的对话里面前后的一致性
7:02对模糊指令的领会
7:03冷门事实的准确度
7:04它都属于后者
7:06如果这一个维度没有
7:07在评测的指标之内
7:08同时它又掉下去了
7:09那么在训练的这个仪表盘
7:11上面是不会亮起红灯的
7:13因此甚至模型厂商也没有
7:15想到会出现这样的结果
7:16一个典型的例子
7:17是我曾经在自己的服务器上
7:19部署过没有设置敏感词围栏的Deepseek R1 70b的模型
7:23而那个模型在回答常规问题的时候
7:26也出现了比经过了安全审查的模型回答质量更高的情况
7:30举一个有文档可查的例子
7:32Anthropic的文档里面有一句话是
7:34Opus 4.7相比4.6
7:36在low和medium两个低档位上面
7:39更严格地遵守effort参数的设定
7:42在低档位下
7:43模型会把工作范围限制在被要求的事情上面
7:46不再主动多做
7:47那这个effort参数是什么呢
7:48它是Claude的一个参数
7:51控制模型愿意为一次
7:52回答花掉多少的TOKEN
7:54这句话写在产品的说明里面
7:56读起来呢
7:56它像是一个改进
7:58但是对于一个习惯
7:59了把effort设置成low
8:01同时呢再靠系统提示词让模型
8:03多想一点的开发者来说
8:04从4.6升到4.7的体感
8:07就是模型变得懒了
8:09这位用户可能什么都没做错
8:10模型的行为就被设计得更加的懒了
8:14那第四个原因就非常的常见了
8:16就是出现了bug
8:172025年的8月下旬
8:18Claude的用户开始报告
8:19一些非常奇怪的现象
8:21有用户用英文写提示词
8:23回答里面会突然冒出一个泰文字符
8:25有人让它写Python
8:26返回的代码里面呢
8:26有明显的语法错误
8:28括号也不配对的那种
8:29就是非常低级的错误
8:30那这是一个拥有正常水平的模型
8:33它不应该犯的错误
8:34也有人只是很笼统的说唉
8:35就感觉它变笨了
8:36那么Anthropic当时花了很长的时间
8:38才搞清楚这个bug是如何发生的
8:40他们后来也在事后分析里面
8:42解释了为什么他们这一次
8:44定位问题如此困难的原因
8:45那原因正是因为他们内部的自动评测机制没有办法
8:49抓到用户报告的那种劣化
8:51因为Claude常常能够从一次孤立的错误里面自己恢复过来
8:54整段对话看下来仍然是对的
8:56测评分数也不会有任何的下降
8:58同时隐私控制限制了工程师去翻
9:01那些用户没有主动反馈的对话
9:03一家有全量日志
9:05有专职测评团队的公司
9:06花了将近一个月的
9:07时间才把原因找齐
9:092025年9月
9:10他们把事后分析公开了
9:12导致这一次事件的原因是三个bug
9:15全部都在基础设施层出现了这个bug
9:17第一个是路由错误
9:198月5日一批为即将上线的百万TOKEN
9:22上下文准备的服务器加入了集群
9:24一部分普通的短对话请求被
9:26错误地送进了这一批服务器里面
9:28而最初的比例是0.8%
9:31也就是125个请求里面会错一个
9:33几乎没有人能够察觉的到
9:35而到了8月29日
9:36一次常规的负载均衡的
9:37改动又放大了这一个错误
9:39到了8月31日
9:40最糟糕的那一个小时
9:4216%的SONNET 4的请求跑在了错误的机器上面
9:466个请求里面就有一个错误
9:48而这一个路由还很有粘性
9:50一旦某个用户的请求被
9:51分到了那批机器里面
9:52那么他后续的请求
9:53都会继续留在那里
9:55所以当时的社区的体感是很分裂的
9:57一部分人觉得这个模型彻底崩了
9:59没法用了
10:00而另一部分人则完全没有察觉
10:01他们这两边都没有说谎
10:03但是就出现了不同的体感
10:05那第二个bug就更加直接了
10:078月25日一批TPU服务器上面
10:09的一处配置错误
10:10让TOKEN生成的过程当中偶尔
10:12插进本不该出现的字符
10:14英文回答里面出现的泰文
10:16代码里面出现的语法错误
10:17它的来源都在这个地方
10:19Opus4.1和Opus4受影响了三天
10:22sonnet4受影响从8月25日
10:24一直持续到了9月2日
10:25第三个bug
10:26我们值得慢慢的来讲一讲
10:28因为它展示了这一类
10:29问题它能够藏得有多深
10:31模型做向前计算的时候
10:33用的是BF16
10:34一种16位浮点格式
10:36而TPU上面的某些算子偏好32位
10:39两者之间呢
10:40存在一个精度的不匹配
10:428月25日Anthropic改写了一段采样代码
10:45想把这一个不匹配给它修掉
10:46而这一次改动本身是对的
10:49但是它触发了XLA编译器
10:51里面的一个一直潜伏着的bug
10:53出问题的算子叫做approximate top k
10:56模型所生成的每一个字
10:58要先算出词表里面的每一个词的概率
11:01然后挑出概率最高的
11:02那几个词作为候选
11:04词表里面呢
11:04有十几万个词
11:06每一步做精确排序的速度就太慢了
11:08所以工程上会用一个近似的算法
11:10快速的找出大概概率最高的那一批
11:13那这个近似算法在某些特定的批大小和配置的情况下
11:17会返回一个错误的候选集合
11:20概率最高的那个词
11:21反而有时候会被直接漏掉
11:22模型没有变笨
11:23模型知道该说什么
11:25只是在最后一步
11:26那一个正确的词被丢出了候选名单
11:29Haiku3.5被这个bug影响了将近两周
11:31SONNET4和OPPO三的一部分
11:33请求也可能会中招
11:35而修复的办法是退回到精确的TOPK
11:38把更多的算子固定
11:39在32位的精度上面
11:40接受随之而来的效率损失
11:42同时和谷歌的XLA团队
11:44一起去修编译器本身
11:46Anthropic在这份文档
11:48里面还写下了一句话
11:49说他们不会因为需求量时段或者
11:52服务器负载去主动的降低模型的质量
11:55而这三次都是因为基础设施的bug
11:58那这句话可信可不信
12:00那是用户自己的判断
12:01但是文档本身给了
12:02一个可以确定的结论
12:03就是权重一个字节都没改
12:06输出的质量能够连续的劣化好几周
12:08而且劣化的分布极度的不均匀
12:10同一天里面
12:11有用户踩中了16%的那条线
12:13而有的用户却一次都没有遇到
12:15那第五个原因就是
12:16人心里的那把尺子
12:17也就是人评价它的前沿
12:19在逐渐逐渐往前移动
12:21今年的5月5日
12:22ChatGPT 5.5Instant成为了所有
12:25chatgpt用户的默认模型
12:27免费用户也在其中
12:295月19日
12:30Gemini3.5Flash成为了Gemini
12:32消费端的全球默认模型
12:34一个2025年11月的前沿模型
12:36放在2026年的7月
12:38也就是今天这个位置上
12:39它的客观位置已经落到了中游
12:41它一个字节都没变
12:43评价它的那把尺子已经被更换掉了
12:45每当模型发布的那一周的第一印象
12:48按照当时的定义
12:49其实是不可复现的
12:50那第六个原因就是观测方式和使用方式在进行变化
12:54AI的解码温度默认是大于0的
12:56也就是说同一个提示词跑10次
12:59模型给出的10个回答
13:01本来就会不一样
13:02质量的波动是本身就在的
13:04而恰巧在这个时候
13:05人心里面如果先有了一种
13:07它是不是变笨了这个念头
13:08再去看输出
13:09那么这个波动会自动被读成证据
13:12例如国内的豆包模型
13:13在使用的时候
13:14这个效应就会体现的特别明显
13:16我的老丈人用豆包的模型觉得哇
13:18它聪明的不得了
13:18毁天灭地
13:19遥遥领先
13:20而在我使用的时候
13:21就觉得它像是一个智障
13:23那还有一层原因就是跟
13:24用户的使用习惯有关
13:25一个模型刚上手的时候
13:27人会拿最难的题去试它
13:28而新鲜感过去之后
13:30难题就会被挪到别处
13:31那能够留给他的任务
13:32就只剩下了查天气
13:34你帮我翻译一句话
13:35问一个生活常识
13:36那我就是一个非常典型的用户
13:38我在核查新闻内容
13:40观察产品和研究管理机制的时候
13:42会使用Anthropic
13:43在做企业内的事务记录审计的时候
13:45会使用Codex
13:46而平时的常规任务
13:48我就更喜欢使用Gemini
13:49例如我被猫抓了
13:50被狗咬了
13:51我应该用什么方式
13:51完成狂犬疫苗的接种
13:53这个时候
13:54这个Gemini就显得非常的廉价又易用
13:56那么在一个只收到
13:57简单任务的模型里面
13:59它只能展示出应付简单任务的能力
14:02这个印象就会出现用户的自我确认
14:05就好像你在单位里面
14:06总是接到一些送文件的简单任务
14:08而主持重大项目的任务
14:10却留给了领导他小舅子
14:11这个时候你的领导如果骂你说
14:13你是个废物
14:14你肯定不认对不对
14:15那刚才我们说的6个
14:17来源的权重它各不相同
14:18但是它们又同时成立
14:20互相也是不排斥的
14:21那我们的节目来到了第三部分
14:23我们就要来讲一个中文
14:24社区里面一直流传着的说法
14:26说降智跟网络环境有关
14:28我们换一个节点就可能会好
14:29那这个说法我觉得
14:31值得单独拎出来说一下
14:32因为它牵扯到3层
14:34完全不一样的东西
14:353层东西的证据强度
14:37差的很远
14:37我们可以一层一层的来进行解释
14:39那第一层是
14:40如果你使用的是官方的一方入口
14:42也就是说你直接打开
14:43网页版或者官方的APP来使用AI
14:45那到目前为止
14:46没有任何的公开证据表明这
14:48三家会根据出口IP所在的国家
14:51给某些人发一份更加弱的权重
14:53注意我说的是权重
14:55不是说有没有去干一些
14:57在背后监听你的脏活
14:58那这种监听在过去的7月初
15:00确实是Anthropic已经被抓包了
15:03那这一部分我们会
15:04留在后面再另外出节目
15:05我们今天不展开讲
15:07但是即使这三家AI公司给
15:09全体用户发的权重是一致的
15:11他们跟地理位置绑定的
15:12差异也确实是存在的
15:14而且呢跟地理位置绑定的
15:15这种差异它不止一种
15:17新的功能和新的模型
15:18是分区域灰度放量的
15:20某些能力在一部分国家先放开
15:22另一部分国家呢后开
15:23AB实验按照账号或者
15:25按区域进行分组
15:26同一天的两个用户可能
15:27落在不同的实验组里面
15:28而不同区域的请求
15:30落到不同的数据中心
15:31跑着不同版本的服务站
15:33换一个出口节点
15:34你恰好就换了一个灰度组
15:36换了后端
15:37因此呢就出现了说换节点之后
15:39感觉变强了这样的一个观感
15:40因为你进入到了
15:41不同的实验组里面嘛
15:43所以这个观察确实是真实的
15:45那第二部分原因是如果你
15:47使用的是第三方中转的API
15:49这一层的机制就很明确了
15:51而且它完全不在谷歌这一边
15:53一个中转商可以把请求换成一个更加便宜的模型
15:56可以把思考预算直接砍掉
15:58把上下文截断
15:59可以直接返回缓存里面的旧回答
16:02可以在提示词里面
16:03注入他自己写的系统提示
16:05同一个Gemini3Pro
16:06打引号的Gemini3Pro
16:08它的字符串在两个
16:09中转站底下可能对应两样东西
16:11走中转站的人
16:13它的模型名和它真正拿到的算力
16:15之间隔着一个它没有办法控制的人
16:17那第三层是观测方法本身
16:20绝大多数的降智报告没有对照组
16:23没有固定的题库
16:24没有重复的采样
16:25有内部评测和全量日志的公司
16:27自己定位一次真实的劣化都需要好几周
16:30而靠日常对话里面的零星印象
16:33其实用户的分辨率只会更低
16:35那总结一下
16:36我们把三层原因放到一起
16:37这个说法准确的版本应该是
16:40在中转API这一层
16:42机制很清楚
16:42大概率是真的
16:44那如果你使用的是官方的入口
16:46或者官方的API
16:47你可能可以怪到区域灰度
16:49实验分组后端版本的差异
16:51但是你关联不到
16:52识别到某个国家的IP就下发弱模型这一层上面
16:56这个事情是没有证据的
16:58那现在我们搞懂了AI降智的原因
17:00可是新的问题就又会出来了
17:02就是明明这6个来源在
17:04三家公司身上全部都成立
17:06那么为什么美国豆包和“还得是谷歌”这两种评价偏偏
17:11在谷歌身上交替的最频繁
17:13原因就是因为谷歌的上限
17:15和下限来自于同一件事情
17:17谷歌的上限之所以高
17:19是因为谷歌是唯一一家把芯片
17:22数据中心电力合同网络模型
17:25分发渠道全部握在手里的公司
17:28Transformer的那篇论文是他的
17:29Alphago和Alphafold是他的
17:31搜索索引
17:32Youtube上面的全部的视频
17:34Books项目扫描的几千万册书还是他的
17:37所以说如果说AI时代的石油是数据
17:41那么谷歌就是拥有世界上
17:42最大油田的那个数据大佬
17:44而在所有的正向原因里面
17:46分量最重的那一块是TPU
17:49TPU是一块ASIC专用集成电路
17:53它放弃通用性
17:54换取了矩阵乘法的效率
17:56GPU身上背着图形流水线的历史包袱
17:59那它最初是用来画三角形的
18:01TPU从出生的那一天起
18:03就只用来干一件事情
18:05所以同样的面积的硅片上面
18:07能够拿来做矩阵运算的那一部分更多
18:09TPU真正的分量在系统层面
18:12在芯片和芯片之间的那一根连线上面
18:15谷歌用的是自研的芯片间互联
18:17加上光路的交换机
18:19光路交换机的原理
18:20简单到有点朴素
18:22就是光纤和镜子
18:23转动镜子
18:24一根输入光纤里面的光就被
18:26送进了另一根输出的光纤
18:28而整个过程光始终是光
18:30不需要先转化成电信号
18:32再转回光
18:33这就意味着很省电
18:34很省成本
18:35代价是它只能做一对一的连接
18:37没有电子分组交换那么灵活
18:40谷歌在TPU V4的那一篇论文当中
18:42给它的定位是
18:43这是芯片之间互联的下一代形态
18:46它带来的第一个好处就是规模
18:48一个Ironwood的互联集群
18:51最大可以把9,216颗
18:53芯片连成一个整体
18:54那作为对照
18:55市面上通用的加速器
18:57常见的紧耦合规模是64颗到72颗
19:01它中间相差着两个数量级
19:03而这9,216颗芯片的高带宽
19:06内存加在一起是1.77PB
19:08这是什么概念呢
19:09一部4K电影大约是100GB
19:121.77PB相当于18,000部电影
19:15同时躺在内存里面
19:17这两点合起来
19:18正好解释了谷歌
19:19为什么尤其擅长长文档
19:21去处理超长的上下文
19:24瓶颈它其实只在内存
19:25和芯片之间的带宽
19:26不在于算力
19:28模型读一段文字的时候
19:29要为读过的每一个TOKEN
19:31保留一份中间的状态
19:32叫KV CACHE
19:33它随着长度进行线性的增长
19:36100万TOKEN大约就是
19:38七八本长篇小说的量
19:39这么长的KV cache塞不进
19:41任何一颗芯片的模型
19:43必须切开
19:44摊到更多的芯片上面
19:45而模型每往下写一个字
19:47都要跨芯片把这些状态读取一遍
19:49问题从算得快不快
19:51变成了芯片之间的数据通不通得动
19:533D环面拓扑还有一个性质
19:55就是不管怎么把这个环面切成两半
19:58切开的连线数量都一样
20:00因此无论任务分配得好不好
20:02都不会导致某一处链路突然的拥塞
20:05那这里要说明一点
20:06谷歌没有公开Gemini的架构
20:08也没有公开它在
20:09服务端如何切分上下文
20:11因此刚才的这一条因果链条是行业
20:13内从硬件特性和公开论文推出来的
20:16而我本人相信这样的合理推断
20:18这个不属于官方的说法
20:20大家注意辨别
20:21到了能耗这一层
20:23现在的数据中心扩张的约束它是电
20:25而不是芯片
20:26每一瓦电能够带来多少算力
20:28才是真正在起作用的变量
20:30光路交换省掉了脊层的电交换机和光电转换的环节
20:35这部分的功耗直接就消失了
20:37从功率密度上讲
20:38一个TPU V7的机架大约90千瓦
20:42装64颗芯片
20:43而对面的GB300的机架大约150千瓦
20:46装72颗芯片
20:4890千瓦
20:49大概也就是半个电动车的快充桩
20:51而150千瓦呢
20:53是一整个快充桩了
20:54因此在数据上
20:56谷歌的架构在散热和供电上
20:58的工程难度就差了一整档
21:01而成本这一层
21:02谷歌不需要向
21:03第三方支付NVIDIA的毛利
21:05它付给博通协同设计的钱
21:07付给台积电流片的钱
21:08剩下的呢
21:09自己留着
21:10第三方分析机构估算
21:11TPU V7的总拥有成本比GB200要低30%到44%
21:17谷歌没有公布过这些数字
21:18但是行业内可以从
21:20买方的一侧找到佐证
21:22Google cloud的CEO Thomas Korean说过
21:25Anthropic选择TPU的动机是性价比
21:27那还有一项成本很少被提到
21:29是利用率
21:30加速器空转就是纯亏损的
21:33但是谷歌它不一样
21:34谷歌有搜索的AI模式
21:35广告系统
21:36Youtube的推荐
21:37相册的图像处理
21:38这些内部推理负载巨大
21:40而且全天候进行负载
21:42可以把这个低谷进行填平
21:44换成Openai
21:45换成Anthropic
21:46他们这些只做模型的公司
21:48没有这样的负载来
21:49进行这个削峰填谷
21:51所以在商业这一层
21:52TPU从成本中心又变成了收入的来源
21:55任何人都可以通过
21:57Google cloud来租用到它
21:59是的
21:59这一套TPU架构
22:01它并不只是供给谷歌自用的
22:04用户只是买不到裸芯片装进自己的机房
22:06但是如果有想法
22:08还是可以租到谷歌的
22:09这一整套的系统的
22:102025年的10月
22:11Anthropic宣布最多使用100万颗TPU
22:142026年上线超过1吉瓦的这个容量
22:172026年的4月
22:18Anthropic Google博通把协议扩展
22:21到了3.5吉瓦的下一代容量
22:24从2027年开始供货
22:25据报道
22:26整个安排的规模是5年5G瓦
22:29价值最高400亿美元
22:31而5G瓦是什么概念
22:32它大致就相当于旧金山
22:34都会区夏季的用电峰值
22:36Meta今年也签了自己的TPU租用协议
22:39那当然从商业上说
22:40这里面有一个更大的
22:42也不出现在任何
22:43财报上面的一个价值
22:44就是市场上存在一个可信的替代品
22:47就能够压得住NVIDIA对所有人的报价
22:50也包括对谷歌自己的报价
22:51这个非常有意思
22:52我们以后可以有机会也
22:53再来讨论一下这个问题
22:54但同时这一套商业模式的
22:57代价也已经出现了
22:59那Bloomberg今年报道
23:00谷歌自己的研究员
23:02包括deep mind的内部成员
23:03现在要为算力进行排队
23:05因为容量被付费用户直接锁走了
23:08哈萨比斯曾经公开承认过
23:09瓶颈有两重
23:10第一重是在少数几家
23:12关键零部件供应商
23:14也就是高带宽内存
23:15卡在三星美光SK海力士的这三家里面
23:18这个在过去一年内存的
23:20这个癫狂的这一年当中
23:21已经体现的淋漓尽致了
23:23而另一重在研究吞吐
23:25研究员需要足够多的芯片
23:27才能够把新想法放大到
23:28足够大的规模上面去试
23:30谷歌当年做TPU的时候
23:31对自己科学家隐含的承诺是
23:34我可以给你别人拿不到的算力
23:36这一项隐含承诺对谷歌
23:38这样的公司非常的重要
23:40因为这吸引到了很多有趣的
23:42有想法的科学家加入了谷歌
23:44而到了2026年
23:45这个承诺因为云服务对外
23:47签订的商业合同被货币化了
23:49同时软件也是短板
23:51XLA的TPU编译器运行的时候
23:54跨Pod的调度代码都不开源
23:56编译器越复杂
23:57潜伏的问题就越多
23:58Anthropic的那个TOPK的bug撞上的
24:00就是XLA TPU上面的一处编译错误
24:03那说完了上限
24:04我们就可以来聊一聊Gemini的下限为什么这么低
24:07它为什么会获得美国豆包的称号
24:09那首先正如大家认识的那一个
24:10一言不合就免费的谷歌
24:12那到了AI时代
24:13谷歌的追求依旧没有改变
24:16例如在搜索结果的最上面
24:18Pixel手机的侧边键
24:19Gemini的写作框
24:21这些位置全部都是免费的
24:22他们的成本由广告收入进行补贴
24:25因此在这些产品上面
24:26单次调用的成本必须压到接近于零
24:29所以在谷歌的一个
24:30强模型发布几个月之后
24:32大多数人日常接触到的是量化过的
24:34思考预算收紧过的
24:36简单请求被交给小模型
24:37之后的那个服务形态
24:39当然这里也需要强调一点
24:40其实谷歌它并不公开服务端的配置
24:43只是我们从成本结构上看
24:44我们也找不到其他的解释
24:46所以两种口碑各自准确
24:49他们对准的是同一家公司不同的维度
24:51在发布周
24:52人们观察到的是能力上限
24:54到了第四个月
24:55人们观察到的是成本
24:56优化之后的服务形态
24:57同时前沿已经往前挪了2到3格
25:00这个循环在今天的3.5
25:02这一代同样会再走一遍
25:04无论它是否会在发布会后的
25:05第二天就表现得像是个大聪明一样
25:07那顺带我们来说一个问题
25:08就是为什么现在这些AI的名字
25:10为什么这么难读
25:11而且两个相近的版本号之间
25:13好像并没有什么直观的联系
25:15甚至我刚才说出了
25:16那种Gemini的3.0-3.1
25:18它根本没有继承关系这样的话
25:19就像Gemini从3.0走到3.5
25:22根据多家媒体的报道
25:23这两代版本之间
25:25他们中间换掉了预训练基座
25:26重新训了一遍
25:28也就是说
25:28这两个模型它连血缘都不是连续的
25:31但是它还是叫3.5
25:32Openai在GPT5之后的那一年里面
25:34出了GPT5.1 5.2 5.3 5.4 5.5 5.6
25:39那anthropic那边是
25:40徘句——Haiku
25:41十四行诗——sonnet
25:43作品——Opus
25:45那每一个后面会再
25:46另外挂一个版本号
25:47这个就更复杂了
25:48那在这里我们就先说
25:50一说为什么模型的版本号
25:52它一定不可能像软件的
25:53版本号这样让人易于理解
25:55那在AI时代之前
25:56语义化的版本
25:57它承诺的东西是兼容性
25:59如果出现了大版本的更新
26:01那么就意味着接口有破坏性的变更
26:03所有基于上一版本写的代码要全部改过
26:06而如果是小版本进行了变更
26:08那么就意味着它仅仅
26:09只是增加了新的功能
26:11原来写的代码你基本上可以不用改
26:13而到了AI时代
26:15大模型这里根本就没有
26:16破坏性变更这个说法
26:18从3.0到3.5
26:19API的字段一个都没动
26:21动的只有AI模型的行为
26:24而行为没有办法用
26:25一个数字来进行描述
26:26版本号一旦不再承诺兼容性信息
26:29那它剩下的功能就只有两个
26:31第一个是管理用户的预期
26:33第二个是标定自己在
26:34竞争格局里面的位置
26:36而巧的是
26:37这两个功能并不归技术部门说了算
26:39两个功能是为市场部所用的
26:42那既然这样
26:43为什么不直接更新整位数呢
26:45比如说从Gemini3.0更新到3.1
26:48直接就声称我更新到了Gemini4
26:50为什么整数位数就没人敢用呢
26:52因为整数在这里变成了稀缺资源
26:55如果你叫了4
26:56就退不回3
26:57而下一次真正的代际跳跃
26:58你就只能直接更新到5
27:00所以每一家都得把整数留着
27:02把小数位数挤满
27:04谷歌的3.5Flash已经用了
27:06这个名字发出去了
27:07那后面换了基座的
27:08旗舰就只能继续叫3.5
27:10因为一个家族
27:11看起来它要像一个家族
27:13那前一个命名决策就约束了
27:14后面那一个应该起什么名字
27:16那一个非常有意思的
27:17事实是Openai那一段
27:19记得以前还用过O1O3
27:21那个错乱非常非常的这个被人诟病
27:24那不知道大家有没有发现
27:25Openai的模型它是没有O2的
27:27那就没有O2
27:28o系列曾经是一条
27:30真正独立的产品线
27:31用强化学习的训练来
27:33进行思维链的训练
27:35行为和GPT系列是完全不一样的
27:37所以会进行单独的起名
27:39后来在GPT5加了路由器
27:40用户就不需要再知道
27:41自己在跟哪个模型对话了
27:43那这一条线就并回主线了
27:44快路径叫Instant
27:46推理路径叫thinking
27:48那至于中间为什么跳过了O2
27:49据报道是因为跟英国电信
27:52品牌的o two商标直接起了冲突
27:53因此这一段AI时代的小命名史
27:56一半是产品线的真实更新
27:58一半是商标法
27:59那O1到O3并不是出现了
28:01两次连续的大版本升级
28:03而是Openai没有办法用
28:05O2这一个版本号了
28:06Anthropic的那一套名字
28:08结构上其实是三家里面最完整的
28:10因为它是二维的
28:11名字编码虽然有点这个装逼
28:13但是它的尺寸档位数字
28:16编码的代际是比较准确的
28:18比如说俳句（HaiKu）它是17音
28:20十四行诗sonnet它指的是十四行
28:23Opus指的是一整部的作品
28:26长度呢是依次递增的
28:28这个顺序是有意的
28:29而到了今天
28:30三家已经收敛到了同一个二维结构
28:32就是GPT5.4Mini
28:34Gemini3.1Flash
28:35Claude HaiKu 4.5
28:37全部都是档位乘以
28:39代际这样的命名方式
28:40而真正读不懂的地方
28:42这三家的病因其实是一模一样的
28:44就是档位之间的模型
28:45版本居然是不一样的
28:47这你受得了吗
28:48例如
28:49Openai2026年三月份的那一次发布
28:52Instant的档位是5.3
28:53thinking和Pro的档位是5.4
28:56Anthropic现在同时在售的Opus4.8和Sonnet5
29:00这两个档位的代际数字是对不上的
29:01而fable5和Mythos5在Opus之上
29:04又开了一个新的档位
29:05用了一套新的命名轴
29:07Gemini3.5Flash5月中旬就正式发布了
29:09而到了7月初
29:103.5Pro还没有正式公开成为API模型
29:13那这个原因也非常有趣
29:15大家可以在这个
29:16烧烤摊上跟人吹水
29:17就是一个小模型的后训练可以
29:19在几周之内就重新重跑一遍
29:21而一个旗舰级的基座要好几个月
29:24如果你强行要让他们对齐
29:26就意味着这个作为AI公司
29:28它要强压着一个已经改好的模型
29:30它不发布
29:31一次发布的呢
29:32是一整个尺寸的家族
29:33所以成员之间的迭代
29:35周期差着一个数量级
29:37它的数字就必然会发生脱钩
29:39那我们作为用户
29:40我们有这么多的模型
29:41我们应该如何来挑呢
29:42现在美国的这三家头部的企业
29:45他们的产品线是同构的
29:46都是三档
29:47都分快档标准档和深思档
29:49那快档比如说GPT的5.5Instant
29:51当然现在已经升级到5.6了
29:53那Gemini的3.5Flash
29:55Claude的HaiKu4.5
29:56那标准档有GPT5.5thinking
29:59Gemini3.1Pro
30:00Claude open4.8和sonnet5
30:02而到了深思档有GPT5.5Pro
30:05Gemini的deep thinking
30:06Claude fable5
30:07它配上最高的effort
30:09那有一件事情我们值得
30:10摆在前面来说一说
30:11就是跨档的差距远远
30:13大于跨公司的差距
30:16查天气
30:16翻一句话
30:17问一个生活常识
30:18这类任务在快档上就已经饱和了
30:21你如果交给深思档
30:22回答不会更对的
30:23反而会浪费很多TOKEN
30:24甚至他给你进行浪费很多时间
30:26然后去到处给你查一遍
30:28反而更加的这个傻掰
30:30因此在这样的任务上
30:32你从一家公司换到另一家公司
30:34也基本上感觉不出什么区别
30:35一个人如果只用模型来做这些事情
30:37那么无论他手里拿的是
30:39哪一家的哪一个模型
30:41他得到的印象就是
30:42也就那样也就那样
30:44那如果要按任务来进行分配
30:46几十万TOKEN的长文档通读
30:48Gemini仍然是第一选择
30:50它的窗口最大
30:51能吃的模态呢最全
30:53那如果你有编码和agent的需求
30:55也就是需要在模型
30:56里面进行多步执行
30:57调用工具
30:58在一个长任务里面不跑不跑偏
31:00那么Anthropic的文档里面的建议
31:02是拿不准你就从Opus 4.8开始
31:04需要最高能力的时候用fable 5
31:06而Openai这边是GPT5.6
31:09那如果你是纯编码
31:10你就使用Codex
31:11但是如果你的需求是一次性的
31:13答错了之后呢
31:14付出的代价会很大的那种
31:15你可以使用深思档
31:16它很慢
31:17它也很贵
31:18但是它能够一次就
31:19把活干到七七八八
31:20而高并发的分类抽取清洗
31:23用HaiKu4.5 Flash、light和GPT5.4Nano这一类
31:27它的成本差一个数量级
31:29质量呢也差不多
31:30那写作和语感这一块
31:32没有任何公开的基准可信
31:34大家只能够进行自己的盲测
31:35一个之前有一个后台的网友来问我的问题
31:38就是谷歌宣布3.5Flash在四项
31:41基准上面都超过了3.1Pro
31:43那这个就很反直觉
31:45一个小模型压过了上一代的大模型
31:47听起来非常的不合理
31:48Flash不应该是蒸馏模型吗
31:50为什么新一代的Flash
31:51能够超过上一代的Pro
31:52首先我们来说明一下
31:53Flash确实是拿同代的大模型当教师蒸馏出来的
31:57但是蒸馏只发生在预训练和早期的对齐阶段
32:00之后Flash有一整套独立的后训练
32:03可以用上比他的教师
32:04发布的时候更新的数据
32:05更成熟的强化的学习环境
32:073.5Flash的教师是3.5
32:10这一代的内部大模型
32:11而它超过的3.1Pro属于上一代模型
32:13跨代的这个小模型压过
32:15上一代的大模型是常态
32:17也就是说跟魔人布欧打过架的普通状态下的孙悟饭
32:21他一定能够以普通状态直接干死沙鲁
32:26好啦在本期节目当中
32:28我们一步一步的从Gemini的降智现象
32:30聊到了TPU的优劣势和AI的
32:33更新的版本号的规律
32:34蒸馏与模型的选择使用
32:36最后我来向大家分享一下
32:38我是如何验证AI是否降智的
32:40那我自己有一份20条
32:42到30条的一个题库
32:43题目呢来自于我自己真实的工作
32:45那如果我真的很介意AI的降智
32:47我会用同一个账号
32:49同一个时间窗
32:50一次只改一个变量去跑一遍我自己的自有题库
32:52来进行一次盲评
32:54很快就可以摸出这个AI
32:56是否真的发生了降智
32:58那么作为普通用户
32:59我们如何减少降智行为的发生呢
33:01首先如果您的使用习惯是
33:03高度依赖走API的形式
33:05那么请你一定要选用带
33:07日期的固定快照的ID的模型
33:09避开可变的别名
33:11在使用AI的时候
33:12尽量使用原生的API
33:14不要去找中转站
33:15要养成设置effort或者reasoning的参数
33:18不要依赖AI厂商提供的这个默认值
33:21长上下文要自己进行切分
33:23不要指望模型在窗口上限附近
33:25还能够进行精确的这个召回
33:27同时每一次的版本更新
33:29你都可以把题库重新跑一遍
33:32大概知道一下模型的
33:33边界能力以及进步了多少
33:35那其实有了AI之后
33:36制作一份这样的题库
33:37它的边际成本几乎为0
33:39它的作用是把“我觉得它变笨了”
33:41这句话变成一个有对照的观察
33:44公开基准测试
33:45测的是别人的任务
33:47它不是你的
33:48题库测的是你自己的任务
33:49至于未来会怎么样
33:50我想
33:51由于模型的名字是营销层的资产
33:55权重和服务端的
33:56配置是工程层的现实
33:59这两层的更新节奏它不是同步的
34:01而且没有哪一家有
34:02动机把它们对齐一次
34:04对齐意味着每改一次
34:06配置就要改一次名字
34:08每改一次名字就要重新
34:09建立一次用户的认知
34:11所以这种震荡可能会一直存在
34:14下一代的产品也同样会有
34:16Gemini3Pro刚发布的那种惊艳
34:18它是真实的
34:19但今天它只被用来问生活常识
34:22也是真的
34:23这两件事情之间
34:24隔着一次权重的替换
34:26一次成本的优化
34:27一个8个月的前沿的位移
34:30和一个把难题挪去了别处的使用习惯
34:33好啦今天的内容就是这些
34:36感谢你听到这里
34:37也欢迎你来到我的频道
34:38我们下期再见拜拜

About this transcript

This page contains the full transcript of Gemini是“美国豆包”？Ai为何会降智？是错觉还是暗中阉割？｜Gemini｜Claude｜ChatGPT｜节点｜代理｜API中转站｜聊点不同E59 by KK日常折腾, generated from the public captions YouTube serves with the video. The transcript has 1,194 words across 1,149 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.