【大逆転】Transformerはもう古い？Metaの次世代アーキテクチャ「Memory Mosaics」を完全解説 — Transcript

Full transcript

1. 0:00メタン、最近ネットで今の
2. 0:02AI
3. 0:03来てくちゃはもう古いみたいなニュースを見たんだけど本当なのだ。
4. 0:07あら、メタの研究中部門が発表した新しい
5. 0:09AI技術の話題ね。
6. 0:11次世代AI
7. 0:11の株を買えば大儲けできる気がするのだ。早くその秘密を教えて欲しいのだ。
8. 0:16株の話は置いておくとして、
9. 0:18AI
10. 0:18の仕組みが今コンから変わるかもしれない重要な研究論文が発表されたのよ。それがメモリーモザイクスという技術ね。
11. 0:25現在主流のトランスフォーマーアーキテクが抱える根本的な弱点を克服する可能性があると言われているわ。
12. 0:30トランスフォーマーってチャットGPT
13. 0:32とかに使われているすごい技術じゃないのだ。弱点なんてあるのだ。
14. 0:36実は膨大なデータを力技で処理しているだけでハードウェアやデータ効率の限界が見え始めている領域もあるの。
15. 0:43そうなのだ。僕にも分かるように基礎から教えて欲しいのだ。
16. 0:46それじゃあ今日はメモリーモザイクスはどのように
17. 0:49AI
18. 0:49の常識を覆すのか詳しく解説していくわね。
19. 0:50[音楽]
20. 0:52チャンネル登録お願いします。
21. 0:55現在のAI、特にトランスフォーマーは
22. 0:57汎用性が高い反面、特定のルールを学習
23. 1:00するために信じられないほど大量のデータ
24. 1:02を必要とするわ。これはいわゆる力技の
25. 1:04暗期と呼ばれる状態でモデルの規模と
26. 1:07データ量に比例して性能が上がる法則に
27. 1:09強く依存しているの。膨大なテキスト
28. 1:11データを読み込み、その情報を
29. 1:12パラメーターと呼ばれる重みの筋の中に
30. 1:14暗黙的に圧縮して詰め込んでいる状態ね。
31. 1:17関連する要素を毎回計算で混ぜ合わせて
32. 1:19いるため個別の事実を正確に引き出すのが
33. 1:21非行率なのよ。
34. 1:22たくさん勉強しないと賢くなれないのは僕と同じで真金感が湧くのだ。でも何が限界なのだ?
35. 1:28最大のボトルネックは文章が長くなった時の計算流の爆発よトランスフォーマーは入力された全ての単語模同士の関連性を同時に計算する仕組みになっているわ。この計算量は文章の長さに対して
36. 1:31[音楽]
37. 1:392
38. 1:39乗のペースで増加していくの。つまり文章の長さが
39. 1:40[音楽]
40. 1:4210倍になれば計算の負担は
41. 1:44100倍に跳ね上がるということで
42. 1:46[音楽]100
43. 1:46倍。それじゃあ処理するパソコンがすぐにパンクしてしまうのだ。
44. 1:49その通りよ。計算用のメモリも文章の長さ
45. 1:52に比例して消費しつけるため、
46. 1:54ハードウェアの限界に直面しやすいの、
47. 1:56過去の情報を一時的に保存するキャッシュ
48. 1:58の量も膨大になり、長い文章を処理する際
49. 2:00の大きな障害となっているわ。最適化の
50. 2:03技術は進んでいるけれど、数学的な計算の
51. 2:05壁を完全に超えたわけではないのよ。だ
52. 2:07からこそ計算の力に頼らない新しい
53. 2:10アプローチが世界中で模索されていると
54. 2:12いうわけで、そこで登場したのがメタF
55. 2:14AIRとニューヨーク大学の研究者たちに
56. 2:17よるメモリーモザイクスよ。特にLeoを
57. 2:20元士やニュージャ子といった著名[音楽]
58. 2:21な研究者が指導している世代AIの基礎
59. 2:23研究の最大の鉱石はAIの学習プロセスを
60. 2:28計算から記憶と検索パラムシフトさせた
61. 2:31ことなの。計算と記憶どう違うのだ?AI
62. 2:34はどっちも得意そうなのだ。従来のAIは
63. 2:37入力された情報に対して複雑な式を何も
64. 2:40重ねて変換し答えを予測する計算の
65. 2:43アプローチを取っていたわ。一方、
66. 2:45メモリーモザイクスは情報を明治的な
67. 2:47キットvalリューのペアとして保存する
68. 2:48アプローチを取るの。そして予測が必要な
69. 2:50時に保存した記憶の空間からガチする情報
70. 2:53を検索して取り出す仕組みなのよ。
71. 2:55ブラックボックスの中で数字を複雑に
72. 2:57混ぜ合わせるのではなく、保存したデータ
73. 2:59から直接関連する情報を引き出す形に
74. 3:01置き換えたの。これによりAIがどのよう
75. 3:03に情報を処理しているのか内部の動きが
76. 3:06非常に解釈しやすくなるというメリットが
77. 3:08あるわ。情報を直接検索するなら僕にも
78. 3:11理解できそうなのだ。
79. 3:12でもそれだけでそんなに性能が変わるのだ。
80. 3:15アーキテクの構造的な前提条件を機能的バイアスと呼ぶのだけれどこれが劇的に変わるのよ。記憶と検索い明確なバイアスを持たせることで無駄な計算が減り情報の部品化が可能になるわ。その結果として未知のデータに対する適応能力が飛躍的に向上することが証明されたの。ただしこれはまだ基礎研究の段階であり明日すぐに既存の
81. 3:35AI
82. 3:35製品が全てき変わるわけではない点には注意が必要ね。
83. 3:39そもそもトランスフォーマーの中穫である
84. 3:41アテンションという仕組み自体が実は年想
85. 3:43記憶と同じものだと証明されたのよ。年想
86. 3:46記憶とは入力された一部の手がかりから
87. 3:48過去の完全な記憶パターンを直接
88. 3:50呼び起こす仕組みのことで
89. 3:52トランスフォーマーのソフトマックスに
90. 3:53よる自己注意機構は数学的に見るとなら
91. 3:56やワトソンシ定量と呼ばれるカーネル会機
92. 3:58と完全に位置するのつまり現在の堪能
93. 4:01手がかりとして過去の田端元の類導ガウス
94. 4:03カーネルと[音楽]いう関数で計算して
95. 4:04いるだけなのよ。
96. 4:05難しい数学の言葉が出てきて頭が痛くなってきたのだ。もっと簡単に言って欲しいのだ。
97. 4:11観略化して言うと今の
98. 4:12AI
99. 4:13も実は内部で過去の記憶との距離を測って近いものを取り出すという検索を言っていたということよ。
100. 4:18重要なのはこの数学的な統性をベースにし
101. 4:21てネットワーク全体の役割を完全に再義し
102. 4:24た点にあるは従来は単なる非線形変換の
103. 4:27計算モジュールと考えられていた部分を
104. 4:29明治的な記憶空間として設計し直したの
105. 4:31暗黙の計算空間から明治的な
106. 4:34検索空間へとネットワークの解釈を移行さ
107. 4:36せたことが画期的なのよ。なるほど。元々
108. 4:39やっていたことをもっと整理頓して
109. 4:41直接的な形にした感じなのだ。その理解で
110. 4:44十分よ。メモリーモザイクスは現在の状況
111. 4:46と過去の歴から検索用のキーを作り出すわ
112. 4:49。同時に未来の情報を予測するための
113. 4:51valリューというペアを作ってメモリソ
114. 4:53空間に保存していくの論する時は現在の
115. 4:56状態に最も近いキーを検索してそこに
116. 4:58紐つくvalリューを取り出して答えを
117. 5:00作る仕組みを純粋な計算処理から完全な
118. 5:03記憶と検索のネットワークへと
119. 5:04生まれ変わったので次の重要なポイントは
120. 5:07同的な記憶と性的な知識を完全に分した
121. 5:09アキテク[音楽]の構造従来のAIは現在
122. 5:12入力されているプロンプとの情報と学習
123. 5:14済みの普遍的な知識を同じモジュールの中
124. 5:16で混ぜ合わせて処理していたわメモリー
125. 5:18モザではこれをコンテクスチュアル
126. 5:20メモリーユニットとパーシステント
127. 5:22メモリー[音楽]ユニットという2つの
128. 5:23機能に明確に分けているの。
129. 5:24コンテクスチュアルメモリーは
130. 5:26現在読み込んでいる文章の入れを同的に
131. 5:28保存し、その限りの検索空間を構築
132. 5:30[音楽]するわ。一方でパシステント
133. 5:32メモリーは学習データ全体から獲得した
134. 5:35常識や事を変化しない重みパラメーターと
135. 5:37して保持しているの。つまり今と元々知っ
136. 5:41ている知識を別の場所に分けて保存して
137. 5:43いるということなのだ。その通りよ。
138. 5:46シ論寺にはこの2つの独立したメモリから
139. 5:48それぞれ関連情報を検索し、最後に結果を
140. 5:51統合する仕組みになっているは情報を
141. 5:53混ぜ合わせずに独立して保持することで
142. 5:55資論の制度と解釈性が大幅に向上するの。
143. 5:58新しい情報が入力されても固定された常識
144. 6:00のデータが上書きされたりされたりする
145. 6:02ことがないわ。これにより長い文章の中
146. 6:05から特定の事実だけを正確に抜き出すよう
147. 6:07な非常に得意になるのよ。生理が完できて
148. 6:10いるから必要な情報がすぐに見つかるのだ
149. 6:13。特に道のルールや新しいドキュメントを
150. 6:15読み込ませた際の対応力においてこの分理
151. 6:18構造が極めて有効に働くの学習時には
152. 6:20パーシステントメモリーに知識を定着させ
153. 6:23にはコンテクスチュアルメモリーを駆使し
154. 6:25て柔軟に対応するわ。これがメモリー
155. 6:27モザイクスの根換をなす情報の処理不ロー
156. 6:29となっているのよ。メモリーモザイクスを
157. 6:31100億パラメーターという実用的な規模
158. 6:33に拡張するために3つの書き的な改良が
159. 6:35導入されたわ。1つ目[音楽]は適用型
160. 6:37単域幅と呼ばれる技術で連想記憶の検索
161. 6:40範囲をデータの量に合わせて同的に調整
162. 6:42する仕組みをこれにより学習時に経験した
163. 6:45ことのない極端に長い文章が入力されて
164. 6:47[音楽]も検索の制度を落とさずに外装
165. 6:49できるようになったの。2つ目はゲート
166. 6:51機特徴抽出機で入力データから重要な情報
167. 6:54だけをデータ依存で殲滅する機能で余分な
168. 6:56ター田ぼやノイズを無視して重要なデータ
169. 6:58だけをメモリに保存することで不規則な
170. 7:00情報にも対応できるようになったわ。
171. 7:02ゴミを取り除いて大事なものだけを閉まっておくフィルターみたいな機能なのだ。
172. 7:073
173. 7:07つ目は三層メモリ設計よ記憶を短期長期続の
174. 7:113
175. 7:11つのレベルに分割して役割分担させているの。短期記憶は直近の数単後の繋がりを捉え、長期記憶は遠く離れた文章の関連性を検索するわ。そして永続記憶が一般的な常識を提供するという構造で書と遠距離の論を効率的に両立させているの。
176. 7:14[音楽]
177. 7:22[音楽]
178. 7:26驚くべきことに学習が完了した後は長期記憶のモジュールを削除しても性能がほとんど落ちないことが確認されているわ。これは
179. 7:33AI
180. 7:33自身が予測に必要な情報の多くを短期的な文脈と不的な常識に依存するよう自己組織化している証拠なの。
181. 7:40AIが自分で考えて1
182. 7:41番効率の良い保存方法を見つけ出しているのはすごいのだ。
183. 7:45これらの改良によって単なる理論上の
184. 7:47モデルから大規模なデータを学習できる
185. 7:49実用的なアーキテクチャーへと進化したの
186. 7:51ハードウェアの制約や最適化の不安定さを
187. 7:54克服するための非常に計算された設計と
188. 7:56言えるわね。ここでメモリーモザイクスの
189. 7:58最も強力な特徴である予測の分にという
190. 8:01現象について解説するわね。複雑な問題を
191. 8:04解く際にAIが自立的にその問題を独立し
192. 8:07た単純な要素に分解して別々別々に学習
193. 8:09する特性のことよ。論文では異なる好転
194. 8:12周期を持つ3つの月の起動を予測すると
195. 8:14いう複雑なタスクでこれを証明しているの
196. 8:16。従来の単一の記憶モジュールでは3つの
197. 8:18月の全ての1の組み合わせを1つの巨大な
198. 8:20状態として丸暗記しようとするはそのため
199. 8:23のパターンの組み合わせを完全に観測し
200. 8:25終わるまで正確な予測を出すことができ
201. 8:28ないの。全部まとめてすると情報が多すぎ
202. 8:31てパンパンクしてしまうのだ。メモリー
203. 8:33モザイクスのように複数の独立した記憶
204. 8:35ユニットを持つ場合、全く異なる動きを
205. 8:37見せるはネットワークが自立的に問題を
206. 8:39分解し、核ユニットが1つずつの月の動き
207. 8:42を分担して記憶し始めるの。核ユニットが
208. 8:44個別の月の周期を1周観測した窓カーダに
209. 8:47全体のエラー率が歴に低下することが実験
210. 8:49で確認されているはこのように要因を分に
211. 8:52して保存することで学習時には存在し
212. 8:54なかった道の組み合わせにも対応できるの
213. 8:56よ。
214. 8:56赤いりんボと青い車しか学習していなくても墓と車という独立した要因を合成して赤い車を予測できるということね。
215. 9:03別々に分けて覚えていれば初めて見る組み合わせでもパズルのように組み立てられるのだ。
216. 9:08プロンプト内の新しいタスク規則を軍脈から素早く抽出し、少ないデータで適用する能力の厳選がここにあるの。特徴なら間における要因の分と独立した検索の防成という数学的なメカニズムがこの高度のな繁化能力を生み出しているわ。
217. 9:22論文の中で最も衝撃的だったのが一の学習
218. 9:26データで8兆を学習した
219. 9:27トランスフォーマーを上回ったという結果
220. 9:29よ[音楽]。し、全ての領域で勝っている
221. 9:31わけではなく、特定のタスクにおいて圧倒
222. 9:34的なデータ効率を示したという意味なの。
223. 9:36全く道の文書から情報を正確に保存して
224. 9:38検索する能力や運脈から新しい規則を学習
225. 9:41する領域において勝利を納めているは年想
226. 9:44記憶という構造的なバイアスが極めて有効
227. 9:46に働き少ない学習回数で高度な適用能力を
228. 9:49獲得できたのでトランスフォーマーが力技
229. 9:51で8倍のデータを学習しても到達できない
230. 9:54レベルの適応力を18のデータ流で達成し
231. 9:57た[音楽]事実は確期的よ。
232. 9:58じゃあこれからのAIは全部データを18
233. 10:01に減らしてやすく作れるようになるのだ。大助かりなのだ。
234. 10:05残念ながら相端な話ではないわ。一般的な現知識や水論能力の測定では依前として
235. 10:118
236. 10:11倍のデータを持つトランスフォーマーの方が優秀だったの。現簿の一般的な常識を獲得するためにはモデルの規模とデータに比例して性能が上がる輪不足に前として支配されているわ。の脈
237. 10:21適応には圧倒的に強いけれど基礎的な知識をけるためにはやはり膨大なということね。
238. 10:27だからこそどのようなタスクを
239. 10:29AI
240. 10:29に任せるかによってアーキテクセの向きふきがはっきりとかれる結果となったのよ。
241. 10:30[音楽]
242. 10:33得意なことと苦手なことがはっきりしているのはなんだか人間みたいで面白いのだ。
243. 10:38この実験結果はAI
244. 10:40のアーキテクの違いがデータ効率にどれほど劇的な影響を与えるかを証明した極めて重要なとなっているわ。
245. 10:41[音楽]
246. 10:46学習コストがすぐに全て18[音楽]に
247. 10:48なるわけではないけれど、特定の反価能力
248. 10:50を獲得する式位置を大きくされたことは
249. 10:52間違いないの。これまでのデータ量を
250. 10:54増やせば全て解決するというパラインに
251. 10:56対する強力なアンチ停勢と言えるわね。
252. 10:58理論上の計算流について言えばメモリー
253. 11:01モザイクスもトランスフォーマーと同じく
254. 11:03運長に対して2乗計算コストがかかるわ。
255. 11:05さらに記憶を保存するためのメモリも同様
256. 11:08に増加していくため根本的なメモリ爆発の
257. 11:11問題を完全に解決したわけではないの。
258. 11:13既存のGPUはトランスフォーマーの行列
259. 11:15計算に極度に再適化されているため、その
260. 11:17まま別の計算方式を導入すると逆に処理が
261. 11:20遅くなってしまうのよ[音楽]。そこで
262. 11:21研究チームはプリトンという技術を使って
263. 11:24GPU用のカスタムプログラムを独自に
264. 11:26実装し、このハードウェアの壁を乗り越え
265. 11:28たわ。燃記憶の最大の利点は現在の入力と
266. 11:31全く関係のないの記憶は計算結果がほぼ0
267. 11:34になるため最初から無視[音楽]できる
268. 11:35ことなの。読まなくていいを安全に
269. 11:38スキップできるならすごく早く計算
270. 11:40できそうなのだ。実際2系法と呼ばれる
271. 11:43クラスタリング技術を使って検索する
272. 11:45データ空間を絞り込む禁事検索を実装して
273. 11:47いるは不要な計算を捨てるそのメモリ
274. 11:50アクセスを実現することで計算すべき
275. 11:52メモリの割合を20分の1にまで削減する
276. 11:54ことに成功したの。この結果10
277. 11:56万を超えるような極端に長い文章の水論において実的な処理速度は大幅に向上したわ。最先端の高速化技術であるフラッシュアテンション。ウイにと比較してもカーネルの実行時間を約
278. 12:0760%
279. 12:08も削減できたという実が示されているの。
280. 12:11仕組みを工夫するだけで物理的な計算の壁をすり抜けられるなんて天才的なのだ。
281. 12:16理論的な壁は残りつつも連想記憶の特性を生かして不要な計算を安全にスキップできるのが大きな強みね。
282. 12:20[音楽]
283. 12:22何百万文字という大規模なドキュメントを
284. 12:24処理する際には全てを計算する
285. 12:26トランスフォーマーよりも実用上の
286. 12:28スループットが高くなることは証明された
287. 12:30わ。ハードウェアの制約とアルゴリズムの
288. 12:32理論を見事に融合させた非常に高度な
289. 12:34エンジニアリングの成果と言えるわね。
290. 12:36トランスフォーマーの限界を超えるための
291. 12:38アーキテク[音楽]としてマンバや
292. 12:39レトネットといった計算量を先形に抑える
293. 12:41モデルも数多く研究されているわ。これら
294. 12:43は計算コストを劇的にされることに成功し
295. 12:46ているけれど過去の記憶を不略的に圧縮し
296. 12:48てしまうという重大な来償を払っているの
297. 12:50。情報を圧くする過程で文章の中の細かな
298. 12:53事実や古い情報が抜け落ちてしまう情報
299. 12:55結落が発生しやすいという弱点があるわ。
300. 12:58そのため長い文章の遠く離れた場所に書か
301. 13:00れている特定の事実を正確に検索するよう
302. 13:02なタスクでは一しく低下してしまうの。
303. 13:05圧縮しすぎると大事なことまで忘れちゃう
304. 13:08のだ。それじゃあ困るのだ。
305. 13:10大しテルモリーモザイクス[音楽]
306. 13:11は計算流の削減よりも厳密な情報保存と
307. 13:14検索能力の向上を最優先に追求しているわ
308. 13:16。マンバなどのモデルが情報のアスクに
309. 13:18向かっているのとは対象的にメモリー
310. 13:20モザイクス[音楽]は完全な記憶の保存を
311. 13:22思考しているの。グラフで見ると計算
312. 13:24コストはトランスフォーマーに近い位置に
313. 13:26あるけれど記憶の保持能力において極めて
314. 13:28高い水準を維持していることが分かるわね
315. 13:30。一方でマンバなどは計算コストは低い
316. 13:32[音楽]ものの記憶の保持能力において
317. 13:34メルメモリーモザイクスには及ばない領域
318. 13:36にあるの。計算効率だけを追い求めるので
319. 13:39はなくタスクに対する適力や未知の情報の
320. 13:41正確な引き出しに特化した設計思想なのよ
321. 13:43。
322. 13:44つまり多少計算の手間がかかっても絶対に忘れない観的な記憶力を持った
323. 13:49AIを目指しているのだ。
324. 13:51その解釈で間違いないわ。既損の軽量化モデルとは全くなるベクトルでトランスフォーマーの課題を解決しようとしているの。水論コストを下げることと少ないデータで未知の自称に適用することは明確に区別して評価する必要があるわね。メモリーモザイクスは校舎の能力において楽し世代キテクチャーを圧倒するポテンシャルを秘めていると言えるわ。では今日のめよ。
325. 14:101つ目はパラダイムの移行についてね。
326. 14:13AI
327. 14:13の学習が力技の計算とくから解釈可能な記憶と検索へと根本的に変わろうとしているわ。中身がどうなっているか分かりやすくなるのは大歓迎なのだ。
328. 14:222
329. 14:22つ目は圧倒的なデータ効率の実現よ連想記憶という構造的なバイアスにより運脈的大なの特定領域では
330. 14:308
331. 14:30の量でトランスフォーマーを量化したの。
332. 14:32少ない勉強で新しいルールを覚えちゃうのは本当に賢いのだ。
333. 14:363
334. 14:36つ目はハイブリッド化の未来よトランスフォーマーが完全に置き変わるのではなく少々を生かしてアテンションと融合していく可能性が高いわと記憶を適在書で組み合わせることでさらに強力な次世代
335. 14:37[音楽]
336. 14:48AIが誕生するはずよ。
337. 14:49次世代AI
338. 14:50の進化がますます楽しみになってきたのだ。
339. 14:52では今回の解説はこれで終わりね。
340. 14:55ありがとうございましたなのだ。
341. 15:01れ。