YouTube2Text

PCIeを5~20スロットに無理やり拡張!ローカルAIでマルチGPU性能向上目指す — Transcript

by うどんの機材部屋 · 478 words · 478 segments · language ja · Watch on YouTube

Full transcript

  1. 0:01はい、こんにちは。うどんです。え、今回はまたしても中華の謎カ圧を手に入れましたので、そのレビューってことですね。
  2. 0:06[音楽]
  3. 0:08あれ、これなんか前も紹介してなかった?
  4. 0:10これは4ポートのPCE
  5. 0:12の分割カードで、今回のは
  6. 0:1410
  7. 0:14ポートあるんですよ。スイッチカードっていうらしいんですけど。
  8. 0:17え、すご。じゃあ、PCI
  9. 0:18のタコ足配線ってことね。
  10. 0:20あ、何言うとねん。一足配線やろ。
  11. 0:22あ、ごめんなさい。足10本だからね。
  12. 0:24ま、こんなたこは置いといて
  13. 0:26実はね、我々もついにAI
  14. 0:28になりましたよ。
  15. 0:28なんか聞こしないと思った。
  16. 0:30そうなんすよ。ちょっとまだ自動音声感ありますよね。だからね、今回限りになっちゃうかもしれないですけど、
  17. 0:35どっちでもいいよ。
  18. 0:36ま、そんなこんなでよろしくお願いします。
  19. 0:37はい、お願いします。
  20. 0:41ということで、またやってきましたね。怪しい品ですね。ちょっとな、何て書いてあるか読めないんですけどね。またアリエグで購入したやつです。いややいや。中国優勢って書いてあんのかな、これ。き、カ、
  21. 0:54お、なんかちょっと綺麗ですね。
  22. 0:56あ、で、え、でか。すごいでかいよ、これ
  23. 0:59。10分器のカードです、これ。あの例の
  24. 1:02SFF8654だっけ?それのあの10
  25. 1:06分岐するやつ。12345678910
  26. 1:08。すごいね。裏側すごい。なんかでも綺麗
  27. 1:11だな、これ。なんか今までの分岐カードは
  28. 1:14ね、なんかちょっと汚かったんだけどこれ
  29. 1:16すごい綺麗。これもあれですね、ディップ
  30. 1:18スイッチって言うんですか。ここでね、
  31. 1:20掛け4掛8掛16を調整するやつですね。
  32. 1:23掛け4が20のタイプ。1つにつき2つの
  33. 1:26掛4を接続できるから20なんですよね。
  34. 1:30で、あと掛け8が10でしょ。ま、この1
  35. 1:32つずつ使うパターンで、あと2個ずつ使っ
  36. 1:35て掛16が5個のパターンね。この3通り
  37. 1:39をここで切り替えるやつですね、これはね
  38. 1:41。あ、ここに書いてありますね。
  39. 1:43ちっちゃいんですよね、これね。えっと、
  40. 1:44ね、ま、とりあえず今回掛16で全部使い
  41. 1:47たいんです。あの、全部使ってもね、5
  42. 1:49スロットあるからね、掛16がね。で、
  43. 1:52左側オンで、あとはオフオフにすればいい
  44. 1:54のか。あ、ま、な、もうなってんのか、
  45. 1:56これ。オンオフオフになってるんで、これ
  46. 1:58でいけそうですね。で、ちなみにこれはね
  47. 2:00、ここに搭載されてるチップは
  48. 2:02ブロードコムのチップなんですよね。型番
  49. 2:04は書いてないのかな?あ、書いてあるね。
  50. 2:06RTE88096って書いてあるな。これ
  51. 2:10には多分ね、正式な名前はね、PE
  52. 2:1388096なんですよ。PCIスイッチ
  53. 2:17カードっていうらしいですね。これレが
  54. 2:2098レン。こっから入るのがね、ここはね
  55. 2:23、16連なんですけど、こっから分岐して
  56. 2:25ね、あの、98レになし、8が10個だ
  57. 2:29から80レンっぽく見えるんだけど、そう
  58. 2:31いうわけじゃないね。ちょっと不思議なん
  59. 2:33ですけどね。これはちなみにPCI4.0
  60. 2:36か。で、今1番新しいのPCI5.0の
  61. 2:39やつがあるんですよね。これと似たような
  62. 2:41やつでコート数はね、4個だけなんです
  63. 2:43けど、それはね、20万円弱するんですよ
  64. 2:45。だからちょっとね、買えなくて。あ、
  65. 2:47これはね、ちなみにお値段はね、いくら
  66. 2:49だったかな?7万円ぐらい。
  67. 2:51これも結構高い。これもまたすごいうるさそうなファンしてんな。そうそう。あとこちらね、この
  68. 2:572
  69. 2:57つケーブルとライザーカードの方かな。もう金かかってしょうがないね。最近のパソコンはね。
  70. 3:04これ結構高いんだよね。2500
  71. 3:06円ぐらい。また4
  72. 3:07本買ってきましたね。あれなんか違うかもしんないな。これ同じとこで買ったはずなんだけどなんか違うような気もしないでないな。
  73. 3:17なんかピラピラがある。なんかね、
  74. 3:19PCI5.0
  75. 3:20のやつとかと形は似てるんですよね。大丈夫かな?はまるかな?あ、はまる。あ、はまった。あ、よかった。よかった。はまるね。あ、なんかこっちの方が綺麗にはまる。この前買ったやつより。いや、
  76. 3:32基盤の方ですね。PCI4.0のSFF
  77. 3:358654が繋がるね。これも高いんでね。
  78. 3:3934000
  79. 3:40するからね。まし。あ、なんか裏カついてましたね。これだけね。これが
  80. 3:444本目だ。で、4本搭載できるんですよ。
  81. 3:47よしね。
  82. 3:51で、今回このPCIスイッチカードを使っ
  83. 3:53て何をしたいかって言うと、ま、大雑把に
  84. 3:562つあるんですけど、この下にね、GPU
  85. 3:58サーバーがあって、ま、これ4本GPU
  86. 4:01搭載してるんですけど、そのスイッチ
  87. 4:03カードが今んとこね、PCI3.0なん
  88. 4:05です。で、接続の方も掛け8接続でこう3
  89. 4:09つ繋がってるんですね。ま、だから
  90. 4:10ちょっとね、転送速度が遅いっていうかね
  91. 4:13。これがあの4.0の掛16になったら
  92. 4:16性能どうなるんでしょう。特にAI性能
  93. 4:18ですね。それを調べていきたいっていうの
  94. 4:20が1つですね。で、こちらデータ経路の概
  95. 4:23念図みたいなやつですね。ここにCPU緑
  96. 4:25があってで赤がメモリでこっちにね
  97. 4:29スロットとかね、GPUとかが搭載されて
  98. 4:31ますよと。で、この辺チップセットです
  99. 4:33よっていう感じの、ま、これはね、今私が
  100. 4:35開発途中のウェブサイトのおまっていうね
  101. 4:38、サイトなんですけど、ま、このサイトで
  102. 4:40こうね、パーツを選んで構成を作るでしょ
  103. 4:43。ま、例えばCPUはね、Ryzen
  104. 4:459950Xですよとかね、選択したりで、
  105. 4:49あと内蔵パーツのPCIカードのノー
  106. 4:52グランドのところにスイッチカードがね、
  107. 4:54今回使うやつが登録してあるんですよね。
  108. 4:56今回ね、3.0の掛け音、今搭載されてる
  109. 4:59やつですね。これが構成に入ってますね。
  110. 5:01で、この構成の右上の方にあるなんか
  111. 5:04うにょうにょをクリックすると、え、
  112. 5:06さっきのね、データ経路の概念図が出て
  113. 5:08くると。ちょっとね、まだデータはね、
  114. 5:10そんなに揃ってないんですけどね。なんか
  115. 5:11ね、データをね、あんまり勝手に取っちゃ
  116. 5:13いけないよみたいになってたりしてて、
  117. 5:15データを取ってこれないことが多いんです
  118. 5:17よ。だ、大体ね、アフィリエイトのAPI
  119. 5:19とかのショップのデータとかからしか取る
  120. 5:21しかなくて、あんまりデータ揃ってない
  121. 5:23です。もう一部はね、AIの記憶の中から
  122. 5:26のデータだけしか取ってなかったりするん
  123. 5:28ですよ。それは置いといて、ちょっと概念
  124. 5:30戻るとちょっと最初ね、バラバラに搭載さ
  125. 5:32れちゃうんで、ちょっと調整しましょう。
  126. 5:34こんな感じか。今うちのGPUサーバーは
  127. 5:36構成はこんな感じですね。CPUの第1
  128. 5:39レンに5080が搭載されてて、で、第2
  129. 5:42レンに3.0のスイッチカードが搭載され
  130. 5:45てると。で、そこにGPUがまた3枚
  131. 5:47ぶら下がってる状況ですね。で、この線が
  132. 5:50ね、太かったり細かったりするんですけど
  133. 5:52、これはもうデータ通信の待機そのもの
  134. 5:55ですね。太いところは太いし、細いところ
  135. 5:57は細いですよっていうことです。で、
  136. 5:59うすら太い線になってるやつもあるんです
  137. 6:01けど、これは本来はこっちの速度が出るん
  138. 6:03だけど、今リンクしてるのはこっちの濃い
  139. 6:05方の線ですよっていうことですね。だ、
  140. 6:07スイッチカードにぶら下がってるやつは
  141. 6:09もうPCI3.0×8なんで、
  142. 6:11めちゃくちゃ細いんですよね。リンク速度
  143. 6:13は、ま、8GB秒で、どうもAIのマルチ
  144. 6:17GPUでの計算はGPU同士のこうデータ
  145. 6:20のやり取りが結構頻繁に発生するんで、
  146. 6:23GPU同士のね、データ経路の体域が結構
  147. 6:26重要になってくるみたいなんです。ま、な
  148. 6:28のでこのお魔はGPU同士をね、2つ
  149. 6:31クリックするとこうデータ経路が出てくる
  150. 6:33んですよ。じゃ、4080からスイッチ
  151. 6:35カードに行って、で、そっからCPUの
  152. 6:38PCIコントローラー行ってメモリに行く
  153. 6:39と、で、ここにデータをコピーして、で、
  154. 6:42こっちのB50の方がコピーされたデータ
  155. 6:44を読みに行くっていう、そういう経路に
  156. 6:47なってるんですね。流れはこんな感じです
  157. 6:49ね。だから、ま、大体8GBですよと。
  158. 6:51PCI3.0の掛けなんでちょっと遅いん
  159. 6:54ですよ。で、このメモリを経由する方法が
  160. 6:57ダイレクトメモリーアクセスDMAって
  161. 6:59いうやつらしいですね。ただこれメモリに
  162. 7:02いちいちコピーして読み込まなきゃいけ
  163. 7:03ないからその分ちょっと不利だよねって
  164. 7:06いうことであのP2P接続っていうのが
  165. 7:08あるらしいんですよね。P2P接続だと
  166. 7:11もうダイレクトにスイッチしか経由しな
  167. 7:13いっていうね、こういう接続方法もあり
  168. 7:15ますよっていうことなんです。ま、ただ
  169. 7:17これね、基本的にはあのサーバー系の
  170. 7:19GPUとかしかできないみたいです。
  171. 7:21コンシューマーのGPUだとちょっと
  172. 7:23難しい。本当はね、これをやりたかったん
  173. 7:26ですけど、これをやるにはね、おそらくl
  174. 7:29でなんかカーネルをちょっといじったりし
  175. 7:31なきゃいけないみたいなね、そういうこと
  176. 7:33になるんですね。だ、いずれはね、このP
  177. 7:352P接続もやりたいんですけど、ま、今回
  178. 7:38は、ま、このスイッチカードをね、4.0
  179. 7:40の掛16にしたらどうなるんでしょうって
  180. 7:42いうのを、これをメインでやっていきます
  181. 7:44。
  182. 7:47ということで、ちょっと組み込む前にAI
  183. 7:49関連のベンチマークをしていきましょう。
  184. 7:51こちらは先日Macのところでご紹介した
  185. 7:54メモリベンチですね。これの
  186. 7:55Windowsバージョン。ちょし
  187. 7:57ましょうか。今回はね、CPUとか内蔵
  188. 7:59GPUはあんまり関係ないんで
  189. 8:01ディスクリードGPUね、取り付けてある
  190. 8:03GPUのベンチマークをしていきましょう
  191. 8:06。ちょっとね、あの、搭載してる4つ全部
  192. 8:08ね、ベンチマークできるんで。Vラムとか
  193. 8:10ね。で、これは今ね、リンク速度も出てる
  194. 8:12んですよ。ここスイt経由のやつが3つ
  195. 8:15あって、で、5080だけね、ちゃんと
  196. 8:175.0の掛け8になってますね。CPUレ
  197. 8:20をね、2つ使ってるんで、ここはね、掛け
  198. 8:228になっちゃうんですよね。16じゃなく
  199. 8:24て。ま、とりあえずね、体域とかはね、
  200. 8:26今回あんまり関係ないんで、これはあの、
  201. 8:29VAMとGPUのね、その経路の体域が
  202. 8:32出るんでね、あんまりそのPCIの経路と
  203. 8:35は関係ないですね。0.ね、ここだけです
  204. 8:37。このPCIのね、速度も測れるんで、
  205. 8:40ちょっとこれをベンチマークしてみ
  206. 8:42ましょう。全て実行ということで出てき
  207. 8:44ましたね。PCIの速度がね、これ結構
  208. 8:46単純なデータ通信したのを測ってるんでね
  209. 8:49、7GBパとか出てますね。ちゃんとね、
  210. 8:51ま、理論値の8割9割ぐらいは出てますよ
  211. 8:54ね。ま、PCI3.0の掛8なんで、ま、
  212. 8:588GBよりかは低くなると。で、5080
  213. 9:01PCI5.0の掛け8なんで、ま、32に
  214. 9:04は届いてないんだけど、あの、
  215. 9:052829GB
  216. 9:07ぐらい出てますね。やっぱ早いんですね、
  217. 9:09PCIのデータ通信はね。ま、他は今回
  218. 9:12関係ないんで割愛します。で、続きまして
  219. 9:15LLMのベンチマークですね。これも作っ
  220. 9:17てもらったやつですね。で、なんかLLM
  221. 9:19のベンチマークって決まった方式があって
  222. 9:21、ま、プリフィルプロンプト
  223. 9:23プロセッシング512トークン、ま、
  224. 9:25インプットですよね。うん。この方法が1
  225. 9:28つとであとね、デコード
  226. 9:29テキストジェネートこっちがま、
  227. 9:31アウトプットみたいなもんですよ。この
  228. 9:33TG128トークンなんかこの2つでやる
  229. 9:36のが今一般的らしいですね。で、
  230. 9:38プリフィルの方はね、動画とか画像生成で
  231. 9:41これが高い数値だと有利になると。LLM
  232. 9:44だとこっちはね、入力になる。お願いする
  233. 9:47時のテキストを読み込む速度みたいな感じ
  234. 9:49でで、デコードの方でお返事の出力ですね
  235. 9:53。アウトプットですね。その速度っていう
  236. 9:55ことですね。ま、以前から測ってたのは
  237. 9:57どうやらこっちみたいです。バブル機の
  238. 9:59経済がどうのこうのみたいなのをね、あの
  239. 10:01、いつも聞いてたのはこっちの速度。んで
  240. 10:03、今回はク3.8の27ビリオンのQ4で
  241. 10:07ちょっとね、測っていきます。これはね、
  242. 10:09ちょっとあの、16GBでは入らないん
  243. 10:11ですよね。だからクーダの場合は
  244. 10:134080スパと5080をテンソル系列
  245. 10:16っていうやり方でね、やっていきます。
  246. 10:18これの方がなんか早いんでね。で、え、
  247. 10:20ちょっと試してみるとスタートするでしょ
  248. 10:23。あ、どんどん読み込まれてますね。
  249. 10:25プリフィルはね、結構早いんだけど、すぐ
  250. 10:26結果出ますね。1546トークンになって
  251. 10:29ますね。で、デコードが55.9トークン
  252. 10:32ということですね。なんかうちではね、
  253. 10:34これが1番早い。で、あともっと早くする
  254. 10:36方法があって、推測デココードっていう
  255. 10:38MTPっていうのがあるんですね。これを
  256. 10:40ね設定するとちょっとやってみましょうか
  257. 10:42。これもね、早くなるんですよ。あ、あと
  258. 10:44ね、この辺FP32とかこの辺は理論値が
  259. 10:47書いてありますね。クロック数とかからね
  260. 10:49、割り出せるらしいんで、テラフロップス
  261. 10:51はね、ちょっとプリフィルは遅くなりまし
  262. 10:53たけど、あのデコードがね、103トーク
  263. 10:55になるんですね。早くなりましたね。で、
  264. 10:58バルカンにするとね、もうアークから
  265. 11:00ラデオンからRTXから全部並べることが
  266. 11:03できるんですね。4個でやりましょう。
  267. 11:05ちょっとMTPはね、全部外します。これ
  268. 11:07はね、ちょっとベンチには使わない方が
  269. 11:09いいですね。MTPちょっと4個でもやっ
  270. 11:11てみましょう。スタート。ということで、
  271. 11:13プリフィルが843トークンでちょっと
  272. 11:16アークが混じるから遅いですね。ああ、
  273. 11:1916トークンですね。うん。遅い。ま、
  274. 11:21これはね、アークが入ってるんでしょうが
  275. 11:22ないですね。ま、こんな感じでいろんな
  276. 11:24パターンをやっていきましょう。とことで
  277. 11:26いつもの比較のグラフがこんな感じですね
  278. 11:29。で、5080と4080のパターンはね
  279. 11:31、2つあるんですけど、ま、1つはね、
  280. 11:34メモリを分割してるパターンかな。で、
  281. 11:36あともう1個がテンソル系列ですね。で、
  282. 11:39プリフィルの場合はね、分割パターンの方
  283. 11:41が早いんですけど、デコードになるとね、
  284. 11:43テンソル系列の方が早いんですよ。こっち
  285. 11:45の方がね、こっちより、ま、多分LLMの
  286. 11:47場合はデコードの方が重要なんでね、
  287. 11:50こっちを重視していいんじゃないかなと
  288. 11:52思います。で、あと7900X
  289. 11:54も2つあるんですね。Rロッカムパターン
  290. 11:57とバルカムパターン。これもなんかね、
  291. 12:00プリフィルトデコードで反対になるんです
  292. 12:02けど、なんかちょっと金差なんでよく
  293. 12:04わかんないですね。で、あと
  294. 12:055080480
  295. 12:07スーパー7900Xの3つパターンとで
  296. 12:10あとアークも加えた4つパターンですね。
  297. 12:13ま、全部でこの6個をね、比較していき
  298. 12:16ましょう。え、じゃあちょっと組み込んで
  299. 12:17いきましょう。
  300. 12:20ということで、ここからね、このPCI
  301. 12:23スイッチカードを組み込んでいきたいん
  302. 12:24ですけど、下の段にね、1階の方に
  303. 12:275080があって、これがちょっとね、長
  304. 12:29すぎて2階の方に持ってこれないんですよ
  305. 12:32ね。ちょっとね、こいつが邪魔なんですよ
  306. 12:34、ここが。だからこのファンとかをね、
  307. 12:36ちょっとだけ手前に配置させたいんですよ
  308. 12:39。ま、なのでまたアルミアングルの加工
  309. 12:41ですよ、これね。ちょ、こんな感じで
  310. 12:43ちょっとね、あの、アルミアングルを設置
  311. 12:45してで、そこにこのパンを取り付けようか
  312. 12:48なと思います。切ったり穴開けたりして
  313. 12:50確保していきましょう。このアルミアでね
  314. 12:52。
  315. 12:55ちゃった。
  316. 13:00次は穴開けか。
  317. 13:06ということでアルミの金具がね、完成し
  318. 13:08ました。ステーが完成しましたね。こんな
  319. 13:10感じで取り付けるイメージですね。うん。
  320. 13:13よしよししよしよしょよし。じゃ、
  321. 13:15ちょっと分解していかないと。
  322. 13:17あ、掃除しないとダめだ、これ。また汚い。よいしょ。インテルアークですね。ちっちゃいやつ。赤ちゃんグラボ。いいすね。これデザインがいいよね。シンプルで。よいしょ。熱い。ちょっとさっきまで動いてたから熱い。から。よし。で、こちらがプチャンクの
  323. 13:357900X
  324. 13:37ですね。ちょっと駆け端でしか作しなくなっちゃったですね。よいしょ。てことで
  325. 13:424080
  326. 13:43スーパーね。ちょっと埃りがやばい。ここね。
  327. 13:47あ、あ、うわ。ええ、なんか割れた。マジ
  328. 13:51かよ。ちょっと爪が割れちゃった。580
  329. 13:54ね。
  330. 13:56あ、ほら、なんかカラカラ行ってる。やば
  331. 13:58。出てこない。あ、出てきた。12ピの
  332. 14:02やつね。爪折れちゃったよ。うん。もろ
  333. 14:05すぎない?このこの電源コネクター
  334. 14:08ちょっとも脆ろすぎますね。燃えるし
  335. 14:10詰め折れるし。ちょっと最悪なんだけど
  336. 14:12これ。危ないよだって。ということで
  337. 14:16PCI3.0のスイッチカードですね。
  338. 14:194
  339. 14:19個だけなんですよね、これはね。ということで、こいつはもうおら入りですね、今回でね。オッケー。あ、こんななってのか。オッケー。オッケー。こうんでこう。よし。ステー部分取り付けられた。いいね。がっしりしていいね。
  340. 14:40やつけよ。お、いいね。いいね、いいね。えっと、まずはね、これね、えっと、端っこ端っこ真ん中
  341. 14:542つみたいにしましょうってここかな。
  342. 15:01で、ちょっとね、今回ね、電源、ここの
  343. 15:04スロットの電源をね、買ってくんの忘れ
  344. 15:06ちゃったんで、もうめちゃくちゃなね、
  345. 15:08継ハぎだらけの電源でちょっとやらせて
  346. 15:11いただきます。ちょっとこれ危ないんだ
  347. 15:12けどね。ちょっと今回だけね、テストと
  348. 15:14いうことでこれでやらせていただきます。
  349. 15:18ということでこのスイッチカードをね、
  350. 15:19取り付けましょう。これは大丈夫か?これ
  351. 15:23。よいしょ。よいしょ。
  352. 15:28[笑い]
  353. 15:29ケーブルすっごいっぱいあるな。あ、順番があったんだ、これ。
  354. 15:35むずい。ね、
  355. 15:36A2でしょ?A1、B2、B1。あ、E
  356. 15:402、E1、D2、D1ね。E2はめる。E
  357. 15:431
  358. 15:44はめるといしょ。これすごい不足に並んでる。こんな感じ。ちょっとね、ぐっちゃぐちゃになっちゃいますけどむずいっすね。
  359. 15:535080。これここ
  360. 15:55搭載できんのかな?乗っかる。あ、うわあ、だめか。よし、じゃ、端っこですね。こいつはね、こっちですねと
  361. 16:034080スーパーですね。
  362. 16:05よし、こいつはここがいいかな。で、え、
  363. 16:097900X全体的になんか歪んできてんだけど。で、インテルアーク
  364. 16:16B50ですね。オッケー。
  365. 16:22ということで完成しましたね。なんか成功
  366. 16:25なちになりましたね。雰囲気がね、
  367. 16:28落ち着いた感じになって、で、2階の
  368. 16:30ところにね、グラボは全部搭載されてます
  369. 16:32ね。1階の方はあの分岐カードだけですね
  370. 16:35。スイッチカードだけ。縦置きがこんな
  371. 16:38感じですね。こっちのパターンもいいです
  372. 16:40よね。ま、ちょっとね、スロットがこう
  373. 16:43引げちゃうっていうかね。うん。剃っ
  374. 16:44ちゃうかもしんないからあんまり良くない
  375. 16:46んですよね。なんかすごい部骨。ちょっと
  376. 16:49動作確認していきましょう。これね。
  377. 16:53ちょっとね、今置き場所が変なとこにあるから挿入しづらいってことで、え、電源でしょう。せのランコートね。よいしょ。
  378. 17:00USBが遠かない。
  379. 17:01うん。USBとHDMI
  380. 17:02遠いな、これ。ということでスイチん大丈夫かな?大丈夫かな?あ、大丈夫そうですね。多分ね。う、疲れた。あ、来ましたね。オッケー、オッケー、オッケー。バイスマネージャーを見てみましょう。大丈夫?そう。ああ、全部ちゃんと認識してますね、これね。
  381. 17:18ということで、えっとね、さっきのメモリ
  382. 17:21ベンチマーク見てみましょう。えっと、あ
  383. 17:24、4.0×16スイッチ経由4.0×16
  384. 17:28スイッチ経由。4.0の掛8スイッチ経由
  385. 17:30。ま、7900XTXはね、プチジャンク
  386. 17:33なんで掛け8になりましたね。で、
  387. 17:35INTRも4.0の掛け8ですね。
  388. 17:38スイッチ経由。これはね、元々駆け8なん
  389. 17:41でね、B50はちょっとメモリベンチ実行
  390. 17:43してみましょう。このPCはいいですね。
  391. 17:45おお、いいね。いいね。お、29GB
  392. 17:48パービオになりましたね。こっち。あ、
  393. 17:504080はね、やっぱちょっと遅くなるん
  394. 17:52ですね。26GBパですね。で、ラデon
  395. 17:56の7900XTXは、え、14から
  396. 17:5915GBですね。で、Intelアークも
  397. 18:01、まあ同じぐらいですね。B55ね。
  398. 18:031415ぐらいですね。狙い通りじゃ、
  399. 18:06これであのLLMのベンチがね、どうなる
  400. 18:09かですよね。とことで同じベンチマーク
  401. 18:12ですね。ああ、もう順番がバラバラになっ
  402. 18:14ちゃったな。え、Micクrosoft
  403. 18:16ベーシックレンダードライってんだろう?
  404. 18:18これ。え、そんな初めて出てきた。ま、
  405. 18:20いらないか、これね。よくわからん。
  406. 18:224080スーパーと5080のクーダ
  407. 18:25バージョンでね、やってみましょう。
  408. 18:26テンソル列ね。どうなるか。計速開始。あ
  409. 18:30、来た、来た、来た、来た、来た、来た。
  410. 18:312721トークンプリフィルさっきより
  411. 18:34ちょっと早くなってんのか。あ、デコード
  412. 18:36は、え、57.4トークン。え、変わって
  413. 18:39ない?[笑い]ちょっとあんまもしかし
  414. 18:42たら変わってないかもしんないね、これ。
  415. 18:43ええ。ちょっと全部やっていきますね。と
  416. 18:46いうことで、さっきと同じベンチマークを
  417. 18:48しまして結果がこんな感じですね。ま、
  418. 18:50結局テンソル系並列のプリフィルは
  419. 18:52めちゃくちゃ性能上がりましたね。倍近く
  420. 18:55になりました。で、他はね、ほとんど
  421. 18:57誤差って感じですね。ま、7900Xはね
  422. 19:00、単体GPUなんで性能は変わんないです
  423. 19:03。ここはね、絶対ね。ま、ただ他の複合
  424. 19:05パターンはちょっと減ってますね。この辺
  425. 19:07は謎です。で、単純にクーダの分割
  426. 19:10パターンはね、誤差ですね。とかね、これ
  427. 19:12ね、あの、結局テンソル系並列はね、その
  428. 19:15PCI体域の影響をね、もに受けるらしい
  429. 19:18です。両方とも同じデータで計算しなきゃ
  430. 19:20いけないと思うんです。そのデータの相互
  431. 19:23の通信がね、大量に発生するからここで
  432. 19:26詰まるとめちゃくちゃ遅くなるね。PCI
  433. 19:283.0の掛けになると遅くな
  434. 19:30るってことですね。だ、本来はもっとね、
  435. 19:33あの、PCIの制限がなければ多分もっと
  436. 19:35上がっていくんだと思うんですよ。で、
  437. 19:37デコードの方なんですけど、ま、こちらね
  438. 19:39、ほとんど変わってないです。ただ
  439. 19:41ちょっとだけ全部上がってますね。
  440. 19:43ちょっとだけ特にテンソルヘレスがね、
  441. 19:45ちょっとだけ上がってます。ただね、ここ
  442. 19:47にさっきのMTPマルチトクンプリなんと
  443. 19:50かなんか先読み機能みたいなのがあるん
  444. 19:52ですけどこれをね表示させるとちょっと
  445. 19:54上がってるんですよね。1割[音楽]強
  446. 19:56ぐらいね。うん。で、プリフィルの方もね
  447. 19:59、そのMTPバージョンを入れるとね、
  448. 20:01ここもちょっと上がってるんですよ。ま、
  449. 20:032割ぐらい上がってますね。ま、だから
  450. 20:05マルチGPUでソル系並列する場合は
  451. 20:07PCI待機がね、結構重要になってきます
  452. 20:10よっていうお話ですね、単純に。ま、その
  453. 20:13辺分かったんでよしとしましょう。という
  454. 20:15ことで今回はね、10ポの分岐カード、
  455. 20:18スイッチカードを使ってPCI接続の有要
  456. 20:21性みたいなのをね、色々と知られてきたん
  457. 20:22ですけど、ま、あの、マルチGPUでは
  458. 20:24やっぱり点ソル系列では重要でしたね。
  459. 20:27必要でしたね。ただね、最近なんかね、別
  460. 20:30にこのマルチGPUとかしなくてもミドル
  461. 20:33クラスのGPU単体だけでも結構実用
  462. 20:35レベルで使えるようになるLLMの水
  463. 20:38エンジンのストラタっていうのがある
  464. 20:40みたいなんですよ。ちょっとね、次回は
  465. 20:42その辺をやったり、ま、あるいはP2P
  466. 20:44接続でどんな性能になってくるかみたいの
  467. 20:47を、ま、できたら調べたいなと思ってます
  468. 20:49。それかちょっとね、実はマックスST
  469. 20:51買ったりしてるんで、ま、まだ到着して
  470. 20:54ないんですけど、ま、それをやるか。あと
  471. 20:56ね、せっかくここまでケースがね、揃った
  472. 20:58んだけど、実はあの、以前ご紹介したね、
  473. 21:01もう拡張性の高いあのでっかいケースも
  474. 21:04買っちゃったんで、それのレビューか
  475. 21:06なんかかもしれません。ちょっとね、
  476. 21:07いずれになるかわかんないですけどね。
  477. 21:09まあ、とりあえず今回はこんなところで、
  478. 21:11それじゃまた。

About this transcript

This page contains the full transcript of PCIeを5~20スロットに無理やり拡張!ローカルAIでマルチGPU性能向上目指す by うどんの機材部屋, generated from the public captions YouTube serves with the video. The transcript has 478 words across 478 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.