PCIeを5~20スロットに無理やり拡張!ローカルAIでマルチGPU性能向上目指す — Transcript
Full transcript
- 0:01はい、こんにちは。うどんです。え、今回はまたしても中華の謎カ圧を手に入れましたので、そのレビューってことですね。
- 0:06[音楽]
- 0:08あれ、これなんか前も紹介してなかった?
- 0:10これは4ポートのPCE
- 0:12の分割カードで、今回のは
- 0:1410
- 0:14ポートあるんですよ。スイッチカードっていうらしいんですけど。
- 0:17え、すご。じゃあ、PCI
- 0:18のタコ足配線ってことね。
- 0:20あ、何言うとねん。一足配線やろ。
- 0:22あ、ごめんなさい。足10本だからね。
- 0:24ま、こんなたこは置いといて
- 0:26実はね、我々もついにAI
- 0:28になりましたよ。
- 0:28なんか聞こしないと思った。
- 0:30そうなんすよ。ちょっとまだ自動音声感ありますよね。だからね、今回限りになっちゃうかもしれないですけど、
- 0:35どっちでもいいよ。
- 0:36ま、そんなこんなでよろしくお願いします。
- 0:37はい、お願いします。
- 0:41ということで、またやってきましたね。怪しい品ですね。ちょっとな、何て書いてあるか読めないんですけどね。またアリエグで購入したやつです。いややいや。中国優勢って書いてあんのかな、これ。き、カ、
- 0:54お、なんかちょっと綺麗ですね。
- 0:56あ、で、え、でか。すごいでかいよ、これ
- 0:59。10分器のカードです、これ。あの例の
- 1:02SFF8654だっけ?それのあの10
- 1:06分岐するやつ。12345678910
- 1:08。すごいね。裏側すごい。なんかでも綺麗
- 1:11だな、これ。なんか今までの分岐カードは
- 1:14ね、なんかちょっと汚かったんだけどこれ
- 1:16すごい綺麗。これもあれですね、ディップ
- 1:18スイッチって言うんですか。ここでね、
- 1:20掛け4掛8掛16を調整するやつですね。
- 1:23掛け4が20のタイプ。1つにつき2つの
- 1:26掛4を接続できるから20なんですよね。
- 1:30で、あと掛け8が10でしょ。ま、この1
- 1:32つずつ使うパターンで、あと2個ずつ使っ
- 1:35て掛16が5個のパターンね。この3通り
- 1:39をここで切り替えるやつですね、これはね
- 1:41。あ、ここに書いてありますね。
- 1:43ちっちゃいんですよね、これね。えっと、
- 1:44ね、ま、とりあえず今回掛16で全部使い
- 1:47たいんです。あの、全部使ってもね、5
- 1:49スロットあるからね、掛16がね。で、
- 1:52左側オンで、あとはオフオフにすればいい
- 1:54のか。あ、ま、な、もうなってんのか、
- 1:56これ。オンオフオフになってるんで、これ
- 1:58でいけそうですね。で、ちなみにこれはね
- 2:00、ここに搭載されてるチップは
- 2:02ブロードコムのチップなんですよね。型番
- 2:04は書いてないのかな?あ、書いてあるね。
- 2:06RTE88096って書いてあるな。これ
- 2:10には多分ね、正式な名前はね、PE
- 2:1388096なんですよ。PCIスイッチ
- 2:17カードっていうらしいですね。これレが
- 2:2098レン。こっから入るのがね、ここはね
- 2:23、16連なんですけど、こっから分岐して
- 2:25ね、あの、98レになし、8が10個だ
- 2:29から80レンっぽく見えるんだけど、そう
- 2:31いうわけじゃないね。ちょっと不思議なん
- 2:33ですけどね。これはちなみにPCI4.0
- 2:36か。で、今1番新しいのPCI5.0の
- 2:39やつがあるんですよね。これと似たような
- 2:41やつでコート数はね、4個だけなんです
- 2:43けど、それはね、20万円弱するんですよ
- 2:45。だからちょっとね、買えなくて。あ、
- 2:47これはね、ちなみにお値段はね、いくら
- 2:49だったかな?7万円ぐらい。
- 2:51これも結構高い。これもまたすごいうるさそうなファンしてんな。そうそう。あとこちらね、この
- 2:572
- 2:57つケーブルとライザーカードの方かな。もう金かかってしょうがないね。最近のパソコンはね。
- 3:04これ結構高いんだよね。2500
- 3:06円ぐらい。また4
- 3:07本買ってきましたね。あれなんか違うかもしんないな。これ同じとこで買ったはずなんだけどなんか違うような気もしないでないな。
- 3:17なんかピラピラがある。なんかね、
- 3:19PCI5.0
- 3:20のやつとかと形は似てるんですよね。大丈夫かな?はまるかな?あ、はまる。あ、はまった。あ、よかった。よかった。はまるね。あ、なんかこっちの方が綺麗にはまる。この前買ったやつより。いや、
- 3:32基盤の方ですね。PCI4.0のSFF
- 3:358654が繋がるね。これも高いんでね。
- 3:3934000
- 3:40するからね。まし。あ、なんか裏カついてましたね。これだけね。これが
- 3:444本目だ。で、4本搭載できるんですよ。
- 3:47よしね。
- 3:51で、今回このPCIスイッチカードを使っ
- 3:53て何をしたいかって言うと、ま、大雑把に
- 3:562つあるんですけど、この下にね、GPU
- 3:58サーバーがあって、ま、これ4本GPU
- 4:01搭載してるんですけど、そのスイッチ
- 4:03カードが今んとこね、PCI3.0なん
- 4:05です。で、接続の方も掛け8接続でこう3
- 4:09つ繋がってるんですね。ま、だから
- 4:10ちょっとね、転送速度が遅いっていうかね
- 4:13。これがあの4.0の掛16になったら
- 4:16性能どうなるんでしょう。特にAI性能
- 4:18ですね。それを調べていきたいっていうの
- 4:20が1つですね。で、こちらデータ経路の概
- 4:23念図みたいなやつですね。ここにCPU緑
- 4:25があってで赤がメモリでこっちにね
- 4:29スロットとかね、GPUとかが搭載されて
- 4:31ますよと。で、この辺チップセットです
- 4:33よっていう感じの、ま、これはね、今私が
- 4:35開発途中のウェブサイトのおまっていうね
- 4:38、サイトなんですけど、ま、このサイトで
- 4:40こうね、パーツを選んで構成を作るでしょ
- 4:43。ま、例えばCPUはね、Ryzen
- 4:459950Xですよとかね、選択したりで、
- 4:49あと内蔵パーツのPCIカードのノー
- 4:52グランドのところにスイッチカードがね、
- 4:54今回使うやつが登録してあるんですよね。
- 4:56今回ね、3.0の掛け音、今搭載されてる
- 4:59やつですね。これが構成に入ってますね。
- 5:01で、この構成の右上の方にあるなんか
- 5:04うにょうにょをクリックすると、え、
- 5:06さっきのね、データ経路の概念図が出て
- 5:08くると。ちょっとね、まだデータはね、
- 5:10そんなに揃ってないんですけどね。なんか
- 5:11ね、データをね、あんまり勝手に取っちゃ
- 5:13いけないよみたいになってたりしてて、
- 5:15データを取ってこれないことが多いんです
- 5:17よ。だ、大体ね、アフィリエイトのAPI
- 5:19とかのショップのデータとかからしか取る
- 5:21しかなくて、あんまりデータ揃ってない
- 5:23です。もう一部はね、AIの記憶の中から
- 5:26のデータだけしか取ってなかったりするん
- 5:28ですよ。それは置いといて、ちょっと概念
- 5:30戻るとちょっと最初ね、バラバラに搭載さ
- 5:32れちゃうんで、ちょっと調整しましょう。
- 5:34こんな感じか。今うちのGPUサーバーは
- 5:36構成はこんな感じですね。CPUの第1
- 5:39レンに5080が搭載されてて、で、第2
- 5:42レンに3.0のスイッチカードが搭載され
- 5:45てると。で、そこにGPUがまた3枚
- 5:47ぶら下がってる状況ですね。で、この線が
- 5:50ね、太かったり細かったりするんですけど
- 5:52、これはもうデータ通信の待機そのもの
- 5:55ですね。太いところは太いし、細いところ
- 5:57は細いですよっていうことです。で、
- 5:59うすら太い線になってるやつもあるんです
- 6:01けど、これは本来はこっちの速度が出るん
- 6:03だけど、今リンクしてるのはこっちの濃い
- 6:05方の線ですよっていうことですね。だ、
- 6:07スイッチカードにぶら下がってるやつは
- 6:09もうPCI3.0×8なんで、
- 6:11めちゃくちゃ細いんですよね。リンク速度
- 6:13は、ま、8GB秒で、どうもAIのマルチ
- 6:17GPUでの計算はGPU同士のこうデータ
- 6:20のやり取りが結構頻繁に発生するんで、
- 6:23GPU同士のね、データ経路の体域が結構
- 6:26重要になってくるみたいなんです。ま、な
- 6:28のでこのお魔はGPU同士をね、2つ
- 6:31クリックするとこうデータ経路が出てくる
- 6:33んですよ。じゃ、4080からスイッチ
- 6:35カードに行って、で、そっからCPUの
- 6:38PCIコントローラー行ってメモリに行く
- 6:39と、で、ここにデータをコピーして、で、
- 6:42こっちのB50の方がコピーされたデータ
- 6:44を読みに行くっていう、そういう経路に
- 6:47なってるんですね。流れはこんな感じです
- 6:49ね。だから、ま、大体8GBですよと。
- 6:51PCI3.0の掛けなんでちょっと遅いん
- 6:54ですよ。で、このメモリを経由する方法が
- 6:57ダイレクトメモリーアクセスDMAって
- 6:59いうやつらしいですね。ただこれメモリに
- 7:02いちいちコピーして読み込まなきゃいけ
- 7:03ないからその分ちょっと不利だよねって
- 7:06いうことであのP2P接続っていうのが
- 7:08あるらしいんですよね。P2P接続だと
- 7:11もうダイレクトにスイッチしか経由しな
- 7:13いっていうね、こういう接続方法もあり
- 7:15ますよっていうことなんです。ま、ただ
- 7:17これね、基本的にはあのサーバー系の
- 7:19GPUとかしかできないみたいです。
- 7:21コンシューマーのGPUだとちょっと
- 7:23難しい。本当はね、これをやりたかったん
- 7:26ですけど、これをやるにはね、おそらくl
- 7:29でなんかカーネルをちょっといじったりし
- 7:31なきゃいけないみたいなね、そういうこと
- 7:33になるんですね。だ、いずれはね、このP
- 7:352P接続もやりたいんですけど、ま、今回
- 7:38は、ま、このスイッチカードをね、4.0
- 7:40の掛16にしたらどうなるんでしょうって
- 7:42いうのを、これをメインでやっていきます
- 7:44。
- 7:47ということで、ちょっと組み込む前にAI
- 7:49関連のベンチマークをしていきましょう。
- 7:51こちらは先日Macのところでご紹介した
- 7:54メモリベンチですね。これの
- 7:55Windowsバージョン。ちょし
- 7:57ましょうか。今回はね、CPUとか内蔵
- 7:59GPUはあんまり関係ないんで
- 8:01ディスクリードGPUね、取り付けてある
- 8:03GPUのベンチマークをしていきましょう
- 8:06。ちょっとね、あの、搭載してる4つ全部
- 8:08ね、ベンチマークできるんで。Vラムとか
- 8:10ね。で、これは今ね、リンク速度も出てる
- 8:12んですよ。ここスイt経由のやつが3つ
- 8:15あって、で、5080だけね、ちゃんと
- 8:175.0の掛け8になってますね。CPUレ
- 8:20をね、2つ使ってるんで、ここはね、掛け
- 8:228になっちゃうんですよね。16じゃなく
- 8:24て。ま、とりあえずね、体域とかはね、
- 8:26今回あんまり関係ないんで、これはあの、
- 8:29VAMとGPUのね、その経路の体域が
- 8:32出るんでね、あんまりそのPCIの経路と
- 8:35は関係ないですね。0.ね、ここだけです
- 8:37。このPCIのね、速度も測れるんで、
- 8:40ちょっとこれをベンチマークしてみ
- 8:42ましょう。全て実行ということで出てき
- 8:44ましたね。PCIの速度がね、これ結構
- 8:46単純なデータ通信したのを測ってるんでね
- 8:49、7GBパとか出てますね。ちゃんとね、
- 8:51ま、理論値の8割9割ぐらいは出てますよ
- 8:54ね。ま、PCI3.0の掛8なんで、ま、
- 8:588GBよりかは低くなると。で、5080
- 9:01PCI5.0の掛け8なんで、ま、32に
- 9:04は届いてないんだけど、あの、
- 9:052829GB
- 9:07ぐらい出てますね。やっぱ早いんですね、
- 9:09PCIのデータ通信はね。ま、他は今回
- 9:12関係ないんで割愛します。で、続きまして
- 9:15LLMのベンチマークですね。これも作っ
- 9:17てもらったやつですね。で、なんかLLM
- 9:19のベンチマークって決まった方式があって
- 9:21、ま、プリフィルプロンプト
- 9:23プロセッシング512トークン、ま、
- 9:25インプットですよね。うん。この方法が1
- 9:28つとであとね、デコード
- 9:29テキストジェネートこっちがま、
- 9:31アウトプットみたいなもんですよ。この
- 9:33TG128トークンなんかこの2つでやる
- 9:36のが今一般的らしいですね。で、
- 9:38プリフィルの方はね、動画とか画像生成で
- 9:41これが高い数値だと有利になると。LLM
- 9:44だとこっちはね、入力になる。お願いする
- 9:47時のテキストを読み込む速度みたいな感じ
- 9:49でで、デコードの方でお返事の出力ですね
- 9:53。アウトプットですね。その速度っていう
- 9:55ことですね。ま、以前から測ってたのは
- 9:57どうやらこっちみたいです。バブル機の
- 9:59経済がどうのこうのみたいなのをね、あの
- 10:01、いつも聞いてたのはこっちの速度。んで
- 10:03、今回はク3.8の27ビリオンのQ4で
- 10:07ちょっとね、測っていきます。これはね、
- 10:09ちょっとあの、16GBでは入らないん
- 10:11ですよね。だからクーダの場合は
- 10:134080スパと5080をテンソル系列
- 10:16っていうやり方でね、やっていきます。
- 10:18これの方がなんか早いんでね。で、え、
- 10:20ちょっと試してみるとスタートするでしょ
- 10:23。あ、どんどん読み込まれてますね。
- 10:25プリフィルはね、結構早いんだけど、すぐ
- 10:26結果出ますね。1546トークンになって
- 10:29ますね。で、デコードが55.9トークン
- 10:32ということですね。なんかうちではね、
- 10:34これが1番早い。で、あともっと早くする
- 10:36方法があって、推測デココードっていう
- 10:38MTPっていうのがあるんですね。これを
- 10:40ね設定するとちょっとやってみましょうか
- 10:42。これもね、早くなるんですよ。あ、あと
- 10:44ね、この辺FP32とかこの辺は理論値が
- 10:47書いてありますね。クロック数とかからね
- 10:49、割り出せるらしいんで、テラフロップス
- 10:51はね、ちょっとプリフィルは遅くなりまし
- 10:53たけど、あのデコードがね、103トーク
- 10:55になるんですね。早くなりましたね。で、
- 10:58バルカンにするとね、もうアークから
- 11:00ラデオンからRTXから全部並べることが
- 11:03できるんですね。4個でやりましょう。
- 11:05ちょっとMTPはね、全部外します。これ
- 11:07はね、ちょっとベンチには使わない方が
- 11:09いいですね。MTPちょっと4個でもやっ
- 11:11てみましょう。スタート。ということで、
- 11:13プリフィルが843トークンでちょっと
- 11:16アークが混じるから遅いですね。ああ、
- 11:1916トークンですね。うん。遅い。ま、
- 11:21これはね、アークが入ってるんでしょうが
- 11:22ないですね。ま、こんな感じでいろんな
- 11:24パターンをやっていきましょう。とことで
- 11:26いつもの比較のグラフがこんな感じですね
- 11:29。で、5080と4080のパターンはね
- 11:31、2つあるんですけど、ま、1つはね、
- 11:34メモリを分割してるパターンかな。で、
- 11:36あともう1個がテンソル系列ですね。で、
- 11:39プリフィルの場合はね、分割パターンの方
- 11:41が早いんですけど、デコードになるとね、
- 11:43テンソル系列の方が早いんですよ。こっち
- 11:45の方がね、こっちより、ま、多分LLMの
- 11:47場合はデコードの方が重要なんでね、
- 11:50こっちを重視していいんじゃないかなと
- 11:52思います。で、あと7900X
- 11:54も2つあるんですね。Rロッカムパターン
- 11:57とバルカムパターン。これもなんかね、
- 12:00プリフィルトデコードで反対になるんです
- 12:02けど、なんかちょっと金差なんでよく
- 12:04わかんないですね。で、あと
- 12:055080480
- 12:07スーパー7900Xの3つパターンとで
- 12:10あとアークも加えた4つパターンですね。
- 12:13ま、全部でこの6個をね、比較していき
- 12:16ましょう。え、じゃあちょっと組み込んで
- 12:17いきましょう。
- 12:20ということで、ここからね、このPCI
- 12:23スイッチカードを組み込んでいきたいん
- 12:24ですけど、下の段にね、1階の方に
- 12:275080があって、これがちょっとね、長
- 12:29すぎて2階の方に持ってこれないんですよ
- 12:32ね。ちょっとね、こいつが邪魔なんですよ
- 12:34、ここが。だからこのファンとかをね、
- 12:36ちょっとだけ手前に配置させたいんですよ
- 12:39。ま、なのでまたアルミアングルの加工
- 12:41ですよ、これね。ちょ、こんな感じで
- 12:43ちょっとね、あの、アルミアングルを設置
- 12:45してで、そこにこのパンを取り付けようか
- 12:48なと思います。切ったり穴開けたりして
- 12:50確保していきましょう。このアルミアでね
- 12:52。
- 12:55ちゃった。
- 13:00次は穴開けか。
- 13:06ということでアルミの金具がね、完成し
- 13:08ました。ステーが完成しましたね。こんな
- 13:10感じで取り付けるイメージですね。うん。
- 13:13よしよししよしよしょよし。じゃ、
- 13:15ちょっと分解していかないと。
- 13:17あ、掃除しないとダめだ、これ。また汚い。よいしょ。インテルアークですね。ちっちゃいやつ。赤ちゃんグラボ。いいすね。これデザインがいいよね。シンプルで。よいしょ。熱い。ちょっとさっきまで動いてたから熱い。から。よし。で、こちらがプチャンクの
- 13:357900X
- 13:37ですね。ちょっと駆け端でしか作しなくなっちゃったですね。よいしょ。てことで
- 13:424080
- 13:43スーパーね。ちょっと埃りがやばい。ここね。
- 13:47あ、あ、うわ。ええ、なんか割れた。マジ
- 13:51かよ。ちょっと爪が割れちゃった。580
- 13:54ね。
- 13:56あ、ほら、なんかカラカラ行ってる。やば
- 13:58。出てこない。あ、出てきた。12ピの
- 14:02やつね。爪折れちゃったよ。うん。もろ
- 14:05すぎない?このこの電源コネクター
- 14:08ちょっとも脆ろすぎますね。燃えるし
- 14:10詰め折れるし。ちょっと最悪なんだけど
- 14:12これ。危ないよだって。ということで
- 14:16PCI3.0のスイッチカードですね。
- 14:194
- 14:19個だけなんですよね、これはね。ということで、こいつはもうおら入りですね、今回でね。オッケー。あ、こんななってのか。オッケー。オッケー。こうんでこう。よし。ステー部分取り付けられた。いいね。がっしりしていいね。
- 14:40やつけよ。お、いいね。いいね、いいね。えっと、まずはね、これね、えっと、端っこ端っこ真ん中
- 14:542つみたいにしましょうってここかな。
- 15:01で、ちょっとね、今回ね、電源、ここの
- 15:04スロットの電源をね、買ってくんの忘れ
- 15:06ちゃったんで、もうめちゃくちゃなね、
- 15:08継ハぎだらけの電源でちょっとやらせて
- 15:11いただきます。ちょっとこれ危ないんだ
- 15:12けどね。ちょっと今回だけね、テストと
- 15:14いうことでこれでやらせていただきます。
- 15:18ということでこのスイッチカードをね、
- 15:19取り付けましょう。これは大丈夫か?これ
- 15:23。よいしょ。よいしょ。
- 15:28[笑い]
- 15:29ケーブルすっごいっぱいあるな。あ、順番があったんだ、これ。
- 15:35むずい。ね、
- 15:36A2でしょ?A1、B2、B1。あ、E
- 15:402、E1、D2、D1ね。E2はめる。E
- 15:431
- 15:44はめるといしょ。これすごい不足に並んでる。こんな感じ。ちょっとね、ぐっちゃぐちゃになっちゃいますけどむずいっすね。
- 15:535080。これここ
- 15:55搭載できんのかな?乗っかる。あ、うわあ、だめか。よし、じゃ、端っこですね。こいつはね、こっちですねと
- 16:034080スーパーですね。
- 16:05よし、こいつはここがいいかな。で、え、
- 16:097900X全体的になんか歪んできてんだけど。で、インテルアーク
- 16:16B50ですね。オッケー。
- 16:22ということで完成しましたね。なんか成功
- 16:25なちになりましたね。雰囲気がね、
- 16:28落ち着いた感じになって、で、2階の
- 16:30ところにね、グラボは全部搭載されてます
- 16:32ね。1階の方はあの分岐カードだけですね
- 16:35。スイッチカードだけ。縦置きがこんな
- 16:38感じですね。こっちのパターンもいいです
- 16:40よね。ま、ちょっとね、スロットがこう
- 16:43引げちゃうっていうかね。うん。剃っ
- 16:44ちゃうかもしんないからあんまり良くない
- 16:46んですよね。なんかすごい部骨。ちょっと
- 16:49動作確認していきましょう。これね。
- 16:53ちょっとね、今置き場所が変なとこにあるから挿入しづらいってことで、え、電源でしょう。せのランコートね。よいしょ。
- 17:00USBが遠かない。
- 17:01うん。USBとHDMI
- 17:02遠いな、これ。ということでスイチん大丈夫かな?大丈夫かな?あ、大丈夫そうですね。多分ね。う、疲れた。あ、来ましたね。オッケー、オッケー、オッケー。バイスマネージャーを見てみましょう。大丈夫?そう。ああ、全部ちゃんと認識してますね、これね。
- 17:18ということで、えっとね、さっきのメモリ
- 17:21ベンチマーク見てみましょう。えっと、あ
- 17:24、4.0×16スイッチ経由4.0×16
- 17:28スイッチ経由。4.0の掛8スイッチ経由
- 17:30。ま、7900XTXはね、プチジャンク
- 17:33なんで掛け8になりましたね。で、
- 17:35INTRも4.0の掛け8ですね。
- 17:38スイッチ経由。これはね、元々駆け8なん
- 17:41でね、B50はちょっとメモリベンチ実行
- 17:43してみましょう。このPCはいいですね。
- 17:45おお、いいね。いいね。お、29GB
- 17:48パービオになりましたね。こっち。あ、
- 17:504080はね、やっぱちょっと遅くなるん
- 17:52ですね。26GBパですね。で、ラデon
- 17:56の7900XTXは、え、14から
- 17:5915GBですね。で、Intelアークも
- 18:01、まあ同じぐらいですね。B55ね。
- 18:031415ぐらいですね。狙い通りじゃ、
- 18:06これであのLLMのベンチがね、どうなる
- 18:09かですよね。とことで同じベンチマーク
- 18:12ですね。ああ、もう順番がバラバラになっ
- 18:14ちゃったな。え、Micクrosoft
- 18:16ベーシックレンダードライってんだろう?
- 18:18これ。え、そんな初めて出てきた。ま、
- 18:20いらないか、これね。よくわからん。
- 18:224080スーパーと5080のクーダ
- 18:25バージョンでね、やってみましょう。
- 18:26テンソル列ね。どうなるか。計速開始。あ
- 18:30、来た、来た、来た、来た、来た、来た。
- 18:312721トークンプリフィルさっきより
- 18:34ちょっと早くなってんのか。あ、デコード
- 18:36は、え、57.4トークン。え、変わって
- 18:39ない?[笑い]ちょっとあんまもしかし
- 18:42たら変わってないかもしんないね、これ。
- 18:43ええ。ちょっと全部やっていきますね。と
- 18:46いうことで、さっきと同じベンチマークを
- 18:48しまして結果がこんな感じですね。ま、
- 18:50結局テンソル系並列のプリフィルは
- 18:52めちゃくちゃ性能上がりましたね。倍近く
- 18:55になりました。で、他はね、ほとんど
- 18:57誤差って感じですね。ま、7900Xはね
- 19:00、単体GPUなんで性能は変わんないです
- 19:03。ここはね、絶対ね。ま、ただ他の複合
- 19:05パターンはちょっと減ってますね。この辺
- 19:07は謎です。で、単純にクーダの分割
- 19:10パターンはね、誤差ですね。とかね、これ
- 19:12ね、あの、結局テンソル系並列はね、その
- 19:15PCI体域の影響をね、もに受けるらしい
- 19:18です。両方とも同じデータで計算しなきゃ
- 19:20いけないと思うんです。そのデータの相互
- 19:23の通信がね、大量に発生するからここで
- 19:26詰まるとめちゃくちゃ遅くなるね。PCI
- 19:283.0の掛けになると遅くな
- 19:30るってことですね。だ、本来はもっとね、
- 19:33あの、PCIの制限がなければ多分もっと
- 19:35上がっていくんだと思うんですよ。で、
- 19:37デコードの方なんですけど、ま、こちらね
- 19:39、ほとんど変わってないです。ただ
- 19:41ちょっとだけ全部上がってますね。
- 19:43ちょっとだけ特にテンソルヘレスがね、
- 19:45ちょっとだけ上がってます。ただね、ここ
- 19:47にさっきのMTPマルチトクンプリなんと
- 19:50かなんか先読み機能みたいなのがあるん
- 19:52ですけどこれをね表示させるとちょっと
- 19:54上がってるんですよね。1割[音楽]強
- 19:56ぐらいね。うん。で、プリフィルの方もね
- 19:59、そのMTPバージョンを入れるとね、
- 20:01ここもちょっと上がってるんですよ。ま、
- 20:032割ぐらい上がってますね。ま、だから
- 20:05マルチGPUでソル系並列する場合は
- 20:07PCI待機がね、結構重要になってきます
- 20:10よっていうお話ですね、単純に。ま、その
- 20:13辺分かったんでよしとしましょう。という
- 20:15ことで今回はね、10ポの分岐カード、
- 20:18スイッチカードを使ってPCI接続の有要
- 20:21性みたいなのをね、色々と知られてきたん
- 20:22ですけど、ま、あの、マルチGPUでは
- 20:24やっぱり点ソル系列では重要でしたね。
- 20:27必要でしたね。ただね、最近なんかね、別
- 20:30にこのマルチGPUとかしなくてもミドル
- 20:33クラスのGPU単体だけでも結構実用
- 20:35レベルで使えるようになるLLMの水
- 20:38エンジンのストラタっていうのがある
- 20:40みたいなんですよ。ちょっとね、次回は
- 20:42その辺をやったり、ま、あるいはP2P
- 20:44接続でどんな性能になってくるかみたいの
- 20:47を、ま、できたら調べたいなと思ってます
- 20:49。それかちょっとね、実はマックスST
- 20:51買ったりしてるんで、ま、まだ到着して
- 20:54ないんですけど、ま、それをやるか。あと
- 20:56ね、せっかくここまでケースがね、揃った
- 20:58んだけど、実はあの、以前ご紹介したね、
- 21:01もう拡張性の高いあのでっかいケースも
- 21:04買っちゃったんで、それのレビューか
- 21:06なんかかもしれません。ちょっとね、
- 21:07いずれになるかわかんないですけどね。
- 21:09まあ、とりあえず今回はこんなところで、
- 21:11それじゃまた。
About this transcript
This page contains the full transcript of PCIeを5~20スロットに無理やり拡張!ローカルAIでマルチGPU性能向上目指す by うどんの機材部屋, generated from the public captions YouTube serves with the video. The transcript has 478 words across 478 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.