Qwen 3.8 27B: Eine Einstellung macht es 9x schneller — Transcript

Full transcript

1. 0:00Qwen 3.8 27B gibt es auf Hugging Face
2. 0:03mit ungefähr 1500 verschiedenen
3. 0:06Varianten. Und wer das Modell bei sich
4. 0:08zu Hause auf dem Rechner laufen lassen
5. 0:10will, der muss sich für eine einzige
6. 0:11davon entscheiden. Q4 Bonsai oder
7. 0:14einfach der Standardbefehl aus Ollama.
8. 0:16Ja, welche Datei soll ich da jetzt
9. 0:17eigentlich laden? Welche funktioniert
10. 0:19für meine Hardware am besten? Genau das
11. 0:21finden wir heute heraus. Ich habe die
12. 0:23meistgeladensten Fassungen ausführlich
13. 0:26getestet. Habe ich auf insgesamt drei
14. 0:28Rechnern machen lassen. immer die
15. 0:30gleiche Aufgabe durchgeprüft und am Ende
16. 0:33das Ganze immer noch gegen das
17. 0:34unkomprimierte Original gemessen. Am
18. 0:37Ende wisst ihr ganz genau, welche Datei
19. 0:38für euren Mac, für euren Gaming PC, für
20. 0:40eure Grafikkarte, whatever, die beste
21. 0:42ist. Und vor allem, wie ihr die auch
22. 0:43noch einstellt, weil eine einzige
23. 0:45Einstellung hat bei mir teilweise mehr
24. 0:47ausgemacht als ein komplett anderes
25. 0:49Model. Mit der Standardeinstellung hat
26. 0:51eine Aufgabe 45 Minuten gebraucht, mit
27. 0:53ein paar kleinen Tweaks, die ich gemacht
28. 0:54habe, nur 5 Minuten. Ich bin Fabian, wir
29. 0:57starten sofort rein.
30. 1:00vom 22. September schreibt Alibaba, dass
31. 1:03Qwen 4 gerade schon trainiert wird. Ein
32. 1:06Datum gibt es dafür jetzt aber gerade
33. 1:07noch nicht. Es soll aber schon
34. 1:09wahrscheinlich ganz bald rauskommen. Bis
35. 1:11dahin ist Qwen 3.8 mit 27 Milliarden
36. 1:14Parametern wohl das Model, das mit
37. 1:16Abstand am meisten genutzt wurde,
38. 1:18zumindest von den offenen Modellen. Es
39. 1:20gibt natürlich auch noch Qwen 3.8 Flash
40. 1:22Next zum Beispiel, das ist aber um ein
41. 1:24Vielfaches größer und kann auf nur viel
42. 1:27weniger Hardware laufen. Ich habe zu
43. 1:28alldem schon Videos gemacht, zum
44. 1:30Beispiel, wie man das auf Strata zum
45. 1:31Laufen bekommt. Das macht zum Beispiel
46. 1:33dieses Flash-Modell dann doch relativ
47. 1:35capable für normale Grafikkarten. Heute
48. 1:37geht es aber um Qwen 3.8 mit 27
49. 1:40Milliarden Parametern. Mit über 18.000
50. 1:42Likes steht es bei Hugging Face auf
51. 1:44Platz 1 aller Modelle dort. Hugging Face
52. 1:47ist so die größte Plattform, wenn es um
53. 1:48Open Source oder beziehungsweise Open
54. 1:50Weights LLMs geht. Und genau dieses
55. 1:52Model nehmen wir uns heute mit genau
56. 1:54drei Fragen vor. Erstens, welche Fassung
57. 1:57ist die beste und welche die
58. 1:58schlechteste? Zweitens, welche Fassung
59. 2:00läuft wo, auf welchem Mac, auf was für
60. 2:02einer Grafikkarte oder auf einem
61. 2:03Riesen-PC? Und drittens, wie stellt ihr
62. 2:05dieses Model ein, diese Datei, die ihr
63. 2:07dann habt, damit ihr auch wirklich
64. 2:09komplett schnell läuft und eure Hardware
65. 2:11wirklich ausreizt? Das heißt, drei
66. 2:13Fragen heute und am Ende haben wir
67. 2:15wirklich für jede Art von Hardware eine
68. 2:17Empfehlung. Ja, fangen wir erstmal mit
69. 2:19den beiden Dateien an, die ja, somit
70. 2:21auch am größten sind. Das Original ist
71. 2:22nämlich knapp 60 GB groß und das passt
72. 2:25dann theoretisch in keinen normalen
73. 2:27Rechner, in keine normale Grafikkarte,
74. 2:29denn dieser 60 GB Block muss nahezu
75. 2:32komplett in den VRAM geladen werden der
76. 2:35Grafikkarte. Die 5090, die praktisch
77. 2:37beste Consumer-Gaming-Grafikkarte, hat
78. 2:39nur 32 GB. Das heißt, das Model ist fast
79. 2:42doppelt so groß. Deswegen wird das dann
80. 2:44komprimiert und das nennt man dann
81. 2:45Quantisierung. Das hat man bestimmt
82. 2:47schon mal gehört. Das ist im Grunde
83. 2:48genommen wie bei einem Foto, das man
84. 2:49dann einfach mit weniger Farben
85. 2:51speichert und dadurch kleiner wird. Und
86. 2:53beim Model werden dann rund 28
87. 2:55Milliarden Zahlen gerundet und das seht
88. 2:57ihr dann jetzt hier. Im Original ist
89. 2:59jede davon mit 16 Bit gespeichert. Bei
90. 3:01Q8 sind es dann nur noch 8 Bit, bei Q4
91. 3:04ungefähr 4 bis 5 und bei Q2 dann knapp
92. 3:073. Die Zahl im Namen sagt euch also
93. 3:09grob, wie stark gerundet worden ist.
94. 3:12Ganz unten steht Bonsai 2, das kennt pro
95. 3:15Zahl nur noch -1, 0 oder +1. Damit ist
96. 3:19Bonsai dann nur noch knappe 6 GB groß,
97. 3:22also rund 9 bis 10 mal kleiner als das
98. 3:25Original. Bonsai habe ich schon in dem
99. 3:27anderen Video gezeigt. Und hier sehen
100. 3:28wir jetzt ganz genau, welche Fassungen
101. 3:30alle gegeneinander angetreten sind,
102. 3:31nämlich die meist geladensten. Die
103. 3:34meisten kommen von Anslov, deren Dateien
104. 3:36wurden schon rund 21 Millionen mal
105. 3:39geladen, sogar öfter als das Original,
106. 3:41weil es natürlich viel mehr Leute zum
107. 3:42Laufen bringen können. Von Anslov sind
108. 3:44die Q8, die Q4 und die kleineren für 16
109. 3:47GB Karten, also IQ4, IQ3 und Q2. Das I
110. 3:51bzw. kann man das auch als 1
111. 3:52interpretieren, das steht für ein
112. 3:53schlaueres Rundungsverfahren, das bei
113. 3:55derselben Stufe mit ein bisschen weniger
114. 3:57Platz auskommt. Dazu kommen dann die Q4
115. 3:59von Ulama, eine zweite IQ3 von Istad
116. 4:02Lab, Bonsai und die meist geladene
117. 4:06unzensierte Fassung. Das heißt, kleinere
118. 4:08Datei bedeutet einfach, es wurde
119. 4:09praktisch stärker gerundet und die große
120. 4:11Frage ist halt, wie viel merkt man davon
121. 4:13dann in der Antwortqualität. Ja, wichtig
122. 4:15dazu ist, wir schauen uns heute die
123. 4:16allgemeinen Fassungen an, also dasselbe
124. 4:19Modell in verschiedenen
125. 4:20Größen. Es gibt nämlich daneben
126. 4:22praktisch noch über 700 Finetunes, das
127. 4:24sind praktisch Fassungen, die auf
128. 4:25bestimmte Bedürfnisse nachtrainiert
129. 4:27worden sind, z.B. Rollenspielen,
130. 4:29kreatives Schreiben, Coding-Agenten oder
131. 4:31Medizin, Mathe z.B. Eine auf Deutsch
132. 4:34trainierte Fassung gibt's für dieses
133. 4:35Model, by the way, noch nicht, zumindest
134. 4:37habe ich keine finden können auf Hugging
135. 4:38Face. Wer sowas sucht, der schaut auf
136. 4:40Hugging Face beim Model unter Finetunes
137. 4:42nach, da gibt's einen Haufen. Heute
138. 4:44geht's um die allgemeine Fassung, die
139. 4:45ihr euch einfach downloaden könnt und
140. 4:46sofort nutzen könnt, um das, ja, ich sag
141. 4:48mal, beste Chat GPT-Erlebnis zu
142. 4:50bekommen. Es soll nämlich einfach ein
143. 4:52Allrounder sein. Laufen lassen habe ich
144. 4:53den ganzen Spaß auf insgesamt drei
145. 4:55Rechnern. Das erste ist die Lenovo
146. 4:58ThinkStation PGX und auf die verbinden
147. 5:00wir uns jetzt einfach mal direkt. Das
148. 5:02heißt, ich gehe aufs Terminal, verbinde
149. 5:03mich über SSH und dann schauen wir uns
150. 5:06mal an, was für Kandidaten wir hier
151. 5:07haben. Hier sehen wir jetzt nämlich alle
152. 5:09Kandidaten mit ihren Größen. Die PGX hat
153. 5:11insgesamt 128 GB Speicher, also
154. 5:13Arbeitsspeicher, das ist dann Unified
155. 5:15RAM. Der Grafikchip und der Prozessor
156. 5:17speisen praktisch beide aus dem. Da
157. 5:19passt dann sogar das komplette Original
158. 5:22von Qwen 3.8 27 B rein. Und damit ich
159. 5:25euch solche Tests hier zeigen kann, hat
160. 5:27mir die Firma Heinz Soft diese PGX
161. 5:28netterweise zur Verfügung gestellt. Für
162. 5:30dieses Video bekomme ich kein Geld, es
163. 5:32geht um die PGX, Link findet ihr in der
164. 5:34Videobeschreibung. Und das Original, das
165. 5:36passt auch wirklich auf diesen, ja,
166. 5:38KI-Computer. Und das seht ihr dann auch
167. 5:40hier, beim Mac Mini und bei der
168. 5:41Grafikkarte bleibt's einfach stecken.
169. 5:43Nur auf der PGX kann ich also jede
170. 5:45Fassung direkt mit dem Original
171. 5:47vergleichen und deswegen ist die auch
172. 5:49heute unser Schiedsrichter. Die anderen
173. 5:51beiden Rechner, die wir getestet haben,
174. 5:52die sind schon eher das, was man zu
175. 5:54Hause stehen hat. Wir haben einmal einen
176. 5:55Mac Mini mit M4 Pro und 48 GB RAM, das
177. 5:59ist schon etwas älterer Mac Mini. Es
178. 6:00gibt mittlerweile schon den M6
179. 6:02Prozessor, zumindest ist der
180. 6:03angekündigt. Das heißt, wir sind
181. 6:04praktisch schon zwei Generationen
182. 6:06Rückstau. Und ich habe einen Gaming PC
183. 6:08mit einer 16 GB Grafikkarte und 2050 TI
184. 6:12und da wird's auch schon ein bisschen
185. 6:13eng. Komplett reinpassen da jetzt nur
186. 6:15ungefähr bis ungefähr 14 GB. Das heißt,
187. 6:19die Qualität von der Datei, die ist
188. 6:20jetzt überall gleich, aber das Tempo
189. 6:23nicht. Getestet habe ich mit vier
190. 6:24Aufgaben, die ich auch so im Alltag mal
191. 6:26stellen würde. Das haben wir schon
192. 6:27mehrfach hier auf meinem Kanal gemacht.
193. 6:28Aufgabe eins ist nämlich ein
194. 6:29Sonnensystem als Webseite. Acht
195. 6:31Planeten, Saturnring und ein Regler der
196. 6:33Geschwindigkeiten der Umlaufbahn.
197. 6:34Aufgabe zwei ist eine Python-Funktion
198. 6:36für Arbeitszeiten mit 18 versteckten
199. 6:38Tests und bei Aufgabe drei muss das
200. 6:40Modell eine Rechnung prüfen mit
201. 6:41Umsatzsteuer, Skonto und Fristen, also
202. 6:43typische Büroarbeit, vor allem eben auf
203. 6:46Deutschland ausgerichtet. Und Aufgabe
204. 6:48vier ist dann Logikrätsel mit nur einer
205. 6:50richtigen Lösung, die dann gelöst werden
206. 6:51muss. Alle Fassungen bekommen dabei
207. 6:53immer die genau exakten Einstellungen,
208. 6:55also es ist nichts anders, die bekommen
209. 6:57immer genau das Gleiche. Und weil jede
210. 6:59Antwort natürlich bei einem LLM so ein
211. 7:00bisschen anders ausfällt, läuft jede
212. 7:03Aufgabe auch mehrmals. Insgesamt habe
213. 7:05ich über 600 Läufe gehabt auf den ganzen
214. 7:07verschiedenen Maschinen, jede Aufgabe
215. 7:09mehrfach, alle Modelle mehrfach. Es ist
216. 7:11wirklich sehr, sehr ausführlich
217. 7:13geworden. Testaufbau, alle Einstellungen
218. 7:16packe ich euch komplett in die
219. 7:17Beschreibung. Klickt da gerne auf den
220. 7:18Link, könnt ihr euch alles downloaden,
221. 7:20einsehen, verstehen, die ganzen Charts
222. 7:21und Werte und Ergebnisse noch mal
223. 7:23intensiv anschauen. Und damit zur ersten
224. 7:25Frage, welche Fassung ist die Beste und
225. 7:28welche Fassung ist die Schlechteste? Wir
226. 7:30fangen beim Sonnensystem an, das habe
227. 7:31ich schon öfter auf meinem Kanal dazu
228. 7:32gezeigt, weil man sieht halt das
229. 7:33Ergebnis sofort und kann direkt
230. 7:35interpretieren, klappt's oder klappt's
231. 7:37nicht. Hier baut Bonsai das Ganze jetzt
232. 7:39gerade auf der PGX. Und so sieht die
233. 7:41fertige Seite danach aus, Danach noch
234. 7:43zum Vergleich das Original. Wir fahren
235. 7:44jetzt einfach mal mit der Maus über die
236. 7:46verschiedenen Planeten und die sind
237. 7:47schon zu schnell, dann können wir direkt
238. 7:48mal unseren Regler ausprobieren. Der
239. 7:51funktioniert, umso weiter runter wir das
240. 7:52schalten, umso langsamer die Planeten.
241. 7:54Jetzt haben wir auf Null gesetzt und
242. 7:55nichts bewegt sich. Setzen wir das ein
243. 7:56bisschen höher, bewegt sich es wieder
244. 7:58und wir machen mal auf 0,08, dann können
245. 8:00wir hier sehen, das ist der Neptun, das
246. 8:02ist der Mars. Also, es funktioniert auf
247. 8:04jeden Fall. Das hat jetzt Bonsai gebaut,
248. 8:06eine ganz, ganz kleine Version von Qwen
249. 8:083.8, habe ich auch schon ein Video zu
250. 8:09gemacht. wir uns mal das Original an,
251. 8:11vom Original Qwen 3.8 und da sehen wir
252. 8:13im ersten Moment irgendwie gar keinen
253. 8:15Unterschied. Es sieht nahezu komplett
254. 8:17gleich aus. Die Planeten sehen dann doch
255. 8:18noch mal ein bisschen anders aus, aber
256. 8:20es funktioniert genauso wie auch das von
257. 8:23Bonsai, also der definitiv kleineren
258. 8:25Version von dem Ganzen. Also, die
259. 8:26Geschwindigkeit jetzt hier beim Bonsai,
260. 8:28das ist noch mal Bonsai, ist natürlich
261. 8:29ein bisschen zu schnell, also es wirkt
262. 8:31sehr unrealistisch, während wir bei dem
263. 8:33PGX eine relativ sinnvolle
264. 8:36Geschwindigkeit haben für den Anfang und
265. 8:38mir z.B. auch der Saturn vom Design viel
266. 8:40besser gefällt als von Bonsai. Also, auf
267. 8:42den ersten Blick sehen beide wirklich
268. 8:44gleich gut aus und das zieht sich bei
269. 8:47allen Fassungen so ein bisschen rüber,
270. 8:50also alle sind ungefähr auf dem gleichen
271. 8:52Niveau, vor allem, wenn man jetzt so
272. 8:53einen relativ simplen Test macht. Eine
273. 8:55automatische Prüfung, die ich dazu
274. 8:57gebaut habe, die praktisch immer drüber
275. 8:58läuft, die schaut nur in den Code und ob
276. 9:00die Seite wirklich im Browser lädt und
277. 9:02das ganze Ding praktisch technisch
278. 9:04funktioniert. Die schaut sich die Seite
279. 9:06aber nicht an und sieht also dann nicht,
280. 9:07ob die Planeten jetzt auch wirklich
281. 9:09laufen, sich bewegen, wie es fürs Auge
282. 9:11praktisch erkennbar sein soll und
283. 9:13deswegen habe ich auch alle Seiten hier
284. 9:14dann noch mal in einem echten Browser
285. 9:17geöffnet. Und wir sehen direkt, von 66
286. 9:20Seiten laufen insgesamt neun Stück gar
287. 9:22nicht. Bei Bonsai sind es fünf von neun
288. 9:24und bei der Q2-Quantisierung sind es
289. 9:26zwei von sieben. Und bei einer kleinen
290. 9:29unzensierten Fassung vom PC mit der RTX
291. 9:315070 Ti zwei von drei. Ab IQ3 aufwärts
292. 9:35laufen die dann mit 44 von 44 Läufen
293. 9:39zuversichtlich. Und so sieht z.B. eine
294. 9:41kaputte Seite aus. Mal ist die Seite
295. 9:42leer, mal fehlen die Planeten und mal
296. 9:44kleben irgendwie alle an der Sonne und
297. 9:46bewegen sich nicht richtig. Und das
298. 9:47Gemeine ist eben, im Code sieht so eine
299. 9:49Seite erstmal völlig normal aus. Es gibt
300. 9:51praktisch keinen direkt
301. 9:52identifizierbaren Unterschied. Jetzt zum
302. 9:54Vergleich haben wir jetzt die Seite vom
303. 9:55selben Rechner, aber von IQ4, also von
304. 9:57der praktisch größeren Variante und da
305. 9:59läuft eben alles. Hier sehen wir jetzt
306. 10:01nochmal alle vier Aufgaben auf einen
307. 10:04Blick. Jeder Punkt ist ein Lauf von der
308. 10:06PGX, also von dem KI-Computer mit 128 GB
309. 10:09RAM und grün heißt volle Punktzahl. Und
310. 10:12fast alles ist grün, also schon mal
311. 10:14sehr, sehr gut. Das Rätsel z.B., das
312. 10:15haben die Fassungen auf allen drei
313. 10:17Rechnern in 201 von 202 Läufen richtig
314. 10:20gelöst und hängen geblieben, also im
315. 10:22Kreis gedacht und nie fertig geworden,
316. 10:24also ein Loop, ist keine einzige
317. 10:26Fassung, was ein richtig gutes Ergebnis
318. 10:28ist. Abgesehen von den kaputten Seiten
319. 10:30sind die paar Ausreißer so ein paar
320. 10:31Kleinigkeiten, mal ein falscher
321. 10:33Buchstabe im Code, mal ein Cent daneben.
322. 10:35Und das Original, das hat in allen 13
323. 10:37Läufen keinen einzigen Ausrutscher
324. 10:39gehabt. Das heißt, ab Q3 merkt ihr im
325. 10:42Alltag kaum einen Unterschied. Q2 und
326. 10:44Bonsai stolpern dann doch noch mal ein
327. 10:46bisschen beim Bauen. Ja, wie viel
328. 10:47gegenüber dem Original wirklich verloren
329. 10:49gehen, sagen die Tests jetzt nicht
330. 10:51wirklich genau. Und deswegen messen wir
331. 10:52das jetzt auf der PGX nochmal direkt.
332. 10:54Wir geben praktisch dem Original und
333. 10:56jeder Fassung exakt den genau gleichen
334. 10:58Text, bei mir ein langes Stück aus
335. 11:00Kafkas Verwandlung. Und an jeder Stelle
336. 11:02schauen wir dann, welches Wort am
337. 11:04nächsten am wahrscheinlichsten kommt.
338. 11:06Und im Kleinen sieht das dann so aus.
339. 11:08Bei "Der Himmel ist" wählen beide blau,
340. 11:11das ist ein Treffer, also so
341. 11:13funktioniert ja ein LLM. Es rechnet
342. 11:15immer das wahrscheinlichst nächst zu
343. 11:17generierende Wort aus. Und bei "Ich
344. 11:19trinke gern" sagt das Original Kaffee
345. 11:22und die kleine Fassung Tee, das ist auch
346. 11:24kein Treffer. Hier sehen wir das Ganze
347. 11:25jetzt nochmal über alle Fassungen. Ganz
348. 11:27oben steht die Q8 mit 98,1%, also fast
349. 11:31immer dasselbe Wort wie das Original.
350. 11:33Die Q4 von Anslow kommt schon auf 90,4%
351. 11:37die Q4 die IQ4 kommt auf 85,6%
352. 11:41die beiden IQ3 von Anslow und ist da die
353. 11:44liegen gleich auf bei rund 78% darunter
354. 11:46wird es dann deutlich die Q2 trifft nur
355. 11:48noch 69,2%
356. 11:50und Bonsai landet bei 58,2%
357. 11:53bei rund vier von zehn Wörtern würde
358. 11:55Bonsai also was komplett anderes
359. 11:56schreiben als das Original und in dieser
360. 11:59Liste steckt jetzt unzensierte Fassung
361. 12:01von Journal von Quality mit über 6,5
362. 12:04Millionen Downloads die insgesamt meist
363. 12:06geladenste. In den Alltagsaufgaben hat
364. 12:09die genauso volle Punkte wie die normale
365. 12:11Q4 Variante beim gleichen Wort liegt sie
366. 12:14mit 86,2%
367. 12:15aber dann noch mal ein Stück dahinter
368. 12:17und was eine unzensierte Fassung
369. 12:19wirklich anders macht das kommt noch mal
370. 12:20in einem eigenen Video. Wir haben uns
371. 12:22das schon mal ein bisschen angeschaut
372. 12:23ich mache dafür noch mal ein richtig
373. 12:24ausführliches Video. Ja und warum ist
374. 12:26dieses gleiche Wort denn jetzt so
375. 12:27wichtig wenn die Tests trotzdem grün
376. 12:30sind. Bei einer kurzen Aufgabe fällt so
377. 12:32ein ja anderes Wort kaum auf also das
378. 12:34macht fast keinen Unterschied für so
379. 12:35einen kleinen Satz ob ich da jetzt Tee
380. 12:37oder Kaffee generiert bekomme ist völlig
381. 12:39irrelevant natürlich abhängig von meiner
382. 12:41Prompt aber im Grundsatz macht das
383. 12:43keinen großen Unterschied aber jedes
384. 12:45Wort baut auf dem vorherigen auf und
385. 12:47nach einer Abweichung schreibt das
386. 12:48Modell auf einer anderen Grundlage
387. 12:50weiter. Das heißt wenn ich sage ich
388. 12:51trinke gerne Tee oder ich trinke gerne
389. 12:53Kaffee kann sich was völlig anderes
390. 12:55daraus dann abbilden was das nächste
391. 12:56Wort wird und wenn ein Agent eine Stunde
392. 12:59lang Code schreibt und das die ganze
393. 13:01Zeit praktisch abweicht gibt es ja
394. 13:03tausende wenn nicht hunderttausende
395. 13:05solche Abweichungen und die führen dann
396. 13:07im schlimmsten Fall zu einem
397. 13:08schlechteren Ergebnis. Das heißt am
398. 13:10nächsten am Original ist natürlich die
399. 13:11Q8 Variante also die nächst kleinere am
400. 13:13weitesten weg vom Original ist Bonsai.
401. 13:16Nur passt die Q8 natürlich nicht überall
402. 13:18rein und damit sind wir dann bei der
403. 13:20zweiten Frage welche Fassung läuft wo
404. 13:22und dann auch wie schnell. Gemessen wird
405. 13:24das immer in TPS das sind Token pro
406. 13:26Sekunde und so ein Token ist einfach nur
407. 13:28ein grobes Wortteil, also ein Stück von
408. 13:30einem Wort. Bonsai passt tatsächlich in
409. 13:32alle drei Rechner, also können wir es da
410. 13:34direkt testen. Der Gaming-PC, wie wir
411. 13:35hier sehen, schreibt mit Bonsai 79 Token
412. 13:38pro Sekunde. Die PGX schafft 36 und der
413. 13:41Mac Mini macht 15. Gaming-PC RTX 5070
414. 13:44Ti. Die Grafikkarte ist also fünfmal so
415. 13:47schnell wie der Mac Mini. Ja, und woran
416. 13:49liegt das? Und das liegt daran, dass der
417. 13:50ganze Rechner jedes Mal für jedes Token,
418. 13:53praktisch für jedes Wort, einmal
419. 13:55komplett durch die gesamte Datei muss.
420. 13:57Das sehen wir dann hier jetzt noch mal
421. 13:58genau. Je kleiner die Datei, desto
422. 14:00schneller ist der Prozess. Auf der PGX
423. 14:02ist Bonsai rund dreimal kleiner als die
424. 14:04Q4-Variante und es läuft dann auch rund
425. 14:06dreimal so schnell. Meine Grafikkarte
426. 14:08kann den eigenen Speicher dreimal so
427. 14:11schnell lesen wie die PGX und Mac Mini.
428. 14:14Wie viel genau, das hängt dann natürlich
429. 14:15noch mal von der Grafikkarte ab. Das ist
430. 14:17dann die Speicherbandbreite und die ist
431. 14:19bei richtigen Grafikkarten, also z.B.
432. 14:21der RTX 50er Reihe eben, in der Regel
433. 14:23immer schneller als bei einem normalen
434. 14:26Arbeitsspeicher, von dem der Mac Mini
435. 14:28und der PGX eben leben. Das gilt dann
436. 14:30aber auch nur solange die Datei in die
437. 14:32ganze Karte passt und das ist eben der
438. 14:33Haken. Nur auf dem Mac Mini bringt eine
439. 14:36kleinere GGUF-Datei z.B. kaum was, da
440. 14:38liegen Q2 und Q4 alle zwischen 10 und 12
441. 14:41Token pro Sekunde. Dazu gleich auch noch
442. 14:43mal mehr. Die PGX hat dafür was, was die
443. 14:46Grafikkarte nicht hat und zwar ganz viel
444. 14:48Platz. Das Original läuft nämlich z.B.
445. 14:51nur auf der PGX und für ein Sonnensystem
446. 14:53braucht es dann ca. 10 Minuten. Auf dem
447. 14:55Mac Mini hingegen haben wir ein ganz
448. 14:57eigenes Framework, das nennt sich dann
449. 14:58MLX und das seht ihr jetzt hier. MLX in
450. 15:014 Bit schafft auf dem Mac Mini 14 Token
451. 15:03pro Sekunde. Die vergleichbare Q4 nur
452. 15:0610,1. Das heißt, passt die Datei in der
453. 15:09Grafikkarte, gewinnt in der Regel immer
454. 15:11die Grafikkarte. Alles Größere braucht
455. 15:13aber mehr Speicher und das schaffen die
456. 15:15meisten Grafikkarten eben nicht mehr.
457. 15:17Und genau daran scheitert dann halt auf
458. 15:18einer 16 GB Karte genau der bequemste
459. 15:21Befehl, den es praktisch gibt für das
460. 15:22Ganze. Auf der Seite von Ollama steht,
461. 15:25dahinter steckt eine Q4-Datei mit 18
462. 15:28Gigabyte und die passt auf eine Karte
463. 15:30mit 16 Gigabyte halt nicht drauf. Das
464. 15:32seht ihr jetzt hier und Ollama lädt den
465. 15:34Rest dann einfach in den normalen
466. 15:35Arbeitsspeicher und der ist viel
467. 15:37langsamer und das verschlechtert das
468. 15:39gesamte Ergebnis. Wie viel langsamer
469. 15:41habe ich jetzt mal auf dem Rechner mit
470. 15:42der RTX 5070 Ti genau gemessen. Hier
471. 15:45sehen wir jetzt, der Ollama Standard
472. 15:47kommt auf 19 Token pro Sekunde, die Q4
473. 15:50mit 14 Gigabyte passt natürlich komplett
474. 15:53in die Karte, ist nur 2 Gigabyte kleiner
475. 15:55und schafft direkt 49 Token pro Sekunde,
476. 15:57also 30 Token die Sekunde schneller. Das
477. 16:00Sonnensystem war mit der IQ4 nach 58
478. 16:03Sekunden fertig, mit dem Ollama Standard
479. 16:06erst nach fast 3 Minuten. Das heißt, der
480. 16:08bequemste Befehl, um das wirklich so
481. 16:10einfach wie möglich zu machen, nämlich
482. 16:11über Ollama, ist in der Regel auf so
483. 16:13einer 16 Gigabyte Karte dreimal so
484. 16:15langsam wie eine Datei, die komplett in
485. 16:18die Karte reinpasst.
486. 16:20muss man bei Ollama und so weiter auch
487. 16:21immer genau gucken, welches Model man
488. 16:24sich da herunterlädt. Auf der PGX zum
489. 16:25Beispiel, da passt dann natürlich die
490. 16:27gesamte Datei rein und da ist Ollama die
491. 16:29schnellste Q4 mit 33,7 Token pro
492. 16:32Sekunde. Die Q4 von Anslough, die
493. 16:34schafft dort dann nur 12 TPS und auf dem
494. 16:37Mac Mini lädt Ollama ohne die eigene
495. 16:39Apple-Fassung, die war dann dort mit
496. 16:4130,4 am schnellsten. Hätten wir hier
497. 16:43jetzt MLX benutzt, wäre es natürlich
498. 16:44noch besser geworden. Das heißt, auf 16
499. 16:46Gigabyte nehmt ihr eine Datei, die ganz
500. 16:48reinpasst und wo Ollama passt, ist auch
501. 16:51richtig schnell. Und damit zur dritten
502. 16:52Frage, wie stellen wir so ein Model denn
503. 16:54überhaupt richtig ein? Qwen 3.8 hat eine
504. 16:57Denkstufe, wie nahezu jedes LLM, was wir
505. 16:59nutzen, also eine Einstellung, wie lange
506. 17:01es nachdenkt, bevor es antwortet. Und es
507. 17:03gibt drei Stufen, niedrig, mittel und
508. 17:05sehr hoch und meine Tests sind alle auf
509. 17:07mittel gelaufen. [schnauben]
510. 17:08Auf der Modellseite von Qwen 3.8 27B
511. 17:11steht aber, dass der Standardmodus eben
512. 17:14auf der höchsten Stufe liegt. Und genau
513. 17:16die bekommt ihr dann auch, wenn ihr
514. 17:18praktisch einfach das Model mit z.B.
515. 17:20Lama CPP startet. Wie viel das ausmacht,
516. 17:22das habe ich genau gemessen, das zeige
517. 17:23ich euch jetzt hier mit der Q4 Variante
518. 17:26auf der PGX. Mit der Werkseinstellung
519. 17:28hat die für das Sonnensystem insgesamt
520. 17:3042 Minuten gebraucht. Mit der niedrigen
521. 17:33Stufe waren es dann nur noch 4 Minuten.
522. 17:35Und das Ergebnis war auch beide Male
523. 17:37komplett dasselbe, 6 von 6 Punkten.
524. 17:40Neunmal so lange für das genau gleiche
525. 17:43Sonnensystem. Für Alltagsaufgaben stellt
526. 17:45ihr das Model am Anfang nämlich am
527. 17:46besten immer auf niedrig. Kwen schreibt
528. 17:49allerdings auch selbst dazu, dass es bei
529. 17:50langen Agentenaufgaben dann nicht immer
530. 17:52unbedingt schneller ist. Bei Lama CPP
531. 17:55z.B. da gebt ihr einfach für die
532. 17:56niedrige Stufe das Reasoning Effort auf
533. 17:59Low mit. Und das Beispiel kommt dann
534. 18:01direkt in die Beschreibung. Die zweite
535. 18:02Einstellung, die macht das Model jetzt
536. 18:03nicht schlechter, sondern einfach nur
537. 18:05schneller. Kwen 3.8 hat nämlich so eine
538. 18:07eingebaute Vorhersage, die red praktisch
539. 18:09schon so ein paar Token voraus. Das
540. 18:11Model prüft dann alle auf einmal. Und
541. 18:13was nicht passt, wird einfach sofort
542. 18:15verworfen. Hier sehen wir jetzt auf der
543. 18:16RTX 5070 TI schafft die IQ4 Variante
544. 18:19128,5 Token pro Sekunde statt 50. Also
545. 18:23fast dreimal so schnell. Das komplette
546. 18:25Sonnensystem dann in nur 20 Sekunden auf
547. 18:27einer ganz normalen Gaming-Grafikkarte.
548. 18:30Auf der PGX wird's auch schneller. Die
549. 18:31IQ4 von 11,9 Token pro Sekunde auf 36,4,
550. 18:35also auch über dreimal so schnell. Und
551. 18:38genau diesen Schalter legt Ollama von
552. 18:40sich aus um. Und das steht sogar auf der
553. 18:42Seite von Ollama. Und deswegen war auch
554. 18:44Ollama PGX vorhin so schnell. Bei Lama
555. 18:46CPP ist das ein einziger Schalter beim
556. 18:48Start. Den Befehl findet ihr alles auch
557. 18:50in der Videobeschreibung, da ist alles
558. 18:52erklärt. Das heißt, Denkstufe runter,
559. 18:54Vorhersage an und dann bringt das mehr
560. 18:56als jede Entscheidung zwischen
561. 18:58verschiedenen Modellvarianten. Und jetzt
562. 18:59setzen wir mal wirklich alles komplett
563. 19:01ausführlich zusammen, sortiert nach
564. 19:03eurer Hardware. Gemessen habe ich, wie
565. 19:05gesagt, auf meiner 5070 TI, meinem Mac
566. 19:08Mini und dem PGX. Damit ich das Ganze
567. 19:10aber noch mal ausführlicher bestätigen
568. 19:12kann, habe ich das Ganze noch mal auf
569. 19:13fünf weiteren Grafikkarten getestet. Die
570. 19:16habe ich mir in der Cloud gemietet und
571. 19:17dort Tempo, Sonnensystem und das
572. 19:19Logikrätsel noch mal nachbauen lassen.
573. 19:22Die laufen dann dort auch theoretisch
574. 19:23ohne Bildschirm unter Windows mit
575. 19:25Monitor habt ihr dann noch mal ein
576. 19:26Gigabyte Grafikspeicher weniger
577. 19:28ungefähr. Das heißt, theoretisch haben
578. 19:29diese Cloud-Grafikkarten einen
579. 19:31klitzekleinen Vorteil. Der macht hier
580. 19:32aber keinen großen Unterschied. Und für
581. 19:34die ganzen anderen Macs, es hat ja nicht
582. 19:36jeder den M4 Mac Mini, jemand hat einen
583. 19:37M5, einen M6, einen M2, einen M3
584. 19:40whatever. Dafür habe ich mir auch ganz,
585. 19:41ganz viele Informationen geholt und
586. 19:43jetzt hier ungefähre Daten abgeben zu
587. 19:45können. Jetzt gehen wir mal drüber mit 8
588. 19:48Gigabyte. Wie bei einer RTX 4060 zum
589. 19:50Beispiel passt von unseren Dateien nur
590. 19:53Bonsai 2 Gangs rein. Das sind dann 36
591. 19:55Token pro Sekunde. Und selbst Bonsai nur
592. 19:58mit halbem Kontext, also weniger
593. 20:00Speicher fürs Gespräch. Beim vollen
594. 20:02fehlen dann für die Karte ungefähr so
595. 20:04200 Megabyte. Das ist halt, ja, ein
596. 20:06klitzekleines Bottleneck. Der Ollama
597. 20:07Standard war nach über zwei Stunden noch
598. 20:09nicht mit dem Sonnensystem fertig. Mit
599. 20:1112 Gigabyte, wie einer RTX 5070, nehmt
600. 20:14ihr dann die Anslöv Q2 Variante mit 38
601. 20:18Token pro Sekunde. Die IQ3 Quantisierung
602. 20:20mit knapp 12 Gigabyte passt mit Kontext
603. 20:23dort schon nicht mehr ganz rein, kommt
604. 20:25nur auf 12. Mit 16 Gigabyte, also mit
605. 20:27einer größeren Grafikkarte, nehmt ihr
606. 20:29die Anslöv IQ4 Quantisierung auf meiner
607. 20:325070 Ti fast 50 Token pro Sekunde und
608. 20:35mit Vorhersage an sogar 130. Auf einer
609. 20:38günstigen RTX 50 60 Ti sind es dann 26
610. 20:42und mit Vorhersage 53 Token. Der Ollama
611. 20:44Standard schafft dort dann nur vier. Ab
612. 20:4624 Gigabyte, etwa mit einer RTX 4090 zum
613. 20:49Beispiel, passt die Anslöv Q4 dann ganz
614. 20:51rein mit 46 und mit Vorhersage sogar 130
615. 20:54Token die Sekunde. Hier passt dann auch
616. 20:56der Ollama Standard theoretisch komplett
617. 20:58rein. Der schaltet die Vorhersage von
618. 21:00selbst ein und schafft sogar 124 Token,
619. 21:03ohne dass ihr was einstellen müsst. Und
620. 21:05wenn ihr eine richtig krasse Grafikkarte
621. 21:06habt, wie die 5090 mit 32 GB VRAM, nehmt
622. 21:09ihr die Q8, das ist praktisch die nächst
623. 21:12kleinere Stufe, die ist 99 % dran am
624. 21:14Original. Die hat dann 52 Token pro
625. 21:17Sekunde und mit Vorhersage sogar 150
626. 21:20TPS. Mit Vorhersage ist die Q8 dann
627. 21:23sogar genauso schnell wie die Q4, also
628. 21:25wie die nächst kleinere Stufe, 150 gegen
629. 21:27praktisch 150 Token pro Sekunde. Das
630. 21:29heißt, ihr nehmt im besten Fall immer
631. 21:31die größte Datei, die in eure
632. 21:32Grafikkarte passt und aktiviert die
633. 21:34Vorhersage. Auf dem Mac Mini sieht das
634. 21:36schon ein bisschen anders aus. Da ist
635. 21:38ausgerechnet der Ollama Standard sogar
636. 21:40am schnellsten. Auf meinem Mac Mini mit
637. 21:4148 GB RAM hat Ollama 30 TPS geschafft.
638. 21:45Die beste GGUF Datei mit Vorhersage nur
639. 21:4918. Ollama nutzt auf dem Mac nämlich
640. 21:51MLX, das ist das eigene Framework von
641. 21:53Apple genau für sowas und schaltet halt
642. 21:55dort die Vorhersage dann von selbst ein
643. 21:57und dadurch wird es halt viel besser.
644. 21:58Mit 24 GB z.B. wird es auf dem Mac
645. 22:00ziemlich eng. Eine 4-Bit Datei passt nur
646. 22:02knapp und je nach Chip sind dann nur
647. 22:04noch 6 16 Token pro Sekunde drin. Mit 16
648. 22:07GB bleiben auf dem Mac eigentlich nur
649. 22:08Bonsai oder eine 2-Bit Datei. Und ein M4
650. 22:11Max dürfte nach meiner Rechnung sogar
651. 22:13eineinhalb Mal so schnell sein wie mein
652. 22:15Mac Mini und das ist ja nur der
653. 22:16Prozessor, der sich dann ändert. Das
654. 22:18heißt, im besten Fall nehmt ihr für den
655. 22:19Mac Mini einfach Ollama, achtet drauf,
656. 22:21unbedingt MLX zu aktivieren, wenn ihr
657. 22:23genug Arbeitsspeicher habt. Und auf so
658. 22:24einem KI-Rechner, wie ich ihn hier
659. 22:25stehen habe, mit so einer PGX mit 128 GB
660. 22:28RAM, nehmt ihr die Q8, die liegt mit ja
661. 22:3098,1 % um genau zu sein, praktisch beim
662. 22:33Original. Mit Vorhersage geschafft die
663. 22:3525 Token pro Sekunde mit dem riesen
664. 22:37Ding. Das Sonnensystem war damit mit 2
665. 22:39Minuten schon direkt fertig. Das heißt,
666. 22:41viel Speicher heißt sehr nah am Original
667. 22:44und mit Vorhersagen kriegt ihr das Ding
668. 22:45trotzdem relativ flott. Ja, mein Fazit
669. 22:47nach über 600 Läufen mit acht
670. 22:49verschiedenen Fassungen ist eigentlich
671. 22:51ganz einfach. Die beste Fassung ist
672. 22:53eigentlich immer die größte Datei, die
673. 22:55in eure Grafikkarte bzw. in euren
674. 22:57Speicher passt. Dazu packt ihr die
675. 22:59Denkstufe dann richtig niedrig, low,
676. 23:02maximal mittel, hoch ist einfach zu
677. 23:04intensiv und aktiviert die Vorhersagen.
678. 23:07Und auf dem Mac nehmt ihr Ollama immer
679. 23:09mit MLX. Welche Fassung nutzt ihr gerade
680. 23:12von Qwen 3.8 mit 27 Milliarden
681. 23:14Parametern? Benutzt ihr es überhaupt?
682. 23:16Habt ihr spezielle Finetunes? Benutzt
683. 23:17ihr es vielleicht sogar mit Stratos oder
684. 23:19ähnlichem? Schreibt es unbedingt in die
685. 23:20Kommentare. Ich lese mir das alles
686. 23:22durch. Schreibt bitte eure Erfahrungen
687. 23:23rein. Vielleicht habt ihr auch ein paar
688. 23:24Tipps für andere, die ähnliche Hardware
689. 23:26wie ihr habt. Schreibt gerne genau eure
690. 23:28Hardware rein, eure Grafikkarte, auch
691. 23:30die AMD Grafikkarten, die habe ich jetzt
692. 23:31gar nicht berücksichtigt, und gebt gerne
693. 23:33eure Messwerte und eure empfohlenen
694. 23:35Models jeweils dafür ab. Ich hoffe, das
695. 23:37Video hat euch gefallen. Lasst gerne
696. 23:38Like, Hype, Kommentar und Abo da und ich
697. 23:40freue mich auf euch im nächsten Video.