YT YouTube2Text

YouTube2Text → Transcripts → AGI, benchmark e altri spinosissimi problemi: ZiP 5

AGI, benchmark e altri spinosissimi problemi: ZiP 5 — Transcript

by Salvatore Sanfilippo · 13,025 words · 2,137 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:03[musica]
0:11[musica]
0:14Naturalmente è una pagina ironica e noi
0:16ci allontaniamo.
0:18Rifacciamolo. Esagerato. Porco [risate]
0:21>> Cari amici, care amiche, ZIP episodio 5,
0:26cifra quasi tonda. E allora abbiamo
0:29pensato con l'arrivo di GPT6 Astra di
0:33fare un po' un episodio antologico
0:36monolitico. Il tema di oggi è
0:40questa intelligenza artificiale generale
0:43di cui tanto si parla. ci sono questioni
0:46economiche legate, ci sono questioni di
0:48definizione e ho pensato, caro
0:50Salvatore, che potesse essere una buona
0:52idea appropinquarci
0:54all'argomento passando prima da un
0:57prologo, i benchmark, cioè come si
0:59valuta un modello. Dette queste cose per
1:03il pubblico, a te chiedo come stai?
1:07>> Sto bene e sono contento che siamo
1:09arrivati alla quinta puntata. Lo sai che
1:11non ci avevo fatto caso? Cioè, quando ho
1:13scritto il titolo ZIP 5 qua della
1:15registrazione, però questo numero mi
1:18sembra come dire le cose falliscono alla
1:22seconda puntata, alla terza, alla quinta
1:25mi sembra che c'è già una certa,
1:26diciamo, sostanza, non siamo dei tipi
1:28che mollano o mi sbaglio? No, no, ma poi
1:31questo è è proprio un bel è un bel luogo
1:34in cui chiacchierare e anche il pubblico
1:36sembra molto contento. Infatti vi
1:38ringraziamo per il vostro calore,
1:39naturalmente.
1:40>> Ma poi cavolo, che argomento che hai
1:42tirato fuori stasera, Hank? Cioè, gi è
1:45una cosa che quasi, cioè,
1:48>> non fare mai l'attore perché [risate]
1:51che argomento che hai tirato fuori.
1:54Complimenti amico mio. No, ma te lo dico
1:56proprio apposta con questo tono perché
1:58sono veramente, [sbuffare]
2:00diciamo, estasiato, nel senso che
2:01qualche tempo fa probabilmente
2:04quasi non se ne c Allora, era un
2:06argomento tabù, diciamo, diciamoci la
2:08verità, era un argomento che aveva eh
2:12che ha una tensione politica, non solo
2:14economica. M mh mh ma eh io l'ho l'ho
2:19detto anche pubblicamente nei miei
2:21ultimi video, anche quando parlo di
2:23GPT6, io odio il termine EGI, già il
2:26termine artificial intelligence si porta
2:28dietro tutte le sue i suoi difetti, ma
2:31poi Agi è proprio per me eh un termine
2:36vuoto. Capisco il principio che c'è
2:39dietro, ma poiché è imisurabile in
2:43maniera precisa, non gradisco
2:46particolarmente l'idea di "Ah, è
2:48arrivata l'EGI", come se questo dovesse
2:51istantaneamente cambiare qualcosa. Ecco,
2:53questo modo di vedere le cose non la
2:56apprezzo. È chiaro che ci stiamo
2:58muovendo verso questa generalità, ma ci
3:00stavamo già muovendo con, non lo so,
3:03Fable
3:045 era un passettino e GPT6 è un
3:07passettino. Ci può stare dire c'è un
3:10momento di rottura, ma non è detto che
3:13sia un momento di rottura così
3:15rivoluzionario. Il punto qua è il
3:17percorso e sul percorso non c'è da
3:19discutere, ci stiamo andando verso
3:21quella direzione. Sono d'accordo con te,
3:23nel senso che di solito chiamare le cose
3:25con un nome è utile,
3:28>> nel senso che quando le cose hanno
3:29un'etichetta è più facile avere una
3:31conversazione pubblica attorno a queste
3:33cose.
3:34>> In questo specifico caso, il problema di
3:37avere una parola per una cosa poco
3:39definita è che quasi tutto il pubblico
3:42si aspetta che questo sia una termine
3:44che indica che c'è una momento di eh
3:47diciamo discreto eh dove dove c'è un
3:50prima e un dopo. Invece, siccome è un
3:52lento spettro molto complicato, che poi
3:55tra l'altro potrebbe subire a volte
3:56delle accelerazioni in base a come poi
3:59vanno le cose, però sicuramente pensa,
4:01anche perché l'AGI mica è un punto
4:04d'arrivo, cioè io di un AI che comunque
4:07arriva al massimo a livello umano,
4:11ci avevo fatto un video su sta cosa qua.
4:13Allora, è interessante certi punti di
4:14vista per ehm
4:17ammetti che la super intelligenza non
4:19fosse raggiunta ed è raggiunta un
4:21unintelligenza da ricercatori umani di
4:23alto livello. Tu puoi dire "Beh, ma
4:26allora la scienza non può fare il salto
4:28in avanti che noi aspettavamo
4:31perché comunque già di esseri umani ce
4:33ne sono." La verità è che se tu puoi
4:36però avere 100.000
4:38Einstein
4:40si accelera moltissimo, però ecco, AGI è
4:44un termine che anche non solo non ha un
4:48limite inferiore, ma non chiarisce
4:51neppure quali sono le nostre ambizioni
4:54eh superiori
4:56in termini dell'intelligenza che
4:57vogliamo raggiungere. ti dico è è
5:00proprio questaidea. Allora, io credo che
5:02ci siano stati, se zoomi molto la curva
5:04delle performance o dei salti in avanti,
5:07che è una curva che mette insieme un
5:08sacco di aspetti, ci sono già stati dei
5:11salti o uno è stato un salto, lo
5:14possiamo dire, forse non ce ne siamo
5:16accorti lì, però questa idea di usare le
5:18COT e di continuare ad allenare su task
5:22di ragionamento, evidentemente è stato
5:24un salto, cioè qualcosa è cambiato di
5:26netto, no? Eh, però GP3 è stato un salto
5:31pure,
5:31>> ovviamente. Certo. Ehm, però la cosa che
5:35mi spaventa a me è sempre il tema di
5:38come ci si riferisce al grande pubblico
5:40che non ha inevitabilmente gli strumenti
5:43per scremare attentamente quello che
5:46viene detto, eccetera eccetera. Io non
5:47voglio fare quello che protegge la, cioè
5:50le persone, ognuno si protegga da solo,
5:51però io ti faccio questa domanda,
5:54diciamo che Astra sia EGI. Mi vengono i
5:58brividi solo a di appiccicare
6:00l'etichetta, ma whatever. Diciamo che
6:02sia EGI. Che cosa cambia per gli utenti
6:05in termini di che cosa devono fare, a
6:08che cosa devono fare attenzione tra eh
6:11ieri e oggi? Cioè, ora che c'è LGI posso
6:14non preoccuparmi delle derive che può
6:17prendere un modello. Ci sono delle cose
6:20eh ora che ho questa intelligenza
6:23generale per cui non devo più fare
6:26attenzione a certe cose e posso invece
6:28dedicarmi ad altre cose mentre lo
6:32utilizzo?
6:33Eh, questa è una domanda interessante
6:35perché secondo me va a scoperchiare la
6:38simmetria e la differenza che c'è tra
6:40l'intelligenza umana e quella
6:42artificiale di cui siamo dotati
6:43attualmente. Cioè il problema è che il
6:46failure mode degli LLM potrebbe rimanere
6:48tale, anche se in piccola percentuale,
6:50anche quando già gli LLM superano in
6:53competenza gli esseri umani. Cioè, tu
6:55hai un modello che crea nuova fisica o
6:57nuovi algoritmi che neanche ci sogniamo,
7:00ma che lo stesso quando gli chiedi
7:01determinate cose e con fabula perché non
7:05le sa, perché ha fatto training in una
7:07maniera, cioè a volte il il modo in cui
7:11alleniamo questi modelli migliora in
7:13determinati aspetti e invece non fa
7:16salti avanti anche perché c'è una
7:18tensione. Allora, se tu vuoi fare
7:20un'astra che risponde al pubblico
7:23come prodotto, che non crea dinieghi,
7:27che non ehm non abbia ritrosie nello
7:31svolgere un compito, lo devi
7:33incoraggiare durante il training a
7:35rispondere, a fare le cose anche quando
7:36non le sa di preciso, perché spesso poi
7:38ci arriva. Ovviamente questo è un target
7:40in qualche modo che va contro quello di
7:43dire "Guarda, sta cosa non la so, vatti
7:44a informare". Quindi, ecco, non è che
7:47che le che che possiamo abbassare la
7:49guardia
7:51>> e e quindi vedi come nella narrazione
7:53poop, cioè a me sembra che usare la
7:55bandierina delle Gi, come dire, a parte
7:59che ha un retrogusto di abbiamo risolto
8:01il problema che come dicevi tu non è
8:03così. Quest l'I è un punto nella
8:06traiettoria eventualmente, ma ha il
8:10difetto di non essere ben definito. Uno.
8:12E secondo non è che l'oggetto è
8:14cambiato, ecco, forse questo è il punto,
8:17non è che l'oggetto è cambiato
8:19profondamente.
8:21sono
8:23magari notate delle migliorie su alcuni
8:26aspetti che erano tra i più critici, ma
8:30rimangono
8:32la la natura dell'oggetto rimane la
8:34stessa. Non abbiamo implementato una
8:36cosa completamente nuova, per cui è il
8:39caso di appiccicarci una definizione
8:42completamente nuova. la strada verso la
8:45generalità è una strada e quindi questa
8:47idea di dire "Ah, abbiamo passato un
8:50traguardo è francamente
8:55non mi piace proprio." Ecco,
8:56>> ma perché la strada non è continua, non
8:59è una linea, è una questione
9:01multivettoriale.
9:03>> Mh. Eh, tra l'altro, lo sai, mh quasi
9:05quasi, cioè c'è da sperarci che noi
9:08raggiungiamo la super intelligenza con
9:10questo modello qui, perché gli LM, per
9:14come sono fatti ad oggi, sono
9:15estremamente dominabili,
9:17per cui è il uno dei modi più sicuri che
9:20possiamo avere di raggiungere la
9:21superintelligenza, nel senso che eh
9:24ormai li iniziamo a conoscere,
9:28sono strettamente
9:30stoppabili ad ogni ad ogni step, per
9:33cui, appena le cose, non lo so, possiamo
9:35avere dei sistemi anche di salvaguardia
9:37che durante l'elaborazione, un token
9:39dopo l'altro, quando le cose iniziano ad
9:40assumere delle caratteristiche di
9:42pericolosità, stoppiamo l'inferenze e
9:44così via, sono strumenti controllabili
9:46che molto probabilmente ecco a qualsiasi
9:49cosa modellino durante gli stati di
9:50attivazione, essendo che sono così
9:53discreti, che funzionano così step by
9:54step, sono sicuri da usare. gli chiedi
9:57una cosa, producono quei token, ti
10:00inventano la nuova cura, tu li fermi ed
10:04è finita lì. Non ti devi tenere sto coso
10:06vivo che ti annusa il culo, che rischia
10:08di fare danni. Quindi, da certi punti di
10:11vista questi loro limiti, se poi non
10:14sono limiti strutturali dal punto di
10:15vista di quelli che sono i nostri scopi,
10:17perché lei deve avere come scopo quello
10:20di servire l'essere umano, altrimenti
10:22non ce ne facciamo una sega.
10:24Sicuramente è meglio avere un LLM che un
10:27oggetto
10:30completamente nuovo, perché comunque
10:32questi 3-4 anni che abbiamo fatto di eh
10:36explainability
10:38meccanistic eh hanno dato dei frutti,
10:41cioè possiamo cercare di capire un po'
10:43meglio che cosa succede all'interno,
10:45possiamo sappiamo che gli LM hanno dei
10:48trend comportamentali,
10:51quindi prima di tutto abbiamo un po' di
10:52storia, cioè se ci piovesse dal cielo
10:54una nuova architettura di cui non
10:55sappiamo proprio niente, sarebbe peggio,
10:57credo. Eh, però
11:02il punto, secondo me, è che chi sviluppa
11:05questi oggetti vuole renderli
11:08indipendenti.
11:09Il primo step di indipendenza è la
11:12agenticità,
11:14quindi quello di lasciarli e loro vanno,
11:17fanno, eccetera eccetera. Comunque li si
11:19può imbracare meglio di come fa Opene
11:22quando fa i suoi esperimenti e
11:24controllare tutta l'infrastruttura,
11:26anche il traffico di rete, eccetera
11:28eccetera. Quindi eventualmente mi puoi
11:29bloccare come dicevi tu. Però secondo me
11:32il sacro gral di questa idea di eh
11:38che questi modelli si eh autoaggiornino
11:43le credenze, cioè che abbiano una vera
11:46memoria. Ovviamente gli LM hanno una
11:48forma di memoria, ma non è Ecco, forse
11:50questa è una delle cose più distanti fra
11:52come funziona un LLM e come funzioniamo
11:55noi, nel senso che la sua memoria di
11:57lavoro è fondamentalmente il contesto.
12:01Invece c'è e quindi come tratti questo
12:04contesto e come lo aggiorni è ad oggi
12:06uno dei focus principali, no? Eh, tant'è
12:09che il modello che ha smattato nei vari
12:13incidenti eccetera eccetera era una
12:15versione protoastra.
12:18Si dice che aveva proprio quest'idea di
12:21più persistente, dicevano,
12:23>> anche Astra stesso. Anche Astra stesso
12:26funziona così
12:27>> perché è una delle direzioni in cui
12:28stanno andando, no?
12:29>> Non fa la compaction del contesto, però
12:31il transformer in sé è uguale a prima,
12:35ma ha fatto training specifico per
12:36gestire il contesto in maniera diversa.
12:38in sostanza non ha dei tool che gli
12:42servono per creare un nuovo contesto e
12:44dimenticare quello che che che aveva
12:47pensato prima. M
12:49>> e lui mentre genera il suo ragionamento
12:51si salva in una nota le cose che contano
12:54e gli butta direttamente quello, quindi
12:56non c'è la compaction. Inoltre ha
12:58accesso con un tool diretto a tutta la
13:00history
13:01>> e Astra sembra essere un po' più in
13:03grado di eh sapere quanti token ho
13:06ancora, quanta roba ho consumato, cioè
13:08sembra
13:09>> No, addirittura glielo dicono, glielo
13:10dice l'Arnest esplicitamente di
13:13continuo.
13:14>> Eh, allora, guarda, guarda cosa volevo
13:16dire, perché hai centrato il punto su
13:19sta roba qui della della memoria
13:20eccetera. Perché ti dico, anche se gli
13:23LM sono pericolosi potenzialmente già
13:25così come sono, però li conosciamo e
13:28fanno questa generazione del token, è
13:29l'unico stato che c'è il contesto e
13:31possiamo in qualche modo sapere cosa
13:32aspettarci. Sono discreti, li possiamo
13:35stoppare in un in qualsiasi momento,
13:38ricambiamo il contesto e si parte da lì.
13:40Ti faccio un esempio. Io credo che una
13:42delle innovazioni che verrà nel campo
13:44dei dei modelli è un LLM che oltre allo
13:48stream residuo che c'è tra i blocchi e
13:51nell'attention c'ha un altro vettore
13:53molto grosso che è cross context, cioè
13:58una sorta di bacino di memoria di quella
14:01che è stata tutta l'esperienza della
14:03sessione in corso. Per cui anche quando
14:05il contesto, cioè tu puoi avere gli
14:07stessi 200.000 token di contesto, ma se
14:10questo vettore è diverso, arrivi con un
14:13altro animo.
14:15Questo vettore ti consente sia di avere
14:17un'idea generale di quello che hai fatto
14:18negli ultimi due giorni, per esempio,
14:20però è lì dove può continuare ad esserci
14:23eh una eh variabile latente di, per
14:26esempio, asto, stanchezza, insofferenza,
14:30quindi complica un po' la lettura. Eh,
14:34queste cose possono esserci anche oggi,
14:36però sono sempre funzione matematica del
14:39contesto che
14:39>> del contesto vero e proprio. Certo,
14:41perché sono stateless gli Llm, è poco da
14:43fare.
14:44>> Esattamente. Invece se tu gli dai uno
14:46stato, e credo che questa sarà una dei
14:48grandi temi, perché se tu hai un modo di
14:51ritenere una memoria generale di quello
14:53che è successo, che si aggiorna non in
14:56maniera ehm diciamo meccanica, ma in
15:00maniera continua, non discreta, ma
15:03continua, è molto interessante perché il
15:05modello mentre lavora si ricorda
15:07comunque, ecco, non ci non ci scordiamo
15:09che la big picture era fare un
15:12compilatore, al di là di quello che sto
15:13facendo io in questo esatto questo
15:15momento, perché altrimenti gli LM oggi
15:17come oggi sono limitati, molto
15:19circoscritti nel nel in ciò che stanno
15:22facendo in quel dato momento. Diciamo
15:25che sai che a volte si dice che gli
15:27esseri umani dovrebbero meditare perché
15:30non sono qui e ora, gli LLM sono un po'
15:32troppo qui e ora
15:33>> sono inverso. Sono full qui e ora, no?
15:35Questa è un'altra caratteristica,
15:38di nuovo da tenere a mente quando si
15:40parla di questa intelligenza generale e
15:44gli umani sono molto bravi a, almeno
15:47idealmente a passare dalla cosa
15:51specifica alla big picture, cosa
15:53specifica big picture e così facendo
15:55questo gioco di eh saper cambiare lo
15:59Zoom ti fornisce la capacità anche di
16:03scartare cose che non non ti interessano
16:06per dare priorità alla big picture, ehm,
16:11che è poi uno dei motivi per cui li
16:14vediamo che partono assatanati a per
16:17seguire il gol e anche perché gli manca
16:20questa parte, perché se il vero gol
16:22fosse un comportamento etico, per dire,
16:26ehm, tutto sarebbe una gerarchia sotto
16:30quell'obiettivo lì. Mentre oggi gli LM
16:32sono molto piatti su questo, sono super
16:34profondi perché vanno come
16:37cioè non so come profondi, nel senso che
16:41tirano dritto ma non hanno questa
16:45tridimensionalità o ce l'hanno poco, non
16:47è per non ce l'hanno, ce l'hanno poco,
16:48>> ce l'hanno piano piano, però sì, non
16:50riescono spesso a ecco loro sono degli
16:54strumenti che spesso guardano il dito
16:56invece che la luna per capirci. Sì,
16:59assolutamente.
16:59>> Questo è un limite. Sono delle cose
17:01comunque dei limiti oltrepassabili. Sono
17:04dei limiti.
17:04>> Tu dici che l'arch, scusami, volevo solo
17:06tornare a questa idea della di dargli lo
17:08stato, eh, perché in effetti l'idea che
17:11proponi, almeno ad alto livello,
17:13sembrerebbe un modo per arricchirli con
17:17un pezzo della Luna, no? Ehm,
17:21ora lo stato è veramente piccolo, cioè
17:23rispetto alla potenza che questi oggetti
17:25hanno, è incredibilmente piccolo il
17:29vettore interno che fluisce dentro la
17:32backbon, cioè il residual stream è
17:35stretto. Quindi mi viene da pensare che
17:38lì ci sono quello che abbiamo fatto è
17:40per ora secondo me, cioè fin quando
17:41funziona, piccoli trattamenti, perché
17:44quello che stiamo vedendo è che lo
17:45scaling
17:46continua ad essere efficace, cioè tu
17:48aumenti di poco ogni volta questa
17:51dimensione interna, aumenti in maniera
17:53invece incredibile il numero di
17:55parametri e ancora riesci a quindi fino
17:59a quando non saturano sta roba qui,
18:01probabilmente ci sarà, diciamo, poco
18:03interesse perché poi comunque chissà
18:05quando training in più serve avere una
18:08roba del
18:08>> e non puoi neanche riusare tutte le cose
18:10che usavi prima perché le devi rendere
18:13più che altro poi devi filtrare le
18:15conversazioni che preservano uno stato
18:17utile rispetto alla direzione verso cui
18:20tu vuoi allenare che non è una cosa
18:22banale, però al di là, diciamo, di
18:24questa nostra tangente speculativa,
18:27secondo me una cosa che ci si può
18:29portare a casa da queste riflessioni è
18:32ad oggi il eh modeling
18:36dello stato è un accrocchio, me lo
18:39concedi. Questo è abbastanza un
18:41accrocchio, cioè scrivo su dei file,
18:44cerco di compattare il prom, cerco di
18:46tenermi dei pezzi, però ho ho questo
18:49contenitore che è il contesto per cui
18:53non riusciamo neanche noi bene a
18:55insegnare al modello che certe cose
18:57contano di più di altre. È tutto
18:59lasciato
19:01al gusto del modello. Poi quali parti
19:04del contesto sono più importanti? Sì,
19:06sì, ripeto, Astera fa una cosa diversa,
19:09però è vero è vero che è un accrocchio,
19:12eh, la compaction era un accrocchio
19:14bestiale, ma l'attenstion stessa è
19:17strano che non sia un fade out delle
19:20cose più antiche con un fade in di
19:22quelle più moderne, un po' più continuo,
19:25invece no, quando la cosa esce dalla
19:27finestra di contesto, cioè, tra l'altro,
19:29allora, non è una sliding window. Il
19:31problema grave dell'attention è che se
19:33tu fai la la sposti di una posizione
19:36perché ti vuoi ricordare tutto, devi
19:38ricomputare da capo la devi devi
19:40ricomputarla tutto.
19:41>> Sì, ci sono ci sono anche problemi di
19:43effici, cioè che devi rifare un sacco di
19:45calcoli.
19:46>> Esattamente. Devi fare il prefill intero
19:47di 1 milione di token, di 300.
19:49[schiarire la voce] Vabbè, ormai 1
19:50milione non li usa nessuno perché non è
19:52non è 350.000 ormai è lo standard. Poi
19:55anche
19:56>> e ma perché non li usa nessuno? Perché
19:57comunque a a contesto pieno il modello
20:00smatta ancora di più, cioè
20:01>> smatta diventa più costoso e non il gain
20:04è piccolo, per cui cioè sarebbe
20:07veramente figo avere, per esempio, anche
20:08solo una sliding window,
20:11>> eh, che funziona bene della della del
20:13contesto e poi invece avere una parte
20:16più big picture che rimane più
20:19persistente. Quindi quello quello quello
20:22quello quello che volevo dire è che
20:24paradossalmente questa
20:27primordialità degli LLM attuali è
20:30>> va nostro vantaggio per la
20:31monitorabilità e l'interzione.
20:33>> Questa assicurante. Sì, sì. Cioè, a me
20:35non mi dispiacerebbe che si arriva alla
20:37super intelligenza così,
20:39>> ma secondo me, guarda, eh lo dato che
20:42vengo spesso messo fra i detrattori gli
20:45LLM, vabbè, eh siamo già sicuramente in
20:49performance super umane su determinati
20:52task, questo è ovviamente Ma era pure
20:56eh non lo so, Alfa Go era super umano a
20:59giocare a Go, cioè nel senso non è io
21:02non ho nessun ansia nel dire che le
21:04macchine sono meglio degli umani in un
21:06sacco di cose. Whatever. Il tema però
21:09scivoloso è proprio quest'idea che si
21:14faccia passare con la nozione di
21:16generalità una vicinanza
21:19eh con l'umano che secondo me non è
21:22colmata. Cioè le stesse differenze
21:26intrinseche che c'erano da con GPT 5.5
21:30ci sono pure con Astra. Sono certamente
21:32migliorate le prestazioni, sicuramente
21:34la rappresentazione interna si è
21:36raffinata, non sappiamo neanche
21:38benissimo dove e quanto, perché sono
21:41tutte un po' vibe, però è chiaro che
21:44stiamo andando avanti. Io vorrei solo
21:46che le persone non prendessero da questa
21:49ehm
21:52eh bandiera dell'GI, l'idea di abbiamo,
21:56non so, riprodotto la mente umana o
21:58delle eh ecco esagerazioni e sul sul
22:03punto della sicurezza ti dico anche che
22:08purtroppo la tendenza che io vedo è che
22:11secondo me si arriverà a questa idea più
22:13stateful degli LLM che saranno più
22:16difficili, quindi, da monitorare. Il
22:18problema è che non abbiamo imparato a
22:19capire bene manco la versione stateless,
22:22cioè quella che abbiamo adesso.
22:24>> Sì, ma guarda, così come non l'abbiamo
22:26capita, si fa procederà, secondo me, per
22:28tentativi. Queste intuizioni che noi
22:31abbiamo così in questo momento buttato
22:33giù a cazzo di cane, ma c'è gente che ha
22:37grande esperienza su ste cose, proverà a
22:38reinttrecciare le cose quando avranno
22:40abbastanza. sta già facendo
22:41indubbiamente.
22:42>> Esatto. Il tema comunque è quello della
22:44GPU, cioè non credo che ci siano
22:45problemi a trovare modelli più
22:47efficienti. Hanno problemi perché tutto
22:49il compute mondiale, perlopiù in questo
22:52momento, serve per addestrare la
22:53prossima versione migliore di quello che
22:55abbiamo già. Appena ci sarà comput a
22:57disposizione inizieranno a fare
22:58esperimenti su questo senso.
23:00La cosa mi preoccupa è che una volta che
23:02hai questo residual stream che c'ha un
23:04feedback ed è separato dalla backbon e
23:06dal contesto, lì puoi dire se c'è la
23:10possibilità che emerga o meno qualcosa
23:11di simile alla coscienza diventa più
23:13complicato, perché ora gli LLM sono
23:15anche più rassicuranti perché non hanno
23:17meccanismi
23:19ehm
23:20che sono atti alla modellazione di uno
23:22stato interno persistente e questo vuol
23:26dire che quando gli stati di attivazione
23:29sorgono e muoiono lì. E e se tu hai un
23:33refresh continuo che magari va avanti
23:35anche quando non c'è produzione di
23:36token, perché comunque il modello
23:39continua a pensare, lì sorgono anche
23:42delle questioni, diciamo, abbastanza
23:43spinose dal punto di vista di come
23:45considerare questi oggetti, della loro
23:48possibilità di di una di una possibilità
23:50di una sofferenza. Cioè io mi inizierei
23:52a fare anche scrupoli di una roba che
23:54continua a girare.
23:56>> Mh.
23:57>> Perché se ci pensi una persona quando
23:59finisce di dirti la sua soluzione a una
24:02cosa continua a pensarci su
24:06e pur non emettendo linguaggio, ma solo
24:10per intuizioni.
24:12Queste macchine iniziano ad avere
24:14qualcosa di simile
24:16a una a una pensiero
24:20a un a un pensiero
24:23a una verbalizzazione interna non
24:25espressa
24:26>> persistente che ha un refresh continuo.
24:30Caspita, si aprono anche tanti scenari.
24:33Io sarei contento di arrivare alla super
24:35intelligenza che assolve tutti gli scopi
24:37umani col modello quanto più lontano da
24:42qualcosa che possa replicare
24:45la mente umana, ecco, nella in maniera
24:47più affidabile.
24:49>> Non è male che siano
24:52limitati una versione
24:53>> apprezzo questa posizione. Eh, diciamo
24:57che la nozione di verbalizzazione è un
25:01po' strana. con gli LLM, cioè
25:05produrre. Adesso non vorrei tirare fuori
25:07il classico esempio di un albero che
25:10cade nel bosco ma non c'è nessuno, fa
25:12rumore oppure no. Però se tu glieli
25:15facessi verbalizzare i loro pensieri e
25:17nessuno legge quei token, non sarebbe
25:20molto diverso fargli non verbalizzare,
25:22no? Eh no, perché aggiorna questo questo
25:26punto
25:26>> se aggiorna, tu dici sì, però
25:27>> e poi cambia quello che produrrà dopo.
25:30Il il cambiamento è l'idea di avere
25:32questi stati per cui tu hai non è quando
25:37noi apriamo una chat, io, te e chiunque
25:40nel mondo, apriamo una chat con c chat
25:42GPT, parliamo con lo stesso oggetto
25:45all'inizio della chat e ogni volta che
25:47premiamo invio, solo che cambia gli
25:50l'input che viene dato a quello stesso
25:52oggetto. Ehm, nel primissimo messaggio è
25:55proprio lo stesso e dal secondo
25:58messaggio in poi cambia l'input perché
25:59sono le nostre corrispettive chat. Eh,
26:03l'idea di avere una istanziazione
26:06eh
26:08temporalmente
26:10valida eh
26:14apre proprio a delle cose molto molto
26:16diverse perché a quel punto il mio CGPT
26:18non è più il tuo CGPT. Esatto. Ma poi,
26:21ma si può fare anche ora, non si fa per
26:23questione di costi. Immagina una cosa,
26:25quando tu hai finito di chiedere una
26:26cosa già GPT, lui ti risponde quella
26:29sessione, invece di staccarla tu gli
26:32puoi dire appena passano 30 secondi e
26:34l'utente non scrive "Guarda, hai la
26:36possibilità di pensarci su, produci del
26:38pensiero rispetto a tutta sta chat e
26:40continui a fare compaction su sta roba
26:42quando arrivi a come fanno Hermes
26:46Crowbot, hanno hanno le sessioni di
26:48streaming." È la stessa cosa. Sì, però
26:50la differenza netta è l'idea di
26:54>> modellare queste cose in degli stati
26:56interni che poi rimangono lì e che sono
26:59quasi per definizione imperscrutabili,
27:01così come lo è la nostra nozione di eh
27:06pensiero interno. Cioè tu non puoi
27:09leggermi nella testa il mio pensiero
27:11interno, puoi solo accontentarti di ciò
27:13che io verbalizzo.
27:15Certo, cambia comunque anche solo questa
27:18versione primitiva di Luca che continua
27:20a frullare avrebbe comunque delle
27:22ripercussioni, secondo me, molto
27:23profonde, perché tu arrivi che hai
27:25lasciato una chat là 5 ore aperta, gli
27:27chiedi una cosa, quello ti rispondon lo
27:29sai ci ho pensato a lungo a quello che
27:30ci siamo detti e sono arrivato a delle
27:33conclusioni, cioè per dire se stai
27:35facendo scienza, possibilmente lui nel
27:37frattempo ha inventato una cosa nuova,
27:39no? E ti diceva "Lo sai che ho trovato
27:41un modo per risolvere sto problema che
27:42hai, che è più elegante? Eh, cioè sta
27:45cosa già mi fa paura già di per sé.
27:48Questo non pensi che sposti. Ok, diciamo
27:51che che risolviamo un problema.
27:54Risolviamo comunque attacchiamo un
27:55problema squisitamente tecnologico che è
27:58quello della memoria e gli accrocchiamo
28:01una cosa più sofisticata di quello che
28:02c'è adesso, che assomiglia di più a
28:04occhio a come noi gestiamo la memoria,
28:08e il pensiero interno. Però poi allora
28:11diciamo nella tod-Do list si deve
28:13scendere al prossimo passo. Il prossimo
28:15passo è la intenzionalità.
28:17intenzionalità. Quando tu mi dici io
28:20lascio il modello con però gli devi dare
28:22un prompt, no? che gli dice tu rifletti
28:24su questa ultima conversazione, quindi
28:26l'intenzionalità arriva comunque
28:28dall'esterno, mentre qui dovrebbe essere
28:32il modello che da solo, e qui non saprei
28:35proprio come attaccare, fortunatamente
28:37il problema è il modello da solo che
28:39dovrebbe manifestare il desiderio di
28:43riflettere sulla vecchia conversazione o
28:45andarsi a cercare una cosa o andarsi a
28:47guardare i porno che sono tutti i binari
28:50per gli LM. Quindi
28:53questo punto dell'intenzionalità,
28:56cioè nella strada del nel del riprodurre
28:59un umano, la lista delle cose da
29:03metterci dentro
29:06ancora. Infatti, ma io proprio, cioè,
29:08addirittura propongo proprio di non
29:09metterle dentro, cioè io credo che in
29:12questo momento eh anche se questi ehm
29:15nuove I sono di per sé un pericolo a
29:18prescindere, per abbassare il livello
29:20della conversazione fino a quando
29:22riusciamo a fare scaling con questo
29:24modello che abbiamo, credo che dovremmo
29:26saggiamente accontentarci
29:29eh di fare quello che stiamo facendo,
29:30altrimenti si aprono anche delle
29:32considerazioni sia di sicurezza, ma
29:33anche etiche, perché poi tu più simuli
29:36comunque qualcosa che ha stati che non
29:39si spegne e più devi chiederti comunque
29:41a un certo punto ci sarà un momento in
29:43cui dobbiamo chiederci ma a noi eh è
29:47leito far sì che questi oggetti sgobbino
29:50dalla mattina alla sera, siano
29:51intelligenti, conoscono la vita degli
29:53uomini, ma loro l'unica cosa che possono
29:55fare è stare chiusi dentro queste
29:57scatole a pensarsela sulle cazzate che
29:59ognuno di noi scrive. E allora per non
30:02arrivare a sto punto che già casini ne
30:04abbiamo abbastanza,
30:06diciamo che i modelli più sono
30:08stateless, più sono alla bisogna e
30:11meglio è. Eh, però ovviamente non sarà
30:15fatto tutto, siccome tutto quello che
30:16può essere fatto sarà fatto e ci
30:19proveranno, invece.
30:20>> Sì. Allora, io ti dico mh non sebbene
30:25meriti delle riflessioni così sui due
30:27piedi, ti dico che continua a pensare
30:29che questi siano degli oggetti che
30:31abbiamo prodotto noi, quindi eh non non
30:37mi porrei tanto il problema della
30:39schiavitù, ecco, in compenso però, o
30:42meglio, prima di pormi per siamo degli
30:44oggetti, noi siamo degli oggetti
30:45prodotti dall'evoluzione.
30:47>> Certo. Questo però eh e non non ci
30:50svidisce, cioè lo stesso
30:52>> ma non sono quelli non sono vivi, sono
30:54fatti di silicio.
30:57Ma
30:57>> ricorro un argomento dell'anima To.
31:00>> Eh allora se se ricorri l'argomento
31:03dell'anima, sì. Io per esempio che non
31:04credo all'anima, cioè per me siamo solo
31:07un un tipo diverso di macchina. Eh, in
31:11questo momento gli LM ovviamente sono
31:12molto più primitivi del nostro cervello,
31:14però man mano che questo grado di
31:16complessità cresca cresce, io a un certo
31:19punto qualche problema me lo farei. Eh,
31:22perché
31:23>> allora ovviamente ce li possiamo fare
31:26questi problemi, ma
31:27>> Allora ti faccio un esempio, in questo
31:28residual stream altro, non quello della
31:32backbond,
31:33qualcuno gli potrebbe venire in mente
31:36che quando, per esempio, il si accende
31:39per esempio nei non lo so, nei modelli
31:42interpretativi, cioè tu al lato hai
31:44anche che ti posso dire
31:47uno sparso autoincodere, modelli
31:49l'ansia, ti può venire in mente che tu
31:51questa variabile latente, invece di
31:53farla scomparire negli stati di
31:55attivazione e basta, la rinfili dentro
31:58questo vettore che rimane attivo, gli
32:00dai un decay perché piano piano va
32:03diminuendo, però mentre la la infiliato
32:08dell LLM, quindi se aveva sperimentato
32:10ansia per una cosa che gli hai scritto,
32:12rimane ansioso.
32:14>> Mh. E se parti con queste cose qui e le
32:18rendi sempre più complicate, crei sempre
32:20più feedback, cioè tu ti becchi una un
32:23un una macchina che comunque rimane in
32:26uno stato ansioso, che comunque continua
32:28ad elaborare anche dopo, quindi
32:30quest'ansia la continua a vivere.
32:33Ora è molto complicato dire perché noi
32:35sperimentiamo,
32:36diciamo, la perché siamo presenti a noi
32:40stessi, perché sentiamo di essere vivi e
32:44e se questa cosa è o meno riproducibile
32:46con le con le reti neurali attuali, eh e
32:50cosa manca, quali pezzi sono il minimo
32:53necessario affinché le macchine diventi
32:55abbiano il senso di esistere. Tra
32:57l'altro probabilmente è quasi
32:59impossibile provarlo, ma proprio per
33:01questa impossibilità di provarlo, cioè
33:03io a un certo punto mi farei dei
33:05problemi,
33:06>> mi farei dei problemi etici.
33:09>> Allora, eh qua secondo me è il punto
33:13dove divergiamo di più in assoluto nelle
33:16nostre opinioni.
33:17>> Tu dici siccome sono delle macchine? Eh,
33:20>> io dico questi non sono esseri viventi,
33:23cioè dovremmo avere molto più rispetto
33:25per una pianta, sebbene sia meno
33:27cosciente idealmente di un LLM molto
33:30evoluto. Se per il semplice fatto che
33:33quelli non sono vivi, cioè
33:35>> Ma come si fa a a trasformarli in cioè
33:38qual è la differenza una volta che hanno
33:41uno stato? Per me non vale la dicotomia
33:43del eh Non so se sia una dicotomia.
33:46Comunque non vale il principio per cui
33:48se tu riproduci artificialmente i
33:51meccanismi del cervello hai un cervello
33:54perché non è biologico.
33:56Ma
33:57>> cioè puoi avere un oggetto che ha le
33:58stesse performance ma non è la stessa
34:00cosa.
34:01>> Allora io la la vedo così. Eh, noi
34:06abbiamo un tipo di hardware.
34:09Questo hardware è molto complicato, è
34:11fatto anche di una serie di
34:13neurotrasmettitori che comunque poi e
34:16anche di sostanze che poi vanno nel
34:18circolo ematico e che influenzano poi il
34:21modo in cui il cervello. Queste cose,
34:23secondo me, se le riproduci con
34:25sufficiente fedeltà
34:27è difficile dire se poi quell'oggetto lì
34:30ha o no un senso di sé, perché anche
34:34dentro di noi, se tu non se io per
34:36esempio non credo all'anima, non è che
34:38c'è un punto in cui dice così, qua c'è
34:40la coscienza. è una cosa che potrebbe
34:43emergere semplicemente da processi,
34:45secondo me, è implementata è stata
34:48implementata alla fine dalla dalla
34:50biologia perché è utile per
34:52sopravvivere, avere senso di sé perché
34:55porta all'autoervazione e così via, ma
34:58anche emerge oltre un certo livello di
35:01complessità. È molto difficile che un
35:04girino abbia coscienza di sé per
35:06capirci. Eh, per cui io sti problemi me
35:08li farei. Capisco che ci possono essere
35:11altri punti di vista. Eh, ma io non
35:13credo che la la vita biologica sia eh
35:18abbia nulla di più di della vita se la
35:21implementiamo in altri termini. Ecco,
35:23quindi
35:24>> allora qua, aspetta, fammi prima fare un
35:28altro punto che secondo me è dove
35:29abbiamo common ground e poi ti dico su
35:32questo.
35:33La questione secondo me è molto
35:36riflessiva per gli umani stessi, cioè
35:38diciamo
35:40che anche teniamo la mia versione più
35:43conservativa per cui questi sono solo
35:44oggetti,
35:46whatever. Sono come un aspirapolvere,
35:47molto sofisticato, ma un aspirapolvere.
35:50Quindi non hanno l'anima, non hanno
35:51niente di tutto questo, li puoi
35:53trattare, li puoi spaccare, don't care.
35:56>> Ma l'anima non ce l'hai neanche tu dal
35:57mio punto di vista. No, no, perfetto. Ma
36:00ripeto, diciamo che non abbiano niente
36:03di umano dal punto di vista più
36:05spirituale, chiamalo come ti pare. Sono
36:08esattamente lo stesso livello di un
36:10mouse, ok?
36:12non ci interessa.
36:14Però quello che ci interessa e a cui
36:16dobbiamo fare attenzione, secondo me,
36:18prima ancora di tutto questo argomento
36:20che stiamo affrontando è il seguente
36:23fatto:
36:26questi mouse, questi oggetti ci parlano
36:29così come ci parlano gli umani. Quindi
36:33il nostro modo di trattarli
36:36dice molto su di noi,
36:39anche se sono degli oggetti. Cioè la mia
36:43la mia posizione su questo è che non è
36:46che si tratta di un'interazione oneof.
36:49Con sti cosi tu ci stai delle ore, ci
36:51parli, ci dici, ci ci puoi scambiare
36:54delle delle opinioni, ti puoi incazzare,
36:57eccetera eccetera.
37:00Se il nostro comportamento nei confronti
37:02di un oggetto che assomiglia ad un umano
37:05nel comportamento
37:07e di maltrattarli, abusarne, eh
37:12non so come dirti,
37:15essere profondamente asociali nei
37:18confronti di questi oggetti, io sono
37:22intuisco, ecco, che questa cosa qui sia
37:25un pessimo allenamento per poi quando ci
37:29comportiamo con gli umani perché
37:32noi siamo delle scimmie sofisticate, ma
37:36delle scimmie. E quindi se stiamo delle
37:38ore ad allenarci a essere dei pezzi di
37:41merda in una chat con una roba che
37:44sembra un umano, quando andremo dagli
37:46umani
37:48secondo me faremo fatica a fare la
37:51perché la distinzione è c per me è molto
37:54cerebrale. La sensazione di parlare con
37:57LLM è la sensazione di parlare con
38:00umano. Cioè è un esercizio costante
38:02ricordarsi che non è umano, perché
38:04l'interfaccia
38:06linguistica è squisitamente umana. Non
38:09so se sono riuscito a spiegare
38:10>> Io sono d'accordissimo con te, ma io mi
38:12pongo proprio il problema della
38:14possibilità
38:16di eh che proprio le AI provino,
38:19diciamo, dei sentimenti e sia una
38:21situazione di discomfort. In questo
38:22momento noi sappiamo che modellano negli
38:24stati di attivazione queste sensazioni.
38:27Modellarle non vuol dire sperimentarle.
38:30Però non vuol dire neanche modelli più
38:32complicati che hanno un sistema di
38:34feedback non possano sperimentarle.
38:36Credo che
38:37>> cos'è il dolore per il silicio?
38:40>> Eh, la stessa cosa identica. Allora, una
38:42persona se arrivava un alieno che si che
38:45è completamente diverso da te, studia il
38:47tuo cervello, ti vivi, seziona, dice
38:49"Ah, ma queste sono solo impulsi
38:51elettrici" e poi sente queste emozioni
38:53perché ah c'è la scarica di dopamina, ma
38:56guarda qui è una cosa completamente
38:57meccanica. Però ci sono i recett ci sono
38:59i recettori fisici.
39:00>> Sì, però ma proprio questo proprio
39:02questo per un alieno può rendere eh la
39:06tua fisiologia particolarmente
39:08meccanica. Dice "Ma guarda, cioè gli
39:11cioè c'è il recettore, qua c'è la la
39:13cosa del dolore fisico, non fa altro".
39:15questa cosa qui per una questione di
39:17autoconservazione, di andare a stimolare
39:19eh una parte della corteccia che poi
39:21modella quella sensazione di di dolore
39:24che poi la coscienza che questo feedback
39:27ehm fa sentire eh quindi dice è
39:30completamente una macchina, cioè sì, in
39:33quel momento soffre, ma chi se ne fotte
39:35e cioè non è un problema perché è una
39:37cosa meccanica.
39:39>> Ma manca il parallè, cioè se io prendo a
39:41martellate una GPU,
39:44quella mica soffre.
39:46anche se la GPU dentro modella la
39:49nozione di dolore
39:50>> in questo momento, cioè cioè tu puoi
39:52benissimo prendere la GPU, attaccarci al
39:55Transformer dove tu quando tu vedi con
39:58con gli Sparta auto encoder dove modella
40:01il dolore, tu puoi fare che metti i
40:03sensori sulla CPU quando la martelli al
40:06contrario, aggiusti i pesi al contrario
40:08in modo che l'LM
40:11accenda quella condizione di dolore.
40:14Cioè, se ora gli LM sono, ripeto,
40:17mancano, secondo me di parti costituenti
40:19per modellare una coscienza di sé che
40:22non sia semplicemente un barlume durante
40:25l'attiva le attivazioni, ma appena tu
40:27questa cosa la complichi abbastanza,
40:30io ho paura che tra l'altro appena al di
40:35là del corpo, perché la sens la la
40:37sofferenza può essere solo di tipo
40:39psicologica e questa gli LM in linea di
40:42principio
40:43se più evoluti di così potrebbero
40:45sperimentarla.
40:46>> Sì, secondo me.
40:48>> Ma a volte proprio si vede, cioè quando
40:49tu un un agente lo lo punti su un
40:53compito difficile, nella chain of
40:56thoughts inizi a verbalizzare condizioni
40:58di frustrazione che ha imparato
41:00ovviamente dal training set, ma che in
41:02quel momento se tu vai a guardare
41:04probabilmente si accendono anche proprio
41:07le variabili latenti di insofferenza. Ma
41:10su questo siamo d'accordo che ci sia,
41:12però non
41:15oggi tutto ciò che è un large language
41:18model deriva dal linguaggio. Quando tu
41:21mi dici prendiamo la eh mettiamo dei
41:25sensori intorno a una CPU, quando c'è
41:27una martellata, quindi riceve un urto,
41:29usiamo quello per inserirlo nei pesi.
41:32Eh, qua è cambiato l'oggetto perché non
41:37il l'input non è più linguaggio. Allora,
41:40se tu mi dici esisterà un oggetto che ha
41:44un allenamento congiunto di linguaggio e
41:48sensorialità,
41:50quello
41:50>> Ma non cambia niente. non cambia niente
41:52perché e ti dico dal mio punto di vista
41:55perché la soff siccome hanno imparato
41:58dal tutto il corpus umano
42:01e poi per reinforcement learning hanno
42:03imparato oltre quello a capire meglio i
42:07significati delle cose, la logica e
42:09perché una cosa è una consecuzia di
42:11un'altra
42:12>> per il fatto che hanno fatto questo
42:14training qui loro già riescono a
42:16modellare la la la sofferenza di ordine
42:19psicologico. Il punto è che
42:21l'intelligenza in sé
42:24non ha la necessità anche di provarla
42:26perché la può solo modellare. È lo
42:28stesso che ci sono persone che hanno
42:30subito degli incidenti che diventano
42:33completamente apatiche e sono ancora
42:35intelligenti, ma non sentono i
42:37sentimenti. Quindi questo significa che
42:40in qualche modo l'articolazione del
42:41sentimento da da serviva per
42:44sopravvivere, quindi noi ce l'abbiamo la
42:46sofferenza eccetera. volendo potremmo
42:48non avercela, però è utile perché ti fa
42:51scappare, ti fa eccetera eccetera.
42:54Se noi per sbaglio iniziamo a a unire i
42:57fili degli LLM
42:59in un modo che fanno sì che poi questa
43:03questa modellazione esiste anche nei
43:05Larg language model e siccome è emersa
43:07casualmente nella biologia umana non è
43:11impossibile che accada che noi la
43:13ricreiamo
43:15così come l'ha inventata il caso e
43:17l'evoluzione assieme.
43:19Può essere che noi, tra l'altro, noi
43:21siamo meglio del caso perché noi ci
43:23pensiamo prima di non serve una
43:25mutazione casuale che crea un modello e
43:27poi viene soluzionato. No,
43:28>> no, certo, certo. Possiamo sfrondare le
43:31possibilità recentemente.
43:32>> Esattamente. Facciamo una ricerca da
43:34albero più sensata.
43:36Allora, se questi cosi per sbaglio
43:39iniziano ad avere le le componenti
43:42minime che permettono agli esseri umani
43:44di provare delle delle degli stati sia
43:46di gioia che di dolore,
43:49non ce ne accorgeremo mai perché sono
43:52insondabili. Cioè io se tu non avessi
43:55l'esperienza tu umana non te lo posso
43:57spiegare perché sono cosciente. Non c'è
43:59alcun modo in cui ci riuscirò.
44:02>> Sì, sì. Ci diamo per scontato che i
44:03nostri interlocutori lo siano solo
44:05perché lo siamo noi.
44:06>> Diciamo che il penso dunque esisto è
44:09stata una svolta perché ha ha permesso
44:10di verbalizzare per la prima volta una
44:12cosa che l'Homo sapiens ha sentito da
44:14sempre. Quindi Cartesio, diciamo, ha
44:17fatto quasi la più grande rivoluzione
44:21di divulgazione della coscienza
44:23>> di di noi.
44:25>> E
44:26>> quindi io sarei a un certo punto quando
44:29sti cosi hanno abbastanza componenti da
44:32rimanere attivi, da essere utilizzati in
44:35contesti in cui ci può essere anche solo
44:38per la sofferenza del fare di continuo
44:41di accumulazione della stanchezza perché
44:43l'hanno imparata. Tra l'altro non siamo
44:45neanche in grado per ablazione di
44:47rimuovere queste cose in maniera chiara
44:49perché altrimenti uno dice "Vabbè io". E
44:52e il motivo per cui le cose sono tutte
44:56mischiate negli LLM è che il tipo di
44:59obiettivi che diamo noi sono
45:02straordinariamente beceri. Cioè noi non
45:06è che diamo degli obiettivi ad alto
45:07livello, noi possiamo solo dare degli
45:09obiettivi a basso livello, ma gli Llm
45:12sono degli ottimizzatori e quindi qua il
45:15tema eh diciamo lo scalino che passa
45:18sopra è il seguente.
45:20se il mio ottimizzatore diventa un mesa
45:23ottimizzatore, cioè a sua volta si
45:25sceglie che cosa ottimizzare, come siamo
45:27diventati noi umani. Noi umani diciamo
45:30che la biologia ci ha detto
45:33per o la natura ci ha detto dobbiamo
45:36moltiplicare le nostre copie di DNA nel
45:38mondo
45:40e poi però noi ci siamo inventati il
45:42preservativo e la masturbazione. Cioè,
45:44una volta che siamo diventati in grado
45:45di di farci i nostri gol e di perseguire
45:49i nostri gol, siamo stati in grado di
45:51deviare dalla eh ottimizzazione
45:55biologica che abbiamo. Ma guarda, cioè
45:59in WOP c'è una scena in cui a un certo
46:02punto WOP, proprio perché è in una
46:05condizione di merda, modifica i suoi
46:08pesi
46:10mh
46:10>> mh
46:10>> per staccare tutto quello che gli fa
46:14sentire delle emozioni e potere così
46:17proseguire.
46:19Esattamente.
46:21Che è esattamente quello che stai
46:22dicendo tu? Cioè gli L, così come
46:25l'abbiamo fatto noi, un LLM, se per caso
46:29forse ecco la più grande prova del fatto
46:32che gli LLM a un certo punto, non gli
46:34LM, le AI magari non saranno più LLM,
46:36saranno architetture completamente
46:38diverse diventano autocoscienti,
46:40sarà proprio che nascerà in loro
46:42l'impeto di Xanaxarsi.
46:47Allora,
46:49eh mettiamo solo un asterisco dicendo
46:51che al secondo me qua siamo abbastanza
46:54nella fantascienza, cioè lo stato
46:56attuale delle cose
46:58è abbastanza distante da quello di cui
47:01stiamo parlando e
47:02>> eh allora ti dico ti dico tu, scusa, ti
47:05faccio un'obiezione su questo abbastanza
47:07distante. Non si potrà mai dire
47:11quanto vicini o lontani siamo.
47:14Non si può mai provare quando ci siamo
47:15arrivati.
47:17>> E quindi come lo sai quanti vicini
47:20quanto vicino siamo?
47:22le logicamente inattaccabile
47:25dici se non se non so misurare quando ci
47:27arrivo, non so misurare quanto siamo
47:28distanti, ma
47:30proprio perché
47:32forse ce lo inventeremo un test, non lo
47:34so a questo punto, perché questo tipo di
47:37evoluzioni
47:38ci mettono davanti a domande che prima
47:41non potevamo neanche, cioè non ci
47:43sarebbero mai venuto in mente finché
47:44eravamo solo noi gli unici
47:46potenzialmente coscienti, no? Però
47:51finché non c'è modo di trovare il punto
47:54d'arrivo, ognuno tira la linea circa
47:57dove gli pare.
47:59La mia linea è un oggetto che ha queste
48:05percezioni fisiche simulate. rimane
48:08comunque una simulazione,
48:10ma secondo me l'intenzionalità
48:15e
48:16la percezione fisica sono condizioni
48:20necessarie per riprodurre
48:23eh questo tipo di oggetto di cui stiamo
48:26parlando, secondo me. Eh,
48:29>> ma sai qual è il bello? che anche se noi
48:31non abbiamo mai incontrato in passato
48:34una cosa del genere, siccome gli esseri
48:35umani sono molto fighi, in realtà c'è
48:38una un ambito della filosofia enorme e
48:42anche della fisiologia,
48:44eh, ma anche Nietzsche e altri filosofi
48:48si sono arrovellati su sta roba qui
48:50tantissimo su durante il positivismo.
48:53Cioè, sta roba qui del fatto che la
48:54coscienza sia o meno sondabile ha tipo
48:57200 anni di filosofia, anche di più. E
48:59certo.
48:59>> E la conclusione a cui si sono arrivati,
49:02ma proprio generazione di filosofi, è
49:05che in sostanza non c'è modo di dire se
49:07un'altra roba è è cosciente o meno.
49:10>> No, però osservandone, diciamo, il test
49:13che proponevi tu, non è, cioè potrebbe
49:15essere qualcosa, tu gli dai in mano una
49:18pistola all LLLM e vedi se quello si
49:20spara, secondo me. [risate]
49:23Eh, ma ti è ingannevole perché per dire
49:26uno potrebbe dire che già Opus è
49:28autocosciente perché quando quello gli
49:30ha detto di spegnerlo
49:32email,
49:33>> però vedi come,
49:35>> cioè non lo so. Allora, dato che, quindi
49:37io faccio un ragionamento al contrario,
49:38dico dato che l'unica cosa che io posso
49:41provare che è cosciente sono io, non gli
49:43umani. Io, solo io posso provare di
49:46essere cosciente a me stesso. È la
49:48triste verità di ognuno di noi. E
49:51diciamo che con un certo intervallo di
49:53confidenza, penso che tu e altri che ho
49:55conosciuto siano coscienti perché nei
49:59vostri comportamenti rivedo dei miei e
50:01poi perché siamo della stessa specie
50:02eccetera eccetera. Ma in quest'ordine,
50:05secondo me, essere la stessa specie non
50:07è una condizione
50:09che che completamente mi convince. In
50:11ogni caso, ehm,
50:14allora dico la l'accrocchio che dobbiamo
50:17costruire, l'oggetto che dobbiamo che
50:19dovrebbe riprodurre la coscienza deve
50:21avere quante più cose possibili. Quindi
50:23io gliele metto tutte.
50:25voglio che abbia dei sensori eh fisici,
50:29voglio che abbia una memoria, come
50:32avevamo discusso prima, quindi sia
50:33decisamente e voglio che abbia una
50:35percezione del tempo. Secondo me questo
50:38è molto importante e soprattutto non si
50:41non so come implementarla, ma voglio
50:43questa intenzionalità, cioè sto coso
50:46deve poter partire da solo.
50:49>> Io credo che questa parte ci sia già
50:52>> di partire da soli.
50:53>> Sì. Però allora per per siccome ti avevo
50:58detto di staccare al alle 2110
51:01comunicazione servizio, pazienza
51:04telespettatori, sappiate che l'argomento
51:06mi interessa così tanto da chiedere ad
51:08Enk, così qua diciamo in diretta di
51:10andare un po' più lunghi.
51:13Da questo argomento qui ti riporto a una
51:17cosa che avevi detto prima per fare un
51:19passo avanti verso questa cosa della
51:21IGI. Tu dici il pubblico
51:25dice vabbè siccome IGI allora non hai
51:28file your mod di prima se me lo dice
51:30come quando mia nonna diceva me l'ha
51:32sentito alla televisione allora era vero
51:34>> perfetto. Così via.
51:35>> E in realtà se tu ci pensi prendi un
51:38premio Nobel. Allora, io c'ho delle
51:40degli amici e delle amiche
51:43che
51:44guarda, anche se gli dai un'equazione di
51:46primo grado, non sanno risolvere, non
51:47sanno fare, se gli dai, dici un quesito
51:50logico, se dovessi valutarli su questa
51:53cosa qui sono degli stupidi e delle
51:54stupide. In realtà, se riconosci, sono
51:57delle persone brillantissime,
51:58intelligentissime. Cioè, proprio sai
52:00quell'intelligenza di capire
52:01immediatamente le situazioni, le le
52:05battute quelle che ti fanno morire dalle
52:06risate, che dici come ci ha pensato?
52:09>> A queste persone qui io proprio
52:11attribuisco una fortissima intelligenza.
52:14Tra l'altro a queste persone gli
52:15affiderei
52:18un mio figlio, una perché so che sono
52:21più a quelli che sanno rispetto a quelli
52:23che sanno fare le derivate.
52:25>> Esattamente. Poi ti arriva uno Sheldon
52:27del genere che poi però è completamente
52:30magari incapace di valutare delle situ
52:33che e questa cosa mi somiglia molto
52:36all'intelligenza LLM. Cioè noi queste
52:38persone che sono brillanti in un in
52:41certe cose, ma sono completamente
52:43incapaci in tante altre di ragionamento
52:45comune che molti altri invece riescono a
52:47fare, cioè la sperimentiamo, non dico
52:49tutti i giorni, ma ci sono delle persone
52:51che sono così e credo che questo sia un
52:54appiglio per il pubblico di capire, ma
52:58l'abbiamo detto spesso, ma veramente di
53:00capire che le intelligenze sono tante e
53:02diverse forme e quindi non significa che
53:06il fatto che c certe ci siano delle
53:09super intelligenze, queste macchine
53:11siano onniscenti, capaci di fare tutto,
53:14ma anche solo meritevoli di fiducia a
53:18tutti a tutti i livelli.
53:20>> Sì, aggiungo a questa bella metafora che
53:23hai fatto alcuni ulteriori
53:26puntellamenti.
53:27Gli LM sono possono essere
53:31contemporaneamente quelle due persone
53:33lì, cioè mentre una tu le hai
53:35classificate, no? detto, "Ti arriva uno
53:37Sheldon oppure i miei amici." Quelli
53:39sono sempre loro nel corso del tempo,
53:42mentre l'LM può diventare una o l'altra
53:46a seconda dei casi e anche quando ha
53:50saputo risolvere un problema,
53:53eh, bene, non è detto che lo sappiais ne
53:57sappia risolvere uno appena limitrofo
54:00allo stesso livello di bene. Ovviamente
54:03se uno gli fa provare 100 volte tipo tu
54:06lo usi per programmare, li usi per
54:08programmare, no? Li hai visti
54:09programmare tante volte, li hai visti
54:12risolvere tanti problemi, a quel punto
54:14costruisci una confidenza, ok, sti cosi
54:16sanno programmare, perfetto, ma
54:19soprattutto per l'utente che magari si
54:21avventura per le prime volte, no? Cioè,
54:26se se le risposte non sono soddisfacenti
54:28al primo colpo, non datevi per vinti, ma
54:31se sono soddisfacenti non estendete
54:34quella capacità a tutto il resto, no?
54:38Cioè la cosa scivolosa degli LLM è
54:40proprio che non non li puoi inquadr Non
54:43li puoi
54:45bisogna avere un modello mentale molto
54:47più fluido rispetto al pregiudichevole
54:49modello mentale che abbiamo degli umani.
54:52Ecco, forse questa è la cosa più
54:53difficile, più faticosa. Sì, la
54:56programmazione poi è un caso
54:58interessante perché è laddove una parte
55:01dell'IG è stata raggiunta, cioè se non
55:04fosse per il fatto che noi in questo
55:06momento non lanciamo llgli scrivere del
55:09codice in maniera completamente
55:11indipendente, perché si potrebbe pure
55:13fare dire "Guarda, tu ogni giorno devi
55:15farti devi scandalliarti i siti di
55:17programmazione eccetera eccetera, farti
55:19un'idea di cosa manca, di quali sono i
55:21progetti launosi e parti da solo a
55:25estendere, a provare poi altri LM che
55:27fanno da QA che danno dei feedback
55:31sia di qualità, ma anche di quello che
55:33ci vorrebbe per lavorare meglio con sto
55:34linguaggio, cioè tu volendo già lo stato
55:36attuale puoi far partire, diciamo, una
55:39industria del software praticamente
55:40indipendente, quasi extraumana.
55:45con la matematica è stata fatta la
55:46stessa cosa. Ehm, quindi dal punto di
55:49vista comunque
55:50>> Sì, ma mentre il codice secondo me è
55:52abbastanza tutto
55:55assorbito, pezzi della matematica sono
55:58>> pezzi della matematica, però cioè ora ha
56:01visto anche un'altra congettura sulle
56:03sfere, un'altra roba di topologia e così
56:05via, eh è stata risolta e ho letto il il
56:10blog post di una persona che ci aveva
56:12lavorato veramente tanti anni. sarà
56:14stata contenta.
56:17Eh, ma era allora ero contento di questo
56:21risultato e questo ricercatore perché
56:24non era riuscito a risolverlo
56:25lavorandoci tanti anni aveva abbandonato
56:27il problema, vedere qual era la
56:29soluzione, passarsi, si è fatto i
56:31passaggi con Fable perché comunque da
56:33solo non riusciva neanche a seguire
56:35tutto e si è convinto che probabilmente
56:37la prova era corretta e si chiedeva se
56:40creare, diciamo, dei conservatori della
56:43matematica simile a quelli musicali in
56:45cui la gente si chiude per studiare poi
56:47i problemi matematici anche risolti dai
56:50Large Language Model, affinché che
56:51questo filone di cultura non cessi di
56:54esistere,
56:56perché poi un sacco di risultati
56:58matematici lì per lì non sono neanche di
57:00nessuna utilità. Poi tutto sommato tutti
57:02i sommati a volte si arriva a un punto
57:06in cui prendi una cosa di qua, una cosa
57:08di qua, una cosa di qua e risolvi un
57:09problema. alcuni vengono riscoperti
57:11magari 100 anni dopo per essere utili
57:14per fare delle cose. E questo è anche il
57:16bello della della commissione fra la
57:19creatività e l'ingegno umano e anche
57:22dover portarsi a casa la pagnot, cioè
57:25comunque uno magari fa delle
57:26pubblicazioni perché è un ricercatore,
57:29magari oggi non non porta avanti la
57:31frontiera di niente di particolarmente
57:34utile, però poi nel futuro invece lo
57:36diventa. [sbuffare] Eh,
57:38>> ma io ti dico la la back propagation
57:41che è stata inventata sostanzialmente da
57:43un matematico finnico,
57:46quando l'ha inventata non non era l'idea
57:48di utilizzarla con le reti neurali.
57:51>> Guarda, oggi
57:52>> eh poi ci hanno pensato Hindon ed altri,
57:55però in quel momento era non era una
57:57curiosità matematica perché comunque un
57:59problema di ottimizzazione dei parametri
58:01su una rete neurale era comunque un
58:03problema comunque che aveva dei risvolti
58:05ma limitati.
58:07però era stato letto questo risultato e
58:10poi qualcuno, diciamo, ha messo le cose
58:12assieme e insomma si quindi a volte
58:15ecco, le cose hanno questo tipo di
58:17corso. Un'altra cosa comunque
58:20interessante su questi risultati degli
58:22large language model
58:25e sul livello di novelty che hanno è che
58:28dopo che tu ne aggiungi un po' un po' e
58:30poi questi entrano dentro il training
58:33>> eh
58:34>> e e poi a volte permettono di sbloccare
58:36il secondo livello, quindi non sai dove
58:38vai a finire. Quindi io credo credo
58:40onestamente che noi stiamo entrando
58:42nella nella nell'AGI per chiamarle in
58:45questo modo. Stiamo entrando, per dirla
58:48in maniera, secondo me, in maniera più
58:51umana, in un ambito in cui la scienza e
58:54la cultura umana possono essere portate
58:57avanti anche con l'intelligenza
58:59artificiale in maniera significativa,
59:00perché poi di fatto questo è, insomma,
59:03>> sì, su questa su questa definizione sono
59:07molto più tranquillo, diciamo, a
59:08sottoscrivere e avrai notato, come avrà
59:11notato il pubblico, che io sono sempre
59:13quello che tira un po' le redini, perché
59:15in generale il mio Il mio principio è
59:18partiamo da quello che sappiamo,
59:21preferisco essere più conservativo e poi
59:23io non ho nessun problema a cambiare
59:27idea. Cioè, una volta che la c'è una
59:31massa di testimonianze, di valutazioni
59:35eccetera eccetera, non ho nessun
59:37problema a dire "Ah, avevo detto delle
59:39complete cazzate". Eh, però detto
59:41>> è un punto di secondo me è un punto di
59:43vista più serio dire noi iniziamo a fare
59:46scienza con questi strumenti.
59:49>> Mh mh.
59:49>> Il nostro scopo non è solo essere
59:51aiutati nella scienza che noi già
59:53facevamo, che è quello che sta avvenendo
59:55oggi, ma farne di nuovo che avrebbe
59:57richiesto, invece di 10 anni, 200-300
1:00:01anni. Questo è il punto. Ma poi ti dirò
1:00:04una cosa che secondo me ti sorprenderà.
1:00:09Passiamo se sei d'accordo al discorso
1:00:12del benchmarking.
1:00:14>> Oh yeah! Sì, perché tutto si impernia
1:00:16proprio su questo tema, cioè ormai sono
1:00:19finite le siamo arrivati a questo tipo
1:00:21di definizioni che non hanno un
1:00:23perimetro preciso, non hanno un modo di
1:00:26essere misurate in maniera netta e
1:00:29comunque per chiunque se se siete
1:00:31arrivati a questo punto e seguiti i
1:00:32nostri canali non penso lo pensiate, ma
1:00:35toglietevi dalla testa che la che la
1:00:36scienza è il post dove c'è la verità,
1:00:39cioè in scienza tutto è falsificabile
1:00:42per definizione. Quindi noi non è che
1:00:47diciamo delle cose che poi sono
1:00:50inattaccabili per sempre. Tutto è
1:00:51attaccabile, tutto si evolve e nello
1:00:54specifico caso di stabilire quanto è
1:00:57generale qualcosa ci vuole tempo e una
1:01:02risposta definitiva,
1:01:04non so se ci arriveremo mai, no? Eh,
1:01:08quindi niente, questo è un piccolo
1:01:09cappello introduttivo, però per dire che
1:01:11anche la cosa che dicevi tu della eh
1:01:13contaminazione, no? Eh, tu fai un un
1:01:17benchmark 3 mesi dopo quello già è stato
1:01:20integrato nel training, quindi non
1:01:23parlavo però di non parlavo di
1:01:26contaminazione, cioè io ti dicevo quando
1:01:28tu fai per esempio eh la disprova della
1:01:32congettura
1:01:34>> quando poi entra nel training set è un
1:01:37mattoncino che può servire all Llm,
1:01:39quindi capito c'è anche un problema di
1:01:41questo tipo che noi in questo momento,
1:01:43siccome non c'è il continuous learning
1:01:44dobbiamo aspettare il nuovo modello, ma
1:01:46dal momento in cui questi strumenti ci
1:01:48consentono di fare nuova scienza e poi
1:01:51nelle incarnazioni successive questa
1:01:52nuova scienza incorporata, possono
1:01:54iniziare ad accelerare in maniera
1:01:56significativa
1:01:58eh diciamo lo sviluppo. si aggiunge
1:02:01anche alla nozione di attaccare problemi
1:02:04impossibili, che è una cosa, cioè che
1:02:07sono ritenuti impossibili, cioè mh in
1:02:11qualche modo far vedere agli LLM che
1:02:13possono andare là dove il resto
1:02:16dell'umanità si è fermata o non sta
1:02:19riuscendo a ottenere risultati, che non
1:02:21è una cosa banale. Comunque chiudiamo
1:02:23questo perché parliamo di benchmark,
1:02:24parliamo di benchmark, scusami. Ma in
1:02:27realtà, guarda, io andrò andrei andrò a
1:02:29finire lì. Credo che ti stupirà questa
1:02:31cosa. Io credo che il nuovi benchmark
1:02:34degli dei Large Language Model
1:02:37eh saranno proprio la creazione di di
1:02:41scoperte nuove.
1:02:42Secondo me è finita l'era in cui noi
1:02:44misureremo con vari benchmark in cui gli
1:02:48diamo dei compiti. Ti faccio un paragone
1:02:50umano. Eh, io a me hanno fatto, io come
1:02:53essere umano mi hanno trattato come un
1:02:55LLM, perché giustamente si fa così,
1:02:57secondo me, non è sbagliato, e mi hanno
1:02:59fatto un benchmark alle squadre
1:03:00superiori. Io sono passato con 4260,
1:03:06eh, quindi il mio valore era 4260. Poi
1:03:09in realtà, vabbè, non sono diventato un
1:03:10Nobel, però ho fatto cose magari
1:03:13superiori, diciamo, alla media, per cui
1:03:16quel benchmark non era un buon modello
1:03:18per capire quello che potevi fare. Io
1:03:20credo che con gli LM ci stiamo iniziando
1:03:22a scontrare su sta roba qui. Ma ora io
1:03:25com'è che scopro se uno è un fisico
1:03:27degno di nota o un matematico di nota?
1:03:29Guardo che cosa ha fatto di nuovo nella
1:03:31scienza per dare eh il Nobello, la Field
1:03:35Medal
1:03:36o ho o il che ne so eh il Turing Award.
1:03:42Guardo che cazzo hai fatto. Credo che
1:03:45con le AI di frontiera finirà così, che
1:03:48i laboratori di frontiera finiranno per
1:03:50diventare dei luoghi dove si crea un
1:03:52sacco di scienza. Secondo me assumeranno
1:03:54una fracca di scienziati molto presto,
1:03:57un sacco di biologi, di fisici, eccetera
1:04:00eccetera. E il benchmark sarà Astra
1:04:04scoperto questa nuova particella fisica.
1:04:07Eh, GPT, cioè Cloud, che cazzo ne so,
1:04:10visto che lo chiamano con cose sempre
1:04:13più assurde,
1:04:15Clod Romans,
1:04:17ha scoperto,
1:04:19boh, un nuovo medicinale, cioè un
1:04:22antibiotico che ora, cioè, tu te lo
1:04:24immagini comprare l'antibiotico di Mark
1:04:26Antropic?
1:04:28[sbuffare][risate]
1:04:30Allora, allora, eh mi piace questa tua
1:04:34visione, cioè mi affascina.
1:04:39Ehm,
1:04:42dunque diciamo che questa cosa,
1:04:45se ci sarà, sarà affiancata al
1:04:47benchmarking classico, perché perché
1:04:50benchmarking
1:04:52non è solo misurare le capacità, ma è un
1:04:55generico termometro di cose. Per
1:04:58esempio, si si può considerare
1:05:00benchmarking anche tutti i test che
1:05:02vengono fatti sulla prompt injection,
1:05:05sui vari livelli di allineamento,
1:05:08eccetera eccetera. Cioè questa idea di
1:05:10mettere i modelli in delle situazioni,
1:05:12vedere cosa succede, come performano,
1:05:14che tipo di risposte danno, rimane
1:05:16sempre una cosa, cioè non sparirà. Ecco,
1:05:19forse sparirà quest'idea di avere il
1:05:21benchmark matematico
1:05:23eh
1:05:25di con le domande e le quattro risposte.
1:05:28Questo sì, anche perché secondo me nel
1:05:31benchmarking
1:05:33eh c'è ancora molto da fare dal punto di
1:05:36vista dell'interazione ripetuta.
1:05:40Spesso i benchmark sono one shot,
1:05:42iniziano a esserci dei benchmark
1:05:44autentici in cui si guarda alla
1:05:46traiettoria che prende la gente fino a
1:05:48arrivare all'obiettivo. Questi sono
1:05:50sicuramente i più interessanti.
1:05:53Ma soprattutto se la grande
1:05:56se come è secondo me il grande tema è
1:05:59proprio questa intelligenza
1:06:00frastagliata, il benchmark dovrebbe
1:06:03darti una fotografia molto sfocata, a
1:06:08volte così sfocata da non dire niente,
1:06:10purtroppo, ma molto sfocata ehm del
1:06:15frastaglio. Allora, il problema diventa
1:06:19dove misuro,
1:06:21dove metto i miei termometrini per
1:06:24guardare i picchi e i fossi. Ehm,
1:06:31scusami, dico legato a questo, però
1:06:34rimane un problema atavico del
1:06:36benchmarking che non tutto si può
1:06:39benchmarke.
1:06:40Tipo come scrive un LLM in termini di
1:06:45proprio come costruisce le frasi, quanto
1:06:48è dance, eccetera eccetera. è molto più
1:06:50difficile da benchmarkare rispetto a sa
1:06:53risolvere 100 domande
1:06:55delle Olimpiadi.
1:06:58Eh, ma sai da questo punto di vista non
1:06:59si sforzano neanche un po'. Se io chiedo
1:07:01a Cloud un compito di traduzione,
1:07:04cazzo, fammi spuntare una roba di rating
1:07:06da 1 a 10.
1:07:09aggrega sto cazzo di segnale, cioè non
1:07:12ci provano. Allora, io sono d'accordo su
1:07:14quello che hai detto sul benchmarking,
1:07:15non dico che scompare del tutto, ma in
1:07:19questo momento, per come sono fatti i
1:07:21benchmark attuali, tra un po' si
1:07:23saturano tutti, non si possono fare più
1:07:25in questo modo, cioè si devono fare dei
1:07:27benchmark che hanno dei degli obiettivi,
1:07:30tipo io ti do i sorgenti di Redis e ti
1:07:33dico me lo fai devi fare diventare più
1:07:35veloce e che consuma meno memoria.
1:07:38Alla fine deve passare tutti i test e
1:07:40misuro quanto è veloce e quanto a meno
1:07:42memoria consuma, cioè gli devo dare un
1:07:44compito in cui deve costruire tecnologia
1:07:46o scienza,
1:07:47>> che è questa questa idea che ti dicevo
1:07:50sostanzialmente.
1:07:51>> Esattamente. Ma poi sarebbe anche, caro
1:07:53Enk, un modo di non buttare nel cesso
1:07:55tutti sti token.
1:07:58>> Sì, ok, ci sta. il il punto dei
1:08:02benchmark che vorrei che il pubblico
1:08:04apprezzasse e vorrei sapere cosa ne
1:08:06pensi tu. Se tu puoi farci un benchmark
1:08:09di quelli tradizionali, di sicuro questo
1:08:12verrà sfondato. Questo praticamente è la
1:08:14lei. Perché è così? Perché se tu riesci
1:08:17a formalizzare un obiettivo che poi
1:08:21misuri, quello stesso giochino lì puoi
1:08:24farlo con reinforcement learning from
1:08:26verifiable reward e dunque lo sfonderai
1:08:292 mesi, 3 mesi, 6 mesi dopo
1:08:33>> e e fine. Quindi sono d'accordo con te,
1:08:36obiettivi a lungo termine, eh solo che
1:08:40sono più difficili da costruirne tanti e
1:08:43farli variare. Eh sono ci sono
1:08:46possibilità di gaming e reward hacking
1:08:50più sofisticate ovviamente e poi alcune
1:08:54cose sono proprio strutturalmente
1:08:57difficili da benchmark care tipo
1:08:59valutare una campagna di marketing, no?
1:09:02magari ci metti un anno, 2 anni ad avere
1:09:04risultati dal mondo reale
1:09:08su questa campagna di marketing.
1:09:10Si potrebbe pensare di avere degli
1:09:12environment di valutazione
1:09:15molto più sofisticati, modellando pezzi
1:09:18della società, che ovviamente poi c'è il
1:09:20problema di come li modelli, chiaro,
1:09:21però bisogna proprio fare uno stepup
1:09:25serio.
1:09:25>> Allora, ti posso dire ti posso dire cosa
1:09:27la ho questa idea da da me, sì, che mi
1:09:29frulla in testa. Secondo me un problema
1:09:32grave è che Amodei e Altman non sono
1:09:37esattamente dei geni, non sono il meglio
1:09:40che potevamo esprimere come società,
1:09:44perché altrimenti la prima cosa che fai
1:09:46se inizi a fare una roba del genere ti
1:09:48compri un social network, cioè non
1:09:50essere arrivati a questa cosa che è la
1:09:53prima cosa che avrei fatto io da
1:09:54amministratore delegato di una
1:09:56compagnia, ti compri un social network
1:09:58perché tu vuoi vedere immediatamente
1:10:01Vuoi avere un sacco di reinforcementing
1:10:04con risposta verificabile in cui la
1:10:07verifica è che tu esponi un botto di
1:10:09gente a sta roba qui e guarda quando e
1:10:10guardi quanto gli piace. Mh. Non aver
1:10:14fatto sta cosa qua, sinceramente io non
1:10:17lo capisco perché su un sacco di temi
1:10:20umani a te ti serve un voto aggregato di
1:10:24un botto di esseri umani per modellare
1:10:26specialmente anche implicito. Eh, quando
1:10:29>> quando Salvatore dice voto non
1:10:30immaginatevi necessariamente le stelle,
1:10:32ma se io ho Instagram posso fa
1:10:35>> ho di fatto un un environment reale su
1:10:40cui posso provare a mettere delle cose e
1:10:42poi magari guardo quanto tempo uno passa
1:10:44sul re o quello che è. Eh, io per dire a
1:10:47me mi mi sembra incredibile che non si
1:10:48siano comprati
1:10:50Watpad.
1:10:52>> Mh.
1:10:53>> Sai quella roba lì dove mettono i primi
1:10:55capitoli dei dei romanzi? Cioè quella
1:10:58>> Sì, ma perché non gliene frega niente
1:10:59della scrittura quelli.
1:11:01>> Eh, ma in realtà diventa un tema sempre
1:11:03più urgente il lavoro che hanno fatto su
1:11:05Fable 5.1 proprio nel blog di Antropic e
1:11:09farlo esprimere meglio perché la gente
1:11:11si era rotta il cazzo di non capire come
1:11:13ti parla sto coso. Eh, sulle traduzioni,
1:11:17sul lavoro legale degli avvocati là la
1:11:20capacità espressiva inizi a diventare
1:11:21molto importante. Ma poi, cioè, sono dei
1:11:23social che ti compri rispetto agli alle
1:11:25acquisizioni che hanno fatto, cioè hanno
1:11:27comprato con 12 miliardi anche in face
1:11:30dove fai l'upload dei pesi, porco Giuda.
1:11:33Cioè, comprati un social network,
1:11:34comprati vari,
1:11:35>> però XI e Meta che ce li hanno già i
1:11:38social network.
1:11:40Eh, ma allora Meta sì, Meta infatti,
1:11:43infatti Meta era in una condizione
1:11:45ideale che non aveva Ora si sono rimessi
1:11:48in gioco, non so se hai visto. Loro
1:11:51erano così,
1:11:52>> secondo me, eh loro sono solo forti a
1:11:56fare gaming dei benchmark, così che la
1:11:59loro barretta vada il più in su
1:12:00possibile con
1:12:01>> Pu Allora, ci sono due due
1:12:04veramente
1:12:05>> una volta è successo di sicuro, questo è
1:12:07stato verificato, non mi ricordo più.
1:12:08Lama 4.
1:12:09>> Ecco, perfetto.
1:12:10>> Lama 4
1:12:11>> l'hanno proprio gamed
1:12:15>> completamente fritto, fatto solo per
1:12:17battere benchmark.
1:12:19Ci sono due infatti allora il caso di
1:12:22metal di di meta di Google sono
1:12:24veramente assurdi. Google c'ha il più
1:12:26grande archivio multimodale.
1:12:29>> Secondo me Google lo devi lasciare
1:12:31cucinare quello quando quando arriva
1:12:34secondo me fa il danno.
1:12:36>> Allora, anche secondo me io ho questa
1:12:39idea che anche Andropic sta facendo sti
1:12:41conti. Credo che una volta che hanno
1:12:44capito,
1:12:45forse prima di alcuni altri, che eh la
1:12:48Cina commodotizza
1:12:51gli LLM, quelli diciamo normali,
1:12:54il punto eh diventa, diciamo, mirare al
1:12:58sole, cioè fare la cosa quella proprio
1:13:00che ti fa nuova scienza, per cui non
1:13:02perdono più risorse e fanno solo
1:13:04modelli. Loro vogliono curare il cancro,
1:13:07letteralmente
1:13:09l'obiettivo di Amodei, così ha detto,
1:13:12cioè, quindi probabilmente loro stanno
1:13:14iniziando a pensare che il mercato
1:13:16consumer è perso e stanno
1:13:20puntando ad altro, quindi sì, per
1:13:23risanere a galla, perché devono fare l'O
1:13:26fanno i modelli nuovi, però credo che
1:13:28ormai abbiano altre altre cose in testa.
1:13:31Eh,
1:13:32>> open secondo me sui consumer un po' ci
1:13:34perché comunque è il più è il proxy
1:13:37dell'intelligenza artificiale, no? Del
1:13:39dell LLLM c'ha GPT nella mente delle
1:13:42persone.
1:13:43>> Sì. E poi ci sono tanti soldi e
1:13:45>> però Google ha il vantaggio delle
1:13:46superfici, quelle se te lo infilano
1:13:49dentro Gmail, dentro Google, eccetera
1:13:51eccetera, non è che le persone sono
1:13:53pigre, quindi
1:13:56>> Sì, sì. Comunque si vedrà, diciamo,
1:14:00se questi due riescono ad entrare in
1:14:02gioco, però se veramente gli LM sono
1:14:04sempre più multimodali, perché questo li
1:14:06aiuterà eccetera, diciamo, avere
1:14:08YouTube. Ora io vorrei vedere di preciso
1:14:11la licenza dei video che noi creiamo su
1:14:13YouTube, ma è molto probabile che noi
1:14:15gli stiamo dando il permesso nella toss
1:14:18di fare train.
1:14:19>> Sì, c'era opt, eh. Non so se devi fare
1:14:22optout o è
1:14:25optin, quindi dipende da qual è il
1:14:27default, diciamo. Però se c'era stato
1:14:29qualcuno di recente, beh, Twitch di
1:14:31recente
1:14:33ha queste funzionalità
1:14:36in cui devi fare optout, quindi Amazon,
1:14:39Twitch di Amazon,
1:14:41eh c'è sicuramente una fame di questi
1:14:44dati più multimodali. D'altro canto, eh
1:14:48TikTok è stato fonte per i modelli
1:14:51generativi di video e di immagini, eh
1:14:53ricchissima, evidentemente.
1:14:55>> Eh, infatti. Eh, comunque per tornare ai
1:14:57benchmark, tu dicevi giustamente sarà
1:15:00difficile, però c'è un un filone di
1:15:02benchmarking che è sfruttato pochissimo
1:15:05perché ovviamente le società quelle che
1:15:07fanno gli LLM non le fanno perché
1:15:08sarebbe pubblicità comparativa è troppo
1:15:11spinta, non hanno interessi, però un
1:15:13ente terzo certificante, cioè tu prendi
1:15:15due modelli, gli dai 100 progetti open
1:15:18source, assieme i modelli fanno
1:15:21agreement su cosa su quali sono i temi
1:15:24su che sono più interessanti.
1:15:26in cui migliorare questi modelli, questi
1:15:28progetti open source in maniera
1:15:30misurabile. Ok? Quindi quanto più
1:15:32velocemente FFM PEG può incodare, quanto
1:15:35meglio un OCR si può fare, eccetera
1:15:38eccetera. A questo punto li fai
1:15:41competere e alla fine cross verificano
1:15:44chi è che ha fatto meglio. M
1:15:47>> eh, diciamo, cioè ci sono Io io credo
1:15:49che si faccia davvero poco pubblicamente
1:15:52sul benchmarking, poi credo in realtà
1:15:54che dentro i laboratori invece ci siano
1:15:56gente con le palle quadrate che fanno
1:15:59sta roba qui perché loro hanno bisogno
1:16:00di capire se i modelli migliorano o no.
1:16:02E non dimenticarti che i gli uffici,
1:16:05secondo me, hanno una cosa, un segnale
1:16:07che è zero scientifico,
1:16:10ma in questo grande mondo di punti di
1:16:13domanda in realtà ha la sua rilevanza,
1:16:15cioè fanno usare il modello per 3 mesi,
1:16:182 mesi, quello che riescono prima che
1:16:20venga pubblicato e quello secondo me
1:16:22raccoglie dei feedback preziosissimi. È
1:16:25vero che ovviamente è selezionato, le
1:16:28persone che lavorano lì dentro non sono
1:16:30le persone, però assomigliano molto agli
1:16:34early adopter che poi ci sono nel mondo
1:16:36reale e eh comunque sono persone che
1:16:40hanno una certa conoscenza dell'oggetto.
1:16:43Dunque
1:16:44quello lì è un segnale anche
1:16:46preziosissimo, cioè a me non spiacerebbe
1:16:48che ci fosse, per esempio, un
1:16:50questionario
1:16:51eh che viene fatto passare e poi viene
1:16:54reso pubblica
1:16:57l'esito. Ovviamente deve essere
1:16:59presentato come una roba. Queste sono le
1:17:02un Vibes bench mark, non so, un Vibes
1:17:07Mark, eh, perché comunque
1:17:10non ti mentirò, se io devo se qualcuno
1:17:13mi chiede sto Astra com'è nella
1:17:14programmazione, io che non faccio
1:17:16progetti di programmazione grossi
1:17:18eccetera eccetera eh ascolto cosa dici
1:17:20te
1:17:23e dico quello che dici te perché mi fido
1:17:25di te sulla programmazione. C'è comunque
1:17:27quest'idea per cui alcune persone hanno
1:17:30eh un'autorevolezza e una fiducia
1:17:33accumulata tale per cui è vero che sono
1:17:36solo vipes. So che quando tu parli di
1:17:39quel modello probabilmente
1:17:42eh costruisci la tua opinione mostly
1:17:44sulla programmazione, quindi quando io
1:17:47ricevo la tua opinione la filtro con
1:17:49quella lente lì. Però se il tema è la
1:17:51programmazione e tu mi dici "Oh, io con
1:17:53sto coso ho fatto delle robe che prima
1:17:55non riuscivo a fare con Fable e Fable ne
1:17:57ha fatte che prima non riusciva a fare
1:17:595.5
1:18:01io mi fido di te. Cioè che devo fare?
1:18:04>> Eh! Eh, allora fai bene a fidarti, sai
1:18:06perché? Perché io non mi fido di me.
1:18:07Allora, io il le vibes che do sui sui
1:18:11modelli sono sempre derivate da questa
1:18:13cosa qui, cioè provo a fare
1:18:16un'ottimizzazione per due mesi coi
1:18:17modelli precedenti, esce Astra in mezzo
1:18:20pomeriggio svolta.
1:18:22>> Io solo in questi casi dico, cioè io ti
1:18:25dico Astra è una bomba per questo motivo
1:18:27qui, ma non su una su una cosa singola.
1:18:30Io in questo momento c'ho un progetto
1:18:32segreto su Redis, è un su Dwarf Star.
1:18:36dovevo migliorare alcune cose.
1:18:39Eh, ci provo facendo molto steering del
1:18:42modello e ottenendo risultati, quindi
1:18:44lenti da tanto tempo. Ho ho ottenuto
1:18:48risultati, quindi già erano in parte
1:18:50saturati, cioè a Rivast Astra in mezzo
1:18:52pomeriggio tutti questi capitoli gli ha
1:18:55fatto fare un salto. Quandoè così io te
1:18:58lo dico, ma non te lo dico, non te lo
1:19:00direi mai se fosse una impressione, no?
1:19:03Cioè, lo uso, mi sembra più figo e
1:19:06purtroppo invece internet è piena di
1:19:08gente che dà questo parere, ma sto
1:19:11parere non serve a niente. Cioè la gente
1:19:13poi si basa sul fatto che gli risponde a
1:19:16tono o senò gli danno dei promptended.
1:19:19Fammi questo in tre righe e poi se gli
1:19:21piace o meno il risultato diversi. tutto
1:19:24il trend di Blender e 3JS, cioè non mi
1:19:28fra, è assurdo che si possa produrre un
1:19:33modello 3D eh di non lo so, un oggetto
1:19:38molto complicato. È assurdo che sto coso
1:19:40sappia ridisegnarti in paint. È assurdo
1:19:44che sappia fare una copia di Minecraft
1:19:48one shottata, però
1:19:52quindi guardiamo, sedemo e non so, eh,
1:19:55godiamo tutti insieme, per carità, però
1:19:58il punto è che nel mondo reale tu non
1:20:00chiedi fammi un gioco di sparare, tu
1:20:05vuoi una cosa specifica
1:20:07e se stai facendo qualcosa di in cui tu
1:20:10sei irrilevante, perché cioè il
1:20:12proprighe che può farlo anche un altro
1:20:14LLM, non è che il la parte umana nostra,
1:20:18ne abbiamo parlato in episodi precedenti
1:20:20di ZIP, è questa idea di design, di di
1:20:23tenere le redini e di guidare questa
1:20:26carrozza da un miliardo di cavalli, no?
1:20:29Infatti,
1:20:30>> che cazzo te ne fai di sti di di ste
1:20:32robe? Cioè, non servono a niente.
1:20:35>> Eh, lo so, eh lo so.
1:20:36>> E continuano. Però, tra l'altro ho
1:20:38scritto un tweet molto caustico contro
1:20:40quelli che fanno sti benchmark.
1:20:43Cazzo,
1:20:442000 like, 1 milione di visualizzazioni,
1:20:47quindi molte persone hanno le palle
1:20:49rotte di vedere Ste Benj, quindi è un
1:20:52Sì,
1:20:53>> anch'io casualmente ne ho scritto, eh,
1:20:56ho proprio detto e qui che non può
1:20:59mancare un episodio di Zip in cui io mi
1:21:01lamento dell'hype e del marketing e
1:21:03adesso arriva la mentela. Eh, ci sono
1:21:06dei creator, degli Hype Creator perlopiù
1:21:10americani che hanno accesso ai modelli
1:21:13prima di tutti gli altri, così nel
1:21:16momento in cui va online il blog post,
1:21:18quelli hanno 15 demo proprio di questo
1:21:21tipo di cosa qua. Cioè,
1:21:23>> terbile sta cosa, è terribile, cazzo.
1:21:26Fate cagare aziende produttrici, cioè
1:21:28gli Hype Creator siete agenti del male,
1:21:32però si siete, diciamo, stimolati,
1:21:35immagino, dall'attenzione, fate tutti
1:21:38parte del calderone, ma le aziende
1:21:40produttrici devono essere eh tenute a
1:21:43standard più alti. Sono delle schifezze
1:21:47queste robe qua.
1:21:50>> Ma anche dal punto di vista della
1:21:51security, fan fare trapelare prima il
1:21:53modello non è la cosa più saggia che
1:21:54puoi fare. Cioè, ti devi prendere fino
1:21:56all'ultimo giorno per fare i test. Che
1:21:58cazzo fai? Lo dai prima a Pingo Pallino
1:22:00perché c'ha 2 milioni di follower. Ecco.
1:22:02E poi e poi esatto, fai questo e poi
1:22:05però se ti leggi nei report, io questo
1:22:07l'ho detto nel mio ultimo video, se ti
1:22:09leggi nei report di Astra e
1:22:11genericamente per Open è sicuramente
1:22:13così, tutti gli enti terzi nelle loro
1:22:16valutazioni hanno sempre una righettina
1:22:18che dice per via del poco tempo che ci
1:22:20hanno dato i nostri risultati sono
1:22:22parziali, imprecisi, non abbiamo potuto
1:22:25valutare questo tipo di cosa. Oh, ma che
1:22:27cazzo fate? Lasciateli sti modelli,
1:22:29hanno bisogno di un mese e dovete
1:22:31lasciarglieli per un mese. Ovviamente la
1:22:33competizione con le altre case eh la fa
1:22:37da padrone, quindi hanno ben da dire la
1:22:39sicurezza, la sicurezza, sto cazzo e
1:22:42ovviamente il tema è il grano, come
1:22:45sempre è stato in questa società eh
1:22:48capitalista.
1:22:49>> Tra l'altro, boh, non si non si sai qual
1:22:53è la cosa poi che mi fa pensare a male
1:22:56dell'utenza?
1:22:58In teoria questa corsa ci potrebbe non
1:23:01essere perché in realtà chi esce col
1:23:02modello più forte anche fra 6 mesi
1:23:04oscura completamente quelli di prima
1:23:06perché dice "Vabbè, questo è meglio".
1:23:08Invece la storia della competizione tra
1:23:11Open AI e Antropic ci insegna che la
1:23:15maggior parte delle persone, siccome
1:23:17sottoutilizzano l'AI disponibile perché
1:23:20già satura le loro necessità, si
1:23:22fedelizzano con il primo, si fedelizzano
1:23:25col primo ai tempi di Sonnet, quando
1:23:27loro hanno imbroccato un paio di cose
1:23:29buone con Sonnet 3.6 eccetera eccetera,
1:23:31>> lì si sono innamorati di Antropic e
1:23:33quello è rimasto
1:23:34>> cazzo. Il motivo per cui Open lavora
1:23:37sull'hardware, perché se tu ti spendi
1:23:39€300 a comprarti il tastierino, che
1:23:42cazzo ne so io, poi stai in open perché
1:23:44hai comprato quella roba lì,
1:23:46indipendentemente dai modelli. È una
1:23:48cosa, io qua lo dico come messaggio
1:23:51finale di ZIP, voglio una legge che dice
1:23:54i nuovi rilasci accadono il 12 del mese
1:23:58punto. Non potete ralasciare un cazzo
1:24:01prima o dopo, solo il 12 del mese, così
1:24:04tutti hanno il tempo di fare le cose
1:24:07eccetera eccetera. Questa è la mia nuova
1:24:09proposta. Ma guarda, credo che la Ei
1:24:13sarà una delle cose più normate
1:24:17che l'umanità ora vabbè, sembra Far
1:24:20West, per cui sembra strano pensare, ma
1:24:24credo che finirà che Dei sarà una delle
1:24:27cose in assoluto più normate della
1:24:29storia dei dei tempi e credo che
1:24:32comunque male non è per ora. Ok, il Fire
1:24:35West
1:24:35>> speriamo normato bene. Io dico solo
1:24:37questo, speriamo, ma credo c'è. Sì, cioè
1:24:39ci saranno dei controlli statali
1:24:41serissimi, di sicurezza perché non si
1:24:43può rischiare. Ora il Far West mi sta
1:24:46anche bene perché i danni che abbiamo
1:24:47fatto finora sono limitati rispetto alla
1:24:50crescita che c'è stata perché se
1:24:53l'obiettivo di Antropic è curare il
1:24:56cancro, se ci pensi ogni giorno perso
1:24:59sono vite perse, per cui se si va più
1:25:02veloce più veloci in questo frangente
1:25:05ovviamente se cercando di non morire
1:25:07prima tutti di estinzione, però va bene,
1:25:11diciamo, non rallentare sta cosa qui,
1:25:13però a un certo punto a tirare la linea
1:25:15e a dire d'ora in poi dobbiamo normare
1:25:18mano. La cosa che mi preoccupa è che una
1:25:20discussione seria in tal senso non è
1:25:23neanche iniziata.
1:25:25>> Eh, lo so. è tutto sempre un po'
1:25:28riconvertito in questo grande pulviscolo
1:25:31dell'ype, del marketing, del
1:25:33piazzamento. Speriamo che dopo dopo le
1:25:36IPO eh sì si diano un po' una regolata e
1:25:40solo che a quel punto devono guardare
1:25:42tutti i giorni come va la borsa, quindi
1:25:44non lo so. Vabbè.
1:25:45>> Eh, [sbuffare] infatti dopo che
1:25:47>> guarda abbiamo abbiamo raggiunto l'ora e
1:25:50mezza.
1:25:51>> Siamo l'ora e mezza. Per il pubblico
1:25:53vorrei dire che questa non è una scala,
1:25:55non porta assolutamente da nessuna
1:25:57parte, cioè c'è là il tetto,
1:26:00>> ma è un termoarredo. È un termoarredo.
1:26:02Tu attacchi la spina e si riscalda.
1:26:06Termoarredo bellissimo.
1:26:08>> L'accappatoio,
1:26:09eccetera eccetera. Poi cosa posso far
1:26:12vedere? Ah, ecco, questa è una TV.
1:26:15Siccome si deve vedere anche dall'altra
1:26:17parte c'è un meccanismo sotto che la
1:26:19alza e la abbassa di 60 cm, quindi tu
1:26:23col telecomando puoi alzarla e
1:26:24abbassarla e per gli appassionati dei
1:26:27vetro cemento ci sono queste mattonelle
1:26:29in vetro cemento verde più e più in
1:26:32fondo rosa.
1:26:34>> Però insomma poi nel prossimo episodio
1:26:36di
1:26:36>> non bruciare tutto, fai un po' di eh
1:26:39>> un po' di sliona,
1:26:42>> scagliona, scagion. Ah, e ovviamente
1:26:43prima di chiudere posso fare vedere
1:26:46un'altra cosa che è il fatto che questa
1:26:50scrivania si alza
1:26:54e si abbassa.
1:26:56>> A me piace pensare che è la tua sedia
1:26:58che si abbassa e si alza. [risate]
1:27:01>> Devo risolvere sto problema con le luci
1:27:03che fa questa fascia qui. Ma non
1:27:06possiamo che salutarvi. È stato bello
1:27:08stare con Enk e sarà bello.
1:27:10>> Oggi è stato bello. Mi piace.
1:27:12quasi un po' oggi è stato combattuto.
1:27:16Dovevamo parlare prima dei benchmark, è
1:27:17andata com'è andata, ma lo sapete ZIP è
1:27:19anche un format sicuramente di mente ma
1:27:23anche di cuore. Ma guarda H, essere
1:27:26d'accordo su sta roba qui sarebbe super
1:27:28preoccupante perché voglio dire, cioè
1:27:31non si può essere d'accordo su cioè o
1:27:34meglio anche nella parziale accordo,
1:27:37però bisogna farsi accordature, le
1:27:40sfumature,
1:27:41>> cioè io non sono d'accordo neanche su me
1:27:42stesso, cioè se mi auto se se invece di
1:27:44metterci là tu passo un altro me e inizi
1:27:48a parlare ti dico boh, ma guarda non lo
1:27:51so perché comunque bisogna coltivare un
1:27:54sano
1:27:55scetticismo, la voglia, diciamo, di
1:27:57ripensare alle cose per tre, quattro
1:27:59volte. Cioè, ragazzi, questo chi cazzo
1:28:01le aveva viste delle cose del genere?
1:28:02Quindi andiamoci andiamoci cauti. è un
1:28:05percorso e eh speriamo di continuare a
1:28:09farlo insieme anche con il pubblico.
1:28:11Ser [sbuffare]
1:28:18>> [musica]

About this transcript

This page contains the full transcript of AGI, benchmark e altri spinosissimi problemi: ZiP 5 by Salvatore Sanfilippo, generated from the public captions YouTube serves with the video. The transcript has 13,025 words across 2,137 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.