YT YouTube2Text

YouTube2Text → Transcripts → Decision Model: l’AI che decide al posto tuo (e Claude te l'addestra)

Decision Model: l’AI che decide al posto tuo (e Claude te l'addestra) — Transcript

by Simone Rizzo · 13,926 words · 2,373 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:01Siamo in diretta. Buonasera a tutti e
0:03benvenuti. Siete già in tantissimi, vedo
0:06un sacco di commenti. Ciao, ciao a tutti
0:08cuoricini. Ciao a tutti. Da dove vi
0:11siete collegati? Scrivetemelo adesso in
0:13chat la vostra città, al vostro paese.
0:16Nel mentre aspettiamo adesso un 5 minuti
0:19circa che aspettiamo un po' le persone
0:22ritardatarie e poi iniziamo con il
0:24workshop sui decision model. Pescara,
0:28Roma, Cagliari, Zurigo addirittura,
0:31Trani, Sardegna,
0:33direttamente da Roma. Tanti da Roma vedo
0:35oggi Bolzano, Marte, abbiamo il primo
0:38uomo su Marte, da Lecce, da Napoli, da
0:40Sassari. Sono italiano, ma eh troppo,
0:43troppi commenti. Bari, Lodi, Treviso,
0:46tanto io vi leggo tutti, eh. Milano,
0:49Modena, Guidonia,
0:52Asti, Catania, Viterbo, grande. Io lì ho
0:56fatto le mie superiori.
0:59Firenze,
1:01ci sono stato qualche giorno fa a
1:03Firenze. Fiumicino, Bari, Lucca,
1:05bellissima Lucca, Lecce, Martano,
1:08Pescara, provincia di Firenze,
1:12Caserta, Monopoli,
1:14Milano, Ostia, Roma. Da Roma veramente
1:17tanti questa sera, eh. Che è successo?
1:19Abbiamo anche Dussendolf, attenzione.
1:22Poi abbiamo chi viene da Paperopoli, da
1:25Genova, Losanna,
1:27Londra. Ah, bellissima Londra. Ticino,
1:30Forlì.
1:32La live di questa sera sarà salvabile?
1:35Tu basta che ti mantieni la URL di
1:38questa diretta e poi la potrai rivedere.
1:41Crema, Pinerolo,
1:44Francoforte, Bollate.
1:47Ah, siete tantissimi, stiamo spaccando
1:49internet.
1:51Forte dei Marmi,
1:53Picino Imperia. Aspettiamo adesso altri
1:563 minuti, 3 minuti prima della diretta
2:01e iniziamo a parlare dei Decision Model.
2:04Arezzo, Lugano, bellissima pure Lugano
2:07con l'ago, il casinò, Palermo,
2:11Napoli, c'è chi viene pure da Narnia,
2:14Perugia, Zurigo, a Zurigo già più di
2:17uno, eh, Pisa, dove ho studiato 5 anni,
2:20mi sono laureato, appunto, inai,
2:23Lecco, Marsala, Roma, Roma, Napoli,
2:27Messina, Torre del Greco, Catania,
2:30Austria, pure Austria abamo. Attenzione,
2:36ci sta un nome stranissimo. Monte
2:37Ponzio,
2:40Sassari, la Spezia, siete tantissimi.
2:42Rimini,
2:44Oslo. Oslo pure.
2:48Quindi tutti italiani che sono usciti,
2:50che vivono all'estero.
2:54Teramo, California, che bellezza.
2:59Tirana anche
3:02come si sta in Russia?
3:07Ok. Sotto sopra. Sotto sopra che è un
3:10paese?
3:13Sotto sopra esiste.
3:17Sao Paolo in Brasil. Bello. Prato.
3:21Prato, Prati.
3:24Comunque vi siete collegati da tutta
3:25Italia. È bellissimo, eh, son bellissime
3:27f ste dirette. Io mi diverto veramente
3:29tanto a organizzarle, avere un rapporto
3:32un po' più diretto live.
3:34Ferrara,
3:38Monte Porzio Catone, non so dove sia.
3:41Torino, Brescia,
3:44Torino. Ci sono stato poco fa alla alla
3:47Extech Week, la Wave by Vento.
3:49Bellissima conferenza, veramente una
3:51delle migliori in Italia lato e haai,
3:53soprattutto nel mondo startup e business
3:55venture.
3:57Padova, vicino Roma, Palermo. Quanto
4:00durerà la diretta? Durerà più o meno
4:03un'ora. E poi ci sta la parte di Q&A
4:06dove mi potete fare delle domande,
4:07quindi lì ci divertiamo ancora di più e
4:09si potrebbe allungare la parte di Q&A,
4:11dipende dalle domande che fate. Tutta
4:14Italia,
4:18Grosseto, Viareggio, c'è uno che scrive
4:20che viene da Chernobyl, ma non gli
4:21credo. Catania, Altopiano di Asiago. Ci
4:25siamo, sono le 9:05.
4:28Condivido adesso con voi le slides e ci
4:30addentriamo adesso
4:33nel futuro delle I con i decision model.
4:36Questo è un nuovo una nuova tipologia di
4:39modelli AI che praticamente eh
4:43rispondono in millisecondi quasi a costo
4:46zero e riescono a prendere decisioni
4:49senza produrre dei tokeni in output.
4:51Prima di tutto mi presento per le
4:53persone che non mi conoscono. Mi chiamo
4:54Simone Rizzo, ho un background
4:57accademico con laurea magistrale INE e
4:59fatta proprio all'Università di Pisa. Ho
5:01anche percorso la strada della ricerca
5:03scientifica con una pubblicazione al
5:07alla conferenza internazionale di
5:08Canterbury in Inghilterra sugli attacchi
5:11dei modelli AI. Poi ho sono un
5:15imprenditore con varie startup nel mondo
5:17AI. Eh, ho Inferentia, che è l'azienda
5:19che sviluppa soluzioni per le aziende,
5:22Atom, che è la mia startup di Londra e
5:25dove abbiamo creato questa piattaforma
5:27per fare compravendita di brevetti. Sono
5:29anche docente a contratto all'Università
5:31di Bologna e il mio progetto più grande
5:34a più ampio impatto che ho è la Rizzo AI
5:37Academy, che è un'accademy online di
5:39intelligenza artificiale che ad oggi
5:40conta più di 1300 iscritti attivi e nel
5:43mentre sono un divulgatore scientifico
5:45su tutti i social.
5:47Ho avuto modo di divulgare le ultime
5:49novità in televisione su Rai 3 a presa
5:53diretta. Sono stato anche invitato come
5:55esperto e in qualità di esperto al JRC
5:59di Siviglia che è un centro di ricerca
6:00della Commissione Europea dove è lì che
6:03è stato scritto l'AI Act. Ho avuto modo
6:05anche di intervistare i ricercatori che
6:07hanno contribuito all'AI Act. Ehm
6:11oggi andremo a vedere i Decision Model e
6:14il percorso che andremo a fare in
6:15quest'ora sarà strutturato in questo
6:17modo. Si parte da cosa sono i decision
6:19model, perché servono, casi d'uso reali
6:23dove li possiamo utilizzare, poi
6:25varianti open source gratuite perché io
6:28sono un grande amante stimatore dei
6:30modelli gratuiti e locali. Poi passiamo
6:33alla pratica, quindi effettivamente nel
6:35mio PC come si fa a scaricarlo uno,
6:38utilizzarlo e poi nella fase finale si
6:40fa la Q&A. Questo è un answering dove mi
6:42potete riempire di domande e sarò
6:44felicissimo di rispondervi.
6:47Per chi è pensato questo workshop? è
6:50pensato per i builder indipendenti,
6:53quindi chi sviluppa applicazioni SAS, eh
6:57o per gli operatori automat, quindi chi
7:00vuole automatizzare workflow nelle
7:02aziende, ottimizzare i processi anche
7:05per i power user aziendali, quindi mh
7:09chi si vuole automatizzare il lavoro per
7:11andare più veloce, essere più efficiente
7:13nel lavoro, business owner, chi ha
7:15attività, eh business online, business
7:18fisici, eccetera e soprattutto i i
7:21curiosi seri, gli smanettoni, le persone
7:24tecniche che vogliono comunque formarsi
7:27e saperne di più su questa nuova
7:28famiglia di modelli. Partiamo appunto da
7:31cosa sono i Decision Model. Non sono dei
7:34large language model e non ti producono
7:37testo. Questa è la più grande
7:38differenza. E i decision model non vanno
7:42a sostituire il lavoro dei large
7:44language model. Ok? Sono proprio due
7:46categorie diverse e andiamo a vedere
7:48anche perché e come. Come funziona il
7:53decision model? è un modello che prende
7:55decisioni e l'input che riceve potrebbe
7:59essere, ad esempio, una mail, un form di
8:01contatto, una recensione, una fattura,
8:04il messaggio in una chat e la
8:06particolarità del decision model è che è
8:08in grado di prendere decisioni solamente
8:11in dei modi vincolati e stringenti. La
8:14decisione che può prendere può essere
8:15buleana, quindi rispondere con sì no,
8:19quindi binario 01, oppure ti può
8:22rispondere con una classificazione,
8:24quindi scegliere una classe su
8:27un'opzione di classi disponibili, oppure
8:30ti può assegnare uno score su un range
8:33di valori. Ad esempio, in questo caso lo
8:34score è l'urgenza che c'è su questo
8:37ticket, su questa su questo input.
8:40Quindi lo possiamo vedere come un
8:41modello che è stato vincolato a
8:44rispondere con un determinata struttura
8:47di output, non genera testo.
8:54Il large language model può fare il
8:56lavoro del del decision model,
8:59può coprire il lavoro che fa decision
9:01model. Il decision model fa solamente
9:03questo compito specifico qua, ma lo fa
9:05estremamente bene, in modo estremamente
9:08veloce ed economico. Andiamo a vedere la
9:11differenza. Il large language model può
9:14fornirci questo output qua, cioè di
9:17poter classificare, assegnare degli
9:19score o a fare una classificazione
9:21buleana producendoci in output quello
9:24che si chiama JSON, quindi dandogli la
9:27mail, ad esempio, il large language
9:29model inizia a produrre token per token,
9:31token per token, ci mette 5 secondi, 6
9:33secondi e ci produce questo GSON dove
9:36effettivamente assegna la categoria eh
9:38con la sua confidenza, assegna la classe
9:41di urgenza alta e assegna a rischio di
9:44abbandono con un valore alto. Il
9:47decision model la stessa risposta te la
9:50dà in modo istantaneo, quasi immediato,
9:52con 150 misecondi di risposta.
9:56Ma invece di rimanere solo nella parte
9:58teorica, testiamolo in pratica. Ok?
10:01Andiamo nella parte pratica, ti mostro
10:02direttamente perché è così veloce.
10:05Andiamo a vedere proprio effettivamente
10:06quanto è più veloce rispetto ad un large
10:09language model. Quindi adesso condivido
10:11lo schermo
10:16e ho qua una piattaforma che ho fatto
10:19vibe codare dove andiamo a comparare JEV
10:23che è il decision model che ha aperto la
10:25pista a questa famiglia contro GPT Luna
10:29che è il large language model più veloce
10:31che c'è di Open AI.
10:33Qui a sinistra abbiamo delle mail da
10:35smaltire
10:37e quindi adesso cliccando su avvia gara
10:40vediamo come Jeev ha già finito in 1,61
10:43secondi di smistare tutte le mail,
10:46mentre GPT Luna vedi quanto ci impiega 3
10:48secondi e 50 mail.
10:56E qui adesso aspettiamo che termina
10:57anche GPT Luna che è il large model più
11:00veloce.
11:02Ed è questa la dimostrazione proprio
11:03reale di quanto effettivamente un
11:06decision model può essere più efficace
11:08in termini di tempo, ma soprattutto in
11:11termini di costo, perché GPT Luna per
11:13rispondere deve generare un sacco di
11:15token, mentre Jeev è immediato. Eccolo
11:18qua.
11:20Abbiamo che ehm
11:23Jeev fa 7,46 mail al secondo, GPT l'una
11:270,32.
11:29Tutte e due hanno risposto bene a tutto
11:32con la accuratezza massima, quindi non è
11:34che Jeev è meno intelligente delluna,
11:36sono intelligenti allo stesso modo, solo
11:39che il decision mod è nettamente più
11:40economico e nettamente più veloce perché
11:42è strutturato è stato costruito proprio
11:45per fare questi compiti qua.
11:49Dalla pratica adesso ritorniamo alla
11:51alle slides
11:53e questi modelli qua decision model si
11:55chiamano system one model. Ok? Modelli
11:59di tipo 1, model, mentre i large
12:02language model si chiamano system two
12:04model e prendono ispirazione dal libro
12:08Thinking slow, thinking fast, cioè
12:10ragiona veloce e ragiona lentamente.
12:13Facciamo degli esempi. Perché servono
12:16questi system one?
12:19Vedi il volto di una persona e tu
12:22immediatamente
12:24sai che la persona è è arrabbiata. Senza
12:26pensarci, immediatamente vedi il volto e
12:28capisci che è contento, capisci che è
12:30arrabbiato. Stessa cosa, stai andando in
12:33bicicletta, un pedone ti attraversa la
12:35strada, tu freni di getto in modo
12:39immediato, ancor prima di pensarci.
12:42Questa cosa che avviene in noi esseri
12:45umani è un ragionamento di tipo system
12:47one o fast thinking, cioè prendi delle
12:51decisioni in modo estremamente veloce
12:54senza ragionare o lo puoi dire in modo
12:57semplicemente distinto.
12:59Mentre se io ti do di fare a mente 17 *
13:0324
13:05e lì devi ragionarci 17* 24 non è
13:07immediata la risposta. Devi fare tre
13:09passaggi, devi fare le varie
13:11moltiplicazioni, ok? Lo stesso modo, se
13:14ti do la dichiarazione di redditi, eh,
13:16devi andare passo passo, quadro per
13:18quadro e ragionando e compilandolo.
13:20Questo è un pensiero lento, questo è un
13:22systemue, un slow thinking.
13:26Ora,
13:29se noi esseri umani in natura abbiamo
13:32questa distinzione di decisione presa al
13:35volo immediata e decisione ragionata,
13:38anche Leai adesso ha questi due modi di
13:40pensare. Quindi JEV rappresenta la
13:44famiglia dei decision model, dei system
13:47one model, dei ragionamenti veloci.
13:50C'ha GPT e Large Language Model
13:52rappresentano i sistemi lenti che
13:54ragionano
13:56e vanno usati insieme se vuoi l'agente
14:00hai più potente che tu possa mai
14:01desiderare. Ok? vanno accoppiati,
14:05va usato il large language model che
14:08imposta il decision model per
14:10supportarlo, per aiutarsi. È un'arma al
14:13decision model, è un tipo un coltellino
14:16svizzero che il Large Language Model lo
14:18può usare come meglio crede. Andiamo a
14:21vedere questa tabella adesso di
14:23comparazione in cosa si differenziano.
14:26Quindi Large Language Model in output
14:29produce testo libero da interpretare e
14:32validare, mentre il decision model ti dà
14:35dei valori tipizzati definiti in
14:37anticipo. ti può generare il testo, sai
14:39già che ti può dare o un numero o una
14:41classe o un risultato binario. Sì, no.
14:44Poi Large Language Model genera un token
14:46alla volta in sequenza. Decision model
14:49risponde in parallelo a tutte le domande
14:52che stanno nella query è proprio
14:54istantaneo.
14:55Velocità, qua la velocità l'abbiamo
14:57vista proprio nell'esempio pratico, dai
14:593 ai 329 secondi, quindi pure minuti
15:02aspetti per avere una risposta. Decision
15:05model dai 70 ai 500 misecondi, stiamo
15:07parlando di mezzo secondo, poi dipende
15:10dall'hardware, ma comunque molto molto
15:11veloce, sei sempre sotto il secondo.
15:14Costo l'LM costa un 20 cent
15:19dai 20 cent ai $10 $20 per milioni di
15:23token in input e calcola cinque volte
15:26più caro ogni 1 milione di token in
15:27output.
15:31Deis model invece paghi solamente
15:33l'input
15:34e lo paghi tipo una trentina di volte in
15:37meno e l'output non ti costa nulla
15:39perché l'output non genera token, è
15:41mediato.
15:43Sicurezza, questa è una parte
15:45interessante.
15:47Il large language model tende spesso a
15:49essere troppo sicuro di sé, anche quando
15:51sbaglia, si chiamano allucinazioni,
15:54mentre il decision model
15:56ha un ha associato alla risposta una
15:59probabilità calibrata
16:01e quindi ti permette anche di poter
16:03gestire i casi di incertezza,
16:05cosa che nell'ar language modelo, lui ti
16:07dà una risposta ed è super sicuro anche
16:10se è sbagliata.
16:12errori di formato, appunto, possibili
16:15risposte fuori dagli schemi,
16:16allucinazioni su decision model,
16:19eh sceglie tra le opzioni impreviste e
16:22tra le opzioni previste e se non lo sa
16:24gli aggiungi l'opzione non lo so e lui
16:26ti selezionerà l'opzione non lo so per
16:28quando è quando è incerto.
16:31con esempi pratici su tanti volumi di
16:33dati, di documenti, vediamo che qua si
16:37vede ancora di più la differenza, nel
16:39senso con 1,6 secondi per richiesta su
16:4210.000 documenti, il large language
16:44model ci vente 4 ore, mentre il decision
16:47model è 10 volte più veloce con 150
16:51misecondi per ogni risposta. Qua ho
16:54messo anche una tabella comparativa
16:56proprio così in casi limite estremi dove
17:00praticamente appunto 1000 decisioni al
17:03mese l'arg language moda ci mette 27
17:05minuti mentre il deciso moda ci mette 3
17:08minuti e il costo vedi da $ a 002 ma la
17:12differenza di costo la vedi su 10
17:14milioni di decisioni al mese da $10.000
17:17vai a $200. Quindi un risparmio
17:20incredibile. È per questo che io spingo
17:21tantissimo sui Division Model, perché
17:24per la maggior parte delle piccole e
17:26medie imprese non hanno bisogno del
17:29large language model di frontiera. Molto
17:31spesso le piccole e medie imprese quello
17:33che fanno è classificano le mails,
17:35mistano i ticket, gestiscono tanti
17:37documenti, devono estrapolare i dati dei
17:39documenti, classificarli, cioè alla fine
17:41il lavoro principale è questo qua e
17:45benvenga se ci stanno strumenti che mi
17:46fanno abbattere il costo da 10.000 a
17:48210.
17:52Cosa importantissima di Decision Model è
17:55che associata ad ogni risposta ai quella
17:58che è, diciamo, il livello di incertezza
18:00espresso come probabilità.
18:03Grazie a queste probabilità noi possiamo
18:06eh mettere dei threshold, cioè dei
18:09limiti dei dei dei livelli dove ad
18:12esempio superiore al 75%
18:15lasciamo la risposta automatica del
18:17modello. sotto a questa soglia, allora
18:20lo inviamo ad una persona reale o
18:23applichiamo il il controllo umano, cosa
18:26che nell'argent model non puoi fare
18:27perché perché l'argent good model è
18:29sempre molto sicuro di sé e quindi anche
18:32se tu gli chiedi di farti dare la
18:34confidenza ti spara confidenza del 99%
18:37del 98% anche se non è così non è così
18:40confidente. E questa è una degli
18:42vantaggi dei decision model oltre oltre
18:44al costo e la velocità è la sua
18:47affidabilità.
18:48Facciamo adesso un un compito insieme,
18:51un degli esercizi. Queste sono delle
18:54domande e voi a mente dovete rispondere
18:58quale utilizzare, se un large language
18:59model o un decision model. Partiamo
19:01dalla prima domanda. Rispondere a un
19:03cliente arrabbiato, large language model
19:06o decision model?
19:08Siccome bisogna rispondere a un cliente,
19:10large language model perché dobbiamo
19:11produrre del testo. Ok? Mentre questo
19:15lead è caldo, tiepido o freddo?
19:18Questa è una classificazione, quindi
19:20decision model, categoria di spesa di
19:23una fattura. Anche qua decision model
19:26bisogna categorizzare questo prompt è un
19:29tentativo di attacco, cioè c'è qualche
19:31malintenzionato che ci sta cercando di
19:33attaccare questo anche decision model
19:36perché è una classificazione binaria.
19:37Sì. No. Smissare 10.000 ticket nel
19:40reparto giusto. Questa che quale modello
19:43conviene utilizzare? Anche qua decision
19:45model perché è una classificazione.
19:48Riassumere un contratto di 40 pagine.
19:52Qui no, qua è un large language model
19:54perché dobbiamo ragionare e dobbiamo
19:56produrre riassunto.
19:58Scrivere un post per LinkedIn. Anche qua
20:01large language model, bisogna produrre
20:03del testo. Prossima azione che deve fare
20:06il mio agente.
20:08Qui puoi usare tutte e due, sia l'arge
20:10language model, perché magari la
20:11prossima azione è talmente complessa che
20:13devi ragionarci sopra che la prossima
20:15azione può essere presa di getto
20:17immediata e quindi un decision model può
20:20aiutare l'agente AI a prendere la la
20:22prossima decisione, la prossima azione.
20:25Chi è che ha aperto la strada di questa
20:27nuova famiglia? è stata JEV di Type CFI,
20:31quindi questa azienda ha sviluppato
20:32questo modello qua. Type AI ha avuto
20:35anche tantissimo tantissima pubblicità
20:37perché è un ex fondatore di Open AI di
20:39Oggo Almeida è colui che ha creato
20:42TypeFI, ci ha lavorato tanti anni e in
20:44modo ste lo sviluppo di questa
20:46applicazione.
20:48E
20:50e questa soluzione hai qua ha avuto un
20:52tantissimo riscontro
20:56al che lo diciamo tante altre aziende
20:59Tech hanno iniziato a sviluppare i
21:01propri decision model. Abbiamo Open AI
21:03che ha sviluppato le decisioni API con
21:06GPT 6A che praticamente viene GPT 6 è
21:10stato trasformato in un decision model.
21:13Microsoft ha fatto il suo Decision One,
21:16Perplexi ha fatto Perplexity Desider,
21:18Cloudfare ha fatto Clef, ma ce ne stanno
21:21veramente tantissimi altri, sono già
21:24decine di migliaia di questi modelli
21:26qua.
21:28Andiamo a vedere cosa ci puoi fare. Casi
21:30d'uso reali. Allora, puoi ovviamente
21:33smistare le mail, smistare i ticket di
21:35supporto, lo puoi utilizzare per fare
21:37scraping sul browser perché il decision
21:39model ti può dire cosa cliccare, quanto
21:42scrollare, cosa che bottone premere,
21:46quando come aprirlo e quindi aiuta la
21:48gente a navigare il web, classificare i
21:51documenti, immaginati di avere, non so,
21:54eh, centinaia e centinaia di contratti
21:57di NDA e devi in modo veloce cercare
21:59informazioni, quindi usi questi decision
22:02model per classificarli, smistarli,
22:04organizzarli.
22:06Eh, puoi usare questi decision model per
22:08appunto aiutare gli agenti I a scegliere
22:10i tool perché perché l'agente I si trova
22:13ad oggi a dover scegliere una skill su
22:1710.000 skill, il server MCP su 500
22:21server MCP e lì ti serve uno strumento
22:24che lo aiuta a classificare nel modo nel
22:26modo giusto. E poi per non parlare del
22:28lead scoring, quindi assegnare degli
22:31score ai lead, usarlo come guard rail e
22:34prompt injection, sentiment delle
22:36recensioni, moderazione contenuti,
22:38priorità e urgenza, lo possiamo
22:40utilizzare sui siti web per
22:42classificarli, categorizzarli,
22:44assegnargli degli score per fare la SEO.
22:46Possiamo usarli per tutta quella che è
22:49la parte anche di pubblicità, quindi
22:51andare su Facebook, Ads, Library,
22:54prendere tutti i tuoi competitor,
22:56scaricare tutte le creative e farle
22:58analizzare il decision model senza
23:00spendere tanti soldi e tanto tanto altro
23:02ancora. Ora, qual è il problema? È che
23:05queste soluzioni hai qua le paghi perché
23:07stanno in cloud. Jeb sta in cloud, Open
23:09sta in cloud, con Microsoft sta in cloud
23:12e alla fine se lo vuoi utilizzare ad
23:14esempio sulle mail, sui ticket, sulle
23:16cose, alla fine stai caricando i tuoi
23:17dati su dei server fuori che stanno
23:20fuori dall'Europa, li stai mandando in
23:21server di altre aziende e noi questo non
23:24vogliamo, che i nostri dati, email,
23:26clienti, fatture, documenti
23:29vadano esterne in un'altra azienda.
23:32Pertanto andiamo a vedere le alternative
23:36locali open source, perché Decision
23:38Model ci stanno anche le varianti
23:40completamente gratuite che puoi
23:41scaricare nel tuo PC e girano veramente
23:44veramente bene in modo molto molto
23:46veloce.
23:48Difatti, addirittura, Hugin Face, che è
23:51una piattaforma che è, diciamo, è la
23:53repository dei modelli i per quanti
23:56Decision Model Open Source stavano
23:58uscendo, ha aggiunto proprio il tag
24:01decision model ed hanno proprio una
24:03sezione di hagging face solamente per i
24:05decision model. Fra i decision model più
24:08popolari ti riporto l'aya che è anche
24:10quello più leggero da far girare,
24:12veramente il più leggero, CLM che è
24:15quello che ha l'architettura
24:17nuova che del Contrastive Language Model
24:20che a me piace tanto e un altro open è
24:23quello Rizzofrow che è stato sviluppato
24:24dalla nostra accademia.
24:27Come funziona per farlo girare in
24:29locale? è molto semplice. Si scarica il
24:31modello, si definiscono le domande e i
24:34dati. Ad esempio, dobbiamo smistare
24:36questi ticket, che domande gli vogliamo
24:38fare su questi ticket, a quale categoria
24:40assegnargli e che scorre vogliamo
24:42calcolare, quindi le domande. Poi si
24:45crea lo stato, lo stato che sarebbe poi
24:48l'input reale da passare al modello e
24:50poi dopo il modello ci dà l'output con
24:53associata la probabilità, come abbiamo
24:54visto prima, la confidenza.
24:57Nella diretta di oggi, in questo
24:58workshop, andiamo oltre perché non ti
25:00mostro semplicemente come scaricarlo e
25:02usarlo, ma ti mostro anche che tu puoi
25:05addestrarlo sui tuoi dati e migliorarlo
25:08nel tempo. Come lo facciamo questo?
25:10Utilizzando un coding agent, ad esempio
25:12Cloud, prenderemo quello che è un file
25:15CSV,
25:17faremo preparare i dati a Clode e
25:19addestreremo in locale un decision
25:21model. Faremo la valutazione per vedere
25:24se effettivamente è migliorato o no e
25:26poi lo andiamo a testare pronto all'uso,
25:29evidenziando effettivamente di quanto è
25:31migliorato, su che in che caso d'uso,
25:34come e perché. Quindi andremo a vedere
25:36tutto passo passo e direi di iniziare
25:40con la pratica, la parte più bella.
25:42Quindi vi ricondivido adesso lo schermo,
25:46ok?
25:49E partiamo con la cartella con i dati.
25:54Quindi su workshop
25:59la partiremo con il modello open source
26:01Laya che è il più leggero in modo tale
26:03che tutti lo possiate utilizzare locale
26:05e ho preparato qua una cartella che si
26:07chiama ticket dove dentro ci sta questo
26:10file CSV con dei ticket di supporto.
26:14Quindi adesso qua ve li apro.
26:17Abbiamo l'ID, abbiamo quello che è il
26:20testo del ticket. Vi inoltre un SMS
26:23ricevuto stamattina dal mittente, il mio
26:25sconto fedeltà di €10 al mese scade. E
26:28questi ticket sono di un'azienda che si
26:30chiama eh Nebula.
26:33E poi a destra qua nelle colonne abbiamo
26:37diciamo le risposte che vorremmo avere
26:41associati a questi ticket. ad esempio il
26:43reparto al quale smaltire il ticket,
26:45account privacy, emergenza, quindi
26:47media, alta, critica, bassa e il rischio
26:50di abbandono. Sì, no? Questi, ad
26:52esempio, sono i dati che vogliamo
26:54estrapolare da questi da queste
26:55informazioni qua. Ovviamente io le ho
26:57già calcolate,
26:59ma adesso andremo ad utilizzare un
27:01decision model per vedere se
27:02effettivamente è in grado di estrapolare
27:04questi dati qua e se sì con che
27:07accuratezza, con che precisione.
27:11E una volta che lo abbiamo fatto, poi
27:12passiamo alla fase di addestramento per
27:14dimostrarti che effettivamente puoi
27:15migliorare le performance di un decision
27:18model.
27:20Questi sono i dati. Inoltre abbiamo
27:22anche quello che è
27:24lo apro Visudio, la label guide, quindi
27:28ho preparato un documento,
27:31ve lo apro così.
27:35Eccolo qua. Guida di etichettatura,
27:38ticket di assistenza Nebula Fibra.
27:40Questa è l'azienda Nebula Fibra, un
27:43operatore internet italiano, fittizio
27:45che vende fibra bla bla bla. E ad
27:48esempio alle domande, quando io ti ho
27:50detto bisogna sapere le domande da
27:51porre, qua questo è un documento che
27:53descrive le domande, quindi reparto chi
27:55deve gestire il ticket, una sola scelta,
27:58quindi o amministrazione o guasti rete,
28:01assistenza apparati, attivazioni,
28:03disdette, commerciale, account privacy.
28:07Poi regole interne. Il reparto si
28:09sceglie dalla richiesta principale, non
28:11da ogni argomento citato, un cliente
28:12arrabbiato per un guasto che minaccia di
28:14disire, va a guasti rete. Quindi quello
28:16che sto facendo io è crea un documento
28:19con il con il knowwow, ok, di come si
28:22gestiscono tutte queste richieste.
28:24Questa documento lo potrebbe fare, ad
28:26esempio, Telecom Italia Team, si prepara
28:29questo documento qua per smaltire tutti
28:32i ticket, i livelli di urgenza, rischio
28:34di abbandono, eccetera, si prende quello
28:38che è un dataset di ticket che sono
28:41stati già smistati da un operatore umano
28:44e poi si può strutturare il suo decision
28:46model per risparmiare soldi, tempo ed
28:49essere super immediati. Quindi adesso
28:52andiamo ad utilizzare il coding agent.
28:55Apro qu nuova chat.
29:00Andiamo a eh aprire il progetto.
29:04Anzi facciamo nuovo ambiente.
29:07Scegli.
29:13Ecco qua. Ci mettiamo dentro la stessa
29:14cartella dove ci stanno i dati
29:17e adesso dobbiamo scaricare il modello e
29:19spiegargli cosa ci deve fare sopra i
29:21dati. Quindi per scaricare il modello,
29:23cosa proprio semplicissima, siccome
29:25vogliamo l'Aia, l'Aia Gitab,
29:29questa è la repository ufficiale di
29:30Laya, super popolare a 34.000 stelle
29:34e Laya è multilingual, decision engine,
29:38è un decision model, eccetera eccetera.
29:40Ma noi non ci dobbiamo preoccupare di
29:41come si sta il lato tecnico perché tanto
29:43il codice ci penserà tutto cloud. Quindi
29:44copiamo la URL,
29:47andiamo sul coding agent, la incolliamo
29:51e gli dico voglio
29:54scaricare in locale questo decision
29:58model
30:01per poter smistare
30:05i ticket
30:08che trovi
30:10nella cartella ticket.
30:15Voglio eh realizzare,
30:19anzi prima gli dico, nella carta della
30:20triget
30:24trovi anche un documento
30:27markdown che descrive le label e come
30:32trattare
30:34eh appunto le domande da porre su sui
30:37ticket.
30:43Voglio creare una web app
30:47dove in modo interattivo
30:50vedo come
30:52la smista questi ticket aperti
30:57e eh una volta premistati tutti voglio
31:04valutare
31:07appunto le metriche
31:09ed accuratezza rispetto
31:13alle risposte attese,
31:16perché abbiamo quel documento che ha sia
31:18il testo, che sarebbe la domanda, che le
31:21risposte attese che ci aspettiamo. Noi
31:22vogliamo vedere se effettivamente Laya
31:24risponde bene a tutte ste domande qua.
31:27L'Aya, ripeto, è il più piccolo dei
31:29decision model. Rizzoflow è molto più
31:31potente. L'ia ha 4 miliardi di
31:32parametri, l'aya ne ha 300 milioni. Qui
31:35stiamo parlando di uno di 0.3 3 contro
31:38uno di quattro, però anche su Rizzo Flow
31:41funziona allo stesso modo, lo scarichi e
31:42lo adess. Quindi voglio creare una web
31:44app dove in modo interattivo vedo come
31:46l'IA smista questi ticket e una volta
31:48smissati voglio vedere metri a crotezza
31:51rispetto risposta a risposte attese. Va
31:54bene così. Avviamo il tutto. Sto usando
31:56Opus 5.
31:58Conno alto. Vi consiglio sempre di
32:02posizionarvi in alto per la maggior
32:04parte del lavoro. Extra e Max M io non
32:08lo uso quasi mai consumano veramente
32:10tanto.
32:11E andando a guardare i benchmark, vedete
32:14proprio che il salto più alto di
32:16performance la si hanno da basso medio
32:19ad alto e poi extra max è consumare
32:23molti più crediti rispetto a poi il
32:25vantaggio di intelligenza che che
32:26effettivamente ha il modello. Quindi
32:28alto è anche quello che consigliano
32:30Antropic stessi di livello di di
32:32reasoning.
32:35Ora, nel mentre che lascio che il
32:37modello veda documenti
32:40e prepari il codice, scarichi il tut
32:46fuori in un'altra cartella
32:55qua su
33:00utilizzeremo per addestrare il modello.
33:02altra tabella che la utilizzeremo per
33:04fare l'addestramento. La tabella è
33:06questa qua. Vediamo più esempi.
33:11Come puoi vedere quando si parla di
33:12addestrare modelli, senza i dati non si
33:15fa nulla. Servono sempre i dati e il
33:17dataset e servono sempre le etichette.
33:21Cosa sono le etichette? L'output atteso.
33:24Perché per addestrare il modello hai
33:25bisogno sia dell'input, ma anche
33:27dell'output che ti aspetti del modello.
33:29Non basta solamente l'input.
33:33E quindi sul training anche qua ci
33:34stanno i dati etichettati, cioè ci sta
33:36l'input che è il testo e le risposte qua
33:40del reparto urgenza, rischio abbandono,
33:42eccetera.
33:45E questo qui appunto è il testo.
33:49Il dataset di validazione c'aveva un 200
33:53esempi. Questi sono 1500,
33:55ma una qualsiasi azienda che smaltisce i
33:57ticket avrà uno storico di ticket già
33:59smaltiti, basta che ti segni come sono
34:01stati smaltiti e facilmente crei un
34:04dataset. Non è difficile creare un
34:06dataset di questo tipo,
34:09altrimenti
34:11lo puoi anche creare in modo sintetico,
34:14quindi se non hai
34:17le risposte
34:21vediamo che adesso sta scaricando
34:23l'Oterà un po'
34:25e nel mentre possiamo anche fare un
34:27piccolo Q&A nel mentre che aspettiamo
34:30che il modello sta ragionando. Ok,
34:34sblocchiamo adesso la chat,
34:36così mi potete fare delle domande nel
34:38mentre.
34:40L'addestramento lo potete fare in locale
34:42anche sulla CPU, non c'è bisogno della
34:44scheda video. Che c'entra Cloud? Usiamo
34:48Clode per farmi scrivere il codice che
34:51utilizza il decision model. Quindi è
34:54come se sto creando un workflow, invece
34:56di farlo io a mano Cloud mi fa il
34:58workflow. Poi non serve più Cloud, poi
34:59Cloud lo puoi spegnere, poi da lì in poi
35:02vai con il workflow che già hai creato.
35:06Si può usare Studio per addestrarlo in
35:09locale? No, al momento Slatio non
35:11supporta decision model
35:16dal
35:21Aspetta, aspetta, ho troppe domande.
35:23Potresti parlare dell'utilizzo del
35:25deciso model applicato al mercato
35:26e-commerce? Ad esempio, sugli e-commerce
35:28lo puoi usare per le creative, quindi
35:30per le ADV, per capire cosa fanno i
35:31competitor, quanto spendono assegnare
35:34degli score, per quanto sta sono in
35:37linea con i tuoi contenuti, eh. Puoi mh
35:42usarlo anche per fare esplorazione di
35:44prodotti, cioè per capire quali altri
35:46prodotti vendere, quali altri prodotti
35:47ci stanno. Veramente l'e-commerce c'è il
35:50mondo infinito. È in grado di
35:52classificare pure le immagini? Sì, JEV è
35:55stato aggiornato e supporta adesso le
35:57immagini. Ci sono anche versioni open
35:59source che supportano le immagini.
36:03Possono categorizzare anche immagine od
36:05audio. Sì, ci stanno varianti che fanno
36:07anche audio. Eh, puoi utilizzare collab
36:10per l'addestramento? Certo,
36:11assolutamente.
36:13C'è GPT non lo fa. C'ha GPT lo fa, ma
36:17spenderesti molto di più ed è molto più
36:20lento e quando hai tanti dati non ne
36:23vale la pena. Ti ho fatto vedere prima
36:24l'esempio perché spendere €10.000 quando
36:26ne spendesti 200.
36:30Puoi usare immagini input? Sì, questa
36:33live ve la potrò recuperare, sì, basta
36:35segni la URL, è un link non in elenco.
36:38Requisiti hardware minimi. Allora, dato
36:40che l'A è un modello da 300 milioni di
36:43parametri, significa che ti occuperà eh
36:460.6 GB di RAM. Per l'addestramento
36:50almeno deve avere un processore decente,
36:52neanche sched da video. Processore.
36:57Strumento migliore per creare e
36:58interrogare un knowledge base ad ottobre
37:002026.
37:02E dipende come è fatta knowledge base. È
37:04fatta a grafo, è fatta database
37:06vittoriale, è fatta con database
37:08relazionale, comeè fatta la knowledge
37:11base?
37:13Il decision mod si potrebbe stare su una
37:15VPS e renderlo chiamabile VHTTP?
37:17Assolutamente sì. Questi decision model
37:19che scarichi in locale hanno proprio un
37:21server che è Jev compatibile, cioè
37:24compatibile con l'epi di Jeev.
37:28Sì, approfitto.
37:31Eh,
37:33ma devo per forza aggiornarlo.
37:36Sono anch'essi parte dei dei
37:38Transformer. Utilizzano parte del
37:41Transformer internamente per avere
37:43l'attenzione su sul testo.
37:48A livello di benchmark ci sono decisioni
37:49mod a livello di Office 5.5 per gli
37:51stessi task? Sì. E ci sta una
37:53leaderboard che poi andiamo a vedere su
37:55artificial analysis proprio di di
37:57comparazione tra i vari Decision Model.
37:59Anzi, ve la faccio vedere adesso.
38:02Intanto vediamo che qua sta lavorando,
38:03sta costruendo il backend per smistare.
38:06Vi apro qua che artificial,
38:10anzi facciamo decision model artificial
38:13analysis.
38:17Eccolo qua.
38:24Ah, no, no. Decision model artificial
38:27analysis
38:29decision model leaderboard.
38:32Ah, sì, eccola qua. Artificial analysis,
38:35che è l'azienda che si occupa di appunto
38:37categorizzare i modelli in ordine di
38:39intelligenza, ha da poco aggiunto
38:41Decision index V1.0, zero perché
38:43effettivamente ci sono tantissimi
38:44decision model che stanno uscendo e
38:46quindi hanno iniziato a valutarli. Il
38:48più potente adesso è Jev alla versione
38:501.13, poi abbiamo Glide, Microsoft
38:52Decision, Decider, Mercury Deider,
38:55Celeris, D1 di Liquid, Clef e GPT 6 Luna
39:01Decisions.
39:03Tra questi qua, quelli open source, il
39:05migliore è D1 liquid1. Questo qui è open
39:08source.
39:09E poi eh potete appunto vedere in base a
39:13costo per token, costo per intelligenza,
39:16ci sono veramente tantissime metriche di
39:18inferenza, quanto è veloce,
39:21qua che che dati supportano, se
39:23supportano immagini, se supportano test.
39:25Ad esempio, Liquid
39:27D1, questo modello qua, supporta sia
39:30testo che immagini ed è molto utile
39:33perché con le immagini può fare molte
39:35molte più cose. Comunque qua vedi la
39:37comparazione di intelligenza rispetto a
39:38GPT 6.1 Sol sullo stesso compito e
39:42addirittura lo botte su tutti i task
39:44quasi. Con le immagini si apre tutto un
39:46altro mondo perché gestendo le immagini
39:48in input puoi fare dei casi d'uso
39:50allucinanti, ad esempio come questo qua,
39:52dove data l'immagine di un PCB
39:55identifica la parte di anomalia e se eh
39:58appunto il il PCB è da rifiutare o da
40:01accettare magari per la vendita. E non
40:04solo, ma siccome gli dai un input,
40:06un'immagine, nelle nelle possibili
40:08scelte, lui ti può dire, ad esempio,
40:11voglio zoomare sul secondo quadrante,
40:13poi zoomando sul secondo quadrante ti
40:15può selezionare un'altra area da
40:17controllare perché gestendo in immagine
40:20in input delle immagini hanno aggiunto
40:22una nuova primitiva di tipo box che
40:25quindi ti risponde con la bounding box
40:27di dove sta l'oggetto che stai che stai
40:29cercando e quindi veramente si apre
40:31tutto un altro mondo.
40:34di applicazioni utilizzando le immagini,
40:36soprattutto per automatizzare
40:40agenti sul browser, qua nei videogiochi
40:42non ti dico, ma soprattutto per la
40:44robotica, perché i robots, appunto,
40:46vedono il mondo tramite le telecamere e
40:49devono prendere decisioni i robot, dove
40:51camminare, cosa fare, eccetera. Quindi
40:53Decision Modele su questo task qua
40:54faranno veramente la differenza. Ok,
40:58abbiamo adesso la prima versione Localos
41:008565.
41:02Sta verificando la web app nel browser.
41:04Intanto la possiamo aprire. Localost
41:0885
41:1075
41:12eh No, che il numero era? 75 65
41:1887 65 87
41:2165
41:23Eco qua a sinistra tutti i ticket aperti
41:27e adesso come andremo a premere via ora
41:30che avrà controllato tutto in locale,
41:33quindi senza spendere nessuno,
41:37eh smiseremo tutte queste questi ticket
41:39aperti. Mo vediamo se ha finito qua il
41:42tutto.
41:44Comunque in 9 minuti già ci ha fatto
41:46l'applicazione, quindi guarda quanto è
41:49bello il vibe coding dove lo scopo
41:52praticamente dell'essere umano è
41:53direzionarlo, cioè sapere quello che
41:55vuoi. hai un problema gestire ticket,
41:58sai qual è lo strumento giusto, l'IA a
42:00un decision model e poi deleghi a alla
42:04gente per la creazione del
42:05dell'applicazione, per il testing, per
42:07tutto quello che deve fare.
42:10Prima questo per fare ciò senza coding
42:13agent ci sarebbe servito molto molto più
42:15tempo per preparare tutto il codice, il
42:18dataset, pulire i dati, fare il
42:20training, tutto.
42:22Adesso vedrai come veramente in pochi
42:24minuti facciamo tutto. Verifica della
42:26web report funziona. Sistemo due
42:28dettagli e layout. Matrici piccole. Ok,
42:30sta sistemando gli ultimi dettagli del
42:32layout
42:40e lo lanciamo in locale. Vi posso far
42:42vedere pure
42:45che la performance non consuma nulla.
42:53Ecco qua, ha finito. Sta creando Redmi,
42:55quindi Redmi in realtà non ci interessa,
42:57lo possiamo già lanciare. Avviamo.
43:13Ecco qua, finito
43:17latenza media, 56 mise per ticket.
43:20Secondo me, c'è più lento il frontend
43:22rispetto a quanto veloce è sullo sullo
43:24smistare i ticket.
43:27Qua vedi per ognuno il reparto che ha
43:28scelto, l'urgenza, rischio di abbandono.
43:34Qua che è normale?
43:36Ah, no, ecco, aspetta, c'era c'era un
43:38time stamp
43:40istantaneo.
43:42Ecco, questa è la reale velocità di
43:45quanto veloce sta smistando i ticket.
43:47Infatti mi sembra strano.
43:5040 millisecondi a ticket. Una
43:53mitragliatrice. Tr.
43:55Ok, infatti.
43:58Qua vediamo i ticket come sono stati
44:00smistati. Vediamo la latenza media. Qua
44:02mi non gliel'ho chiesto, ma mi aveva
44:04messo lui che metteva lenta
44:06l'interfaccia grafica, ovviamente per
44:09capire cosa stava accadendo e
44:10controllare, ma noi io ti volevo
44:11mostrare quanto è veloce. Quindi,
44:13mettendo istantanea, praticamente
44:14toglieva i tempi di attesa, i tempi
44:16morti e direttamente smistava tutto.
44:19Come puoi vedere ha classificato, ha
44:21fatto le cose che gli abbiamo chiesto,
44:24ma siccome noi avevamo già etichettato i
44:26dati, cioè sapevamo bene ogni ticket
44:28dove lo dovevamo mettere, possiamo
44:30controllare quanti ne ha fatti corretti,
44:32quanti no. Ad esempio, su
44:33amministrazione ne ha sbagliato eh due
44:35su 18, su guasti rete ne ha sbagliati un
44:38po' di più, suistenza a parati ne ha
44:40sbagliati altrettanti, eccetera
44:42eccetera. Quindi in questo modo tu
44:44effettivamente puoi valutare quanto è
44:47performante.
44:49Ma adesso arriva il bello perché una
44:51volta valutato e ad esempio questa è
44:53l'accuratezza sul reparto, eh rischio
44:56abbandono, rischio
44:59con recol 39%, comunque vedi che le
45:00performance le performance non sono
45:03quelle che ci aspettavamo
45:06perché ticket da rivedere. Ecco qua,
45:09urgenza errata,
45:11rischio errato, reparto errato, tutti.
45:13Quindi qua possiamo vedere cosa ha
45:14sbagliato. Qua ha azzeccato commerciale
45:17alta e sì, qua invece ha sbagliato
45:19questo, ha sbagliato quest'altro. Quindi
45:21possiamo anche verificare cosa ha
45:22sbagliato.
45:25Ora adesso quello che possiamo fare è
45:26addestrarlo e migliorarlo. Quindi quello
45:29che faccio adesso è
45:31vado sul dataset, mi prendo il dataset
45:35che mi so preparato per addestrarlo, che
45:37qualsiasi azienda si può preparare
45:38velocemente, basta che va sullo storico
45:40dei ticket che ha già smistato e lo usa.
45:42Andiamo qua,
45:45andiamo dentro ticket e e ce lo incollo.
45:47Adesso gli dico dentro la cartella.
45:50ticket.
45:52Ho eh aggiunto un file CSV
45:58eh da utilizzare per migliorare
46:03le performance
46:06di Lia.
46:08Voglio effettuare un training su questi
46:11dati
46:14e successivamente
46:17voglio eh
46:21ricalcolare le metriche
46:24del dataset di prima, dei dati di prima
46:28su questo nuovo modello
46:32per vedere se effettivamente
46:37le performance
46:40sono migliorate
46:43o no? E se sì, di quanto?
46:49E basta basterebbe già così.
46:56Lui adesso esamina il CSV, studia la
46:58pipeline per il training, prepara il
47:00dataset, lo script di training. Ora
47:02tutta questa parte qua in realtà per
47:04farla servirebbe una laurea ne hai per
47:07capire come fa il training eccetera, ma
47:09siccome questi coding agent, large
47:11language model li addestrano proprio per
47:14qu per questo scopo qua, sono fortissimi
47:17nell'addestrare rete neurali, sono molto
47:20più forti di noi, so human nel training
47:23di modelli perché i laboratori di
47:25ricerca hanno dei soldi e dicono in che
47:28direzione vogliamo investire nelle
47:32nella nella medicina,
47:35nel nuovi materiali, oppure investiamo
47:38nel fatto che sia più bravo ad
47:40autoaddestrarsi, cioè a fare miglioria
47:42ricorsiva, cioè le hai che migliora le
47:44hai successiva, che migliora le hai
47:46successiva che migliora le hai
47:47successiva e così sono andati e questa è
47:50la direzione che hanno presa la surf
47:52recurring ai cioè che sia auto migliore
47:54e si auto a destra, quindi su tutti i
47:56task di addestra reti effettivamente
47:59sono molto molto molto bravi.
48:02Quindi ha visto il dataset 4500 domande
48:05valide, le calibra e adesso le le
48:08spezzetta e fa quattro epoche. Quindi
48:10che significa quattro epoche? che gli fa
48:12vedere per quattro volte tutti i dati e
48:15nel mentre adesso sta controllando
48:18quella che è la mia il mio hardware, sta
48:20vedendo che GPU ho, quanto spazio ho,
48:22quindi in base al tuo PC si regola lui
48:25tutti i settaggi, se non hai la scheda
48:27video, usa il processore e ti dirà
48:28guarda, ci metterai un po' di più, però
48:30circa mezz'ora, un'ora avrai finito
48:32l'addestramento.
48:34Fa tutto il settaggio, poi parte con
48:36l'addestramento. Mo adesso quando
48:38partirà l'addestramento lo vedremo qua
48:40sul CUDA. Eh, anzi è già partito, vedi?
48:43Sta al 77-78%.
48:46Già partito con l'addestramento,
48:49vedi? 9 GB di memoria, quindi base che
48:51c'è 9 GB di RAM lo puoi addestrare.
48:53Qualsiasi computer con 16 GB lo addestri
48:56in locale. Il fatto della scheda video,
48:58avere o no la scheda video, ti cambia
49:00solamente la velocità. Con la scheda
49:02video ci metti meno tempo, con senza
49:04scheda video ci metti un po' più di
49:05tempo, ma sempre che lo puoi addestrare
49:07in locale.
49:10Quindi quello che sta succedendo adesso
49:12e te lo posso disegnare
49:15velocemente così con uno schema è che
49:18abbiamo scaricato il modello,
49:24avevamo un primo dataset di ticket,
49:30abbiamo lasciato il modello decidere,
49:33fornirci delle risposte sui ticket, sì,
49:36no, classe, eccetera. Siccome che questo
49:40dataset qua aveva le etichette, quindi
49:43sapevamo qual era il risultato che
49:45volevamo, sapevamo qual era il risultato
49:47che volevamo, abbiamo fatto una
49:49comparazione con le scelte del modello e
49:52abbiamo calcolato un'accuratezza
49:55in percentuale.
49:57Fatto ciò, non ci piace perché magari
50:00non va come vorremmo. Allora, abbiamo
50:02preso un altro dataset
50:05e adesso lo andiamo ad utilizzare per
50:07addestrare, fare proprio training e
50:09addestrare nuovo modello. Quindi questo
50:10lo chiameremo modello new nuovo.
50:15Fatto questo modello nuovo qua
50:16addestrato,
50:18ci riprendiamo il dataset questo qui che
50:20non ha mai visto. Questo non l'ha mai
50:22visto perché sta al di fuori di questo.
50:25Sono due diversi.
50:27Lo mettiamo in input in quello nuovo che
50:29ci darà un nuovo output.
50:32E questo nuovo output lo compariamo con
50:35appunto l'output atteso che già avevamo
50:38calcolato per vedere la nuova
50:39accuratezza in percentuale
50:42e vedere se questa è superiore rispetto
50:45a quella precedente, se effettivamente
50:46ha migliorato le performance. Qua
50:48vediamo che CUDA sta al 90%.
50:53Ecco qua,
50:57ci dice che la loss sta in calo, cioè
50:59che la l'addestramento sta andando bene
51:01nella prima epoca o la parte già è stato
51:04preparato per il modello, calcolo del
51:05confronto, il training sta a metà della
51:08prima epoca, 25%.
51:11La UI aggiornata funziona, quindi nel
51:13mentre sta facendo training sta
51:15migliorando l'interfaccia grafica,
51:18quindi qua posso anche ricaricarlo.
51:21Ecco qua. Infatti mi ha messo qua la
51:23scelta. Quindi, non appena adesso finirà
51:26il modello, posso scegliere se far
51:27girare quello originale in zero shot,
51:30cioè senza averlo addestrato su nulla,
51:33oppure far girare quello che stiamo
51:34addestrando adesso, tempo che finisce eh
51:38in background l'addestramento.
51:43Tanto che aspettiamo che termina
51:45l'addestramento, ritorniamo adesso al
51:46Q&A veloce, se avete domande, perché vi
51:48ho spiegato un po' e vi ho dato un po'
51:49di nozioni.
51:51si può usare per fare scraping su siti
51:53web, lo puoi usare per la parte di
51:55automazione di scraping. Quindi se lo
51:58scraper deve andare sul sito
51:59dell'agenzia dentrate deve cliccare,
52:00deve scrollare, deve aprire delle
52:02finestre, delle cose. Quelle sono tutte
52:04decisioni. Dove clicco, quale finestra
52:07apro?
52:08Su quale opzione clicco, di quanto
52:11scrollo. Tutte queste sono scelte che
52:13Decision Model può prendere.
52:17Ma si potrebbe installare manualmente un
52:19deciso mod un PC in assistenza di un
52:21account cloud code?
52:24Su di un PC in assistenza di un account
52:26cloud code? Sì, certamente, ma io ho
52:29preparato proprio dentro l'accademia ci
52:31sono delle lezioni specifiche su come
52:33accoppiare Cloud Code a un decision
52:35model, come usare in decision model per
52:37fare scraping, per quindi automatizzare
52:40lo scraping. Ci sta di tutto e di più.
52:42Devo per forza addestrarlo, no?
52:45Non devi per forza addestrarlo. Se
52:47utilizzi un deciso model grande, tipo eh
52:51Rizzo oflow da 4 miliardi di parametri o
52:53da 8 miliardi di parametri, ti chiedono
52:54più risorse, ma già funzionano
52:56benissimo, non ti richiede di
52:57addestrarlo. Questo te lo sto mostrando
53:00per avere la massima ottimizzazione,
53:02cioè te lo prendi uno piccolo e non
53:03solo, ma lo addestri, lo ottimizzi e da
53:06quel momento in poi è fortissimo nel suo
53:07compito.
53:11Simone, puoi ricordare quanti valori
53:13possibili hanno massimo in uscita? Non
53:15binario, grazie. Ah, per le categorie
53:19può scegliere tipo Jeev su al massimo
53:23puoi avere 255 opzioni, ma adesso questa
53:25questo formato lo stanno estendendo.
53:28Può lavorare su Paper Clip? Sì, puoi
53:31prendere un decision model e e tramite
53:34skill l'aggiungi agli agenti su Paper
53:36Clip che lo possono utilizzare.
53:40Abbiamo altre domande? Altre domande.
53:43Ritieni un vantaggio addestrare questo
53:45tipo di modello con lo stesso meccanismo
53:46che è stato utilizzato nell'evento in
53:48via G di Berlino per insegnare il mini
53:50robot a muoversi rispondere ai comandi?
53:52Assolutamente sì. È proprio questo il
53:54vantaggio che siccome è locale il
53:56modello lo possiamo continuare a
53:58migliorare nel tempo. Non è un quel un
54:00qualcosa che sta in cloud, i dati vanno
54:03fuori e e devi e devi farti andar bene
54:07l'output che ti dà. Questo no, lo
54:08possiamo completamente controllare, i
54:10dati non vanno fuori e lo puoi
54:12addestrare.
54:16Altre domande? Altre domande? Eccole
54:18qua, stanno arrivando.
54:20Troppe. Adesso di colpo sono tutte. Ma
54:23su G eh GD su scheda video da 35 anni si
54:27può testare? Assolutamente sì.
54:29E VK versione 4 miliardi. 4 miliardi già
54:32un po' più grande, devi avere almeno 8
54:34GB di, cioè ti occupa 8 GB nella RAM o
54:38nella VAM. Ti volevo chiedere nella tua
54:40accademia avessi dei prezzi vantaggiosi
54:42per gli studenti, prezzo ridotto, avere
54:44i moduli a cui interesserebbero gli
54:45studenti. L'accademia è strutturata a
54:47percorso e dopo ve lo spiego nel
54:49dettaglio e vi mostro pure dentro com'è
54:51fatta e com'è tutta strutturata. Dopo
54:53dopo ci arriviamo. Possiamo utilizzare
54:55l'Aia con Codex? Assolutamente sì, si
54:57può affiancare l'Aja con Codex. È
54:59possibile integrare i DM con WhatsApp,
55:02Business, Telegram pur mantenendo il
55:04modello locale? Assolutamente sì. Basta
55:07creare un piccolo web server che si
55:08collega all'API di WhatsApp Business e
55:11il modello sta in locale. Assolutamente
55:12sì. Rizow gira su notebook? Sì, ma
55:16Rizlow già ti occupa un 4-5 GB di RAM. È
55:19più più intelligente e più grande. Ti
55:22volevo chiedere se Ah, questo già visto.
55:24Ferrizzo dice mo di fare fine tuning
55:25senza un Nvidia? Sì, può fare fine
55:28tuning, ma è molto lento.
55:31Eh, però se è anche un'altra scheda
55:34video che non è Nvidia, MD eccetera, si
55:36può fare fine tuning in modo più veloce.
55:38Meglio usare Cloud, c'ha GPT. Eh,
55:41secondo me stanno molto molto vicini.
55:43Per
55:45il coding secondo me è meglio Cloud e
55:49CPT è meglio magari per affrontare
55:51problemi di matematica, di frontiera. si
55:54stanno specializzando, c'è GPT un po'
55:56più sulla matematica e Cloud continua
55:58con il coding e con il coding
56:01praticamente
56:04è possibile
56:05fargli estrarre variabili e fargli
56:07creare dei JSON partendo dai dati
56:08semantici in input sotto forma di
56:10markdown. Assolutamente sì.
56:15Si può scaricare su un PC aziendale la
56:17web app? È solo deciso un modo per farlo
56:19funzionare senza NLM. una volta
56:21l'abbiamo già addestrato. Sì, lo
56:23possiamo anche mettere sul come web app
56:26il il decision model. Ok, vedo che
56:28l'addestramento è terminato. Ricondivido
56:31lo schermo.
56:33Oh, eccolo qua.
56:35Abbiamo training.
56:38La UI è aggiornata. Valutare il modello
56:40F tunato su 240 ticket. ha terminato il
56:43training perché ho visto che di colpo è
56:44finita è finito il il carico sulla cuda
56:48sulla scheda video e adesso qua è
56:50ricaricato e risceso perché sta facendo
56:52inferenza per testare le risposte.
56:55Miglioramento netto su tutte e tre le
56:57etichette. Ora riavvia la web app con
56:59entrambi i modelli e verifica il
57:00confronto in modo interattivo. Nel
57:02mentre lo possiamo aggiornare anche noi.
57:08Ah no, lo sta aggiornando lui.
57:09Aspettiamo un po'.
57:12Se
57:15aspettiamo che finisce quest'ultima
57:17parte.
57:21Vediamo se ci stanno altre domande.
57:23Altre domande?
57:30Anche per lo scraping su web ha bisogno
57:31di un documento per prendere decisioni.
57:34Ehm, allora, sullo scraping sul web è
57:37l'accoppiata Decision Model e coding
57:40agent, quindi il documento glielo crea
57:43il coding agent al volo sul decision
57:46model. In che senso? Cis model deve
57:48avere input quello che è ad esempio il
57:51DOM del sito, l'HTML del sito e gli devi
57:54tu dire, ad esempio, questo è
57:55l'obiettivo, voglio, non lo so, prendere
57:57il volo per andare a Madrid, questo è
57:59l'obiettivo. E le possibili opzioni sono
58:02clicca su questa barra, clicca su questo
58:04dropdown, aperto il dropdown, clicca su
58:06quale opzione e quindi la gente crea il
58:09documento da dare al decision model, si
58:11accoppiano
58:13e così vanno di pari passo.
58:16Ok? è terminato adesso realmente tutto e
58:19vediamo qua la differenza. Cioè il
58:21modello base faceva 50% mo adesso 92.5
58:26da 49 a 92, da 28 a 79,
58:30quindi abbiamo avuto un 42% 50% di
58:33miglioria su sullo smistamento su dati
58:36che non ha visto in fase di
58:37addestramento. Ok? Importante. Quindi
58:40adesso proviamo a riaggiornare qua la
58:42piattaforma. Eccola qua. Selezioniamo il
58:45modello di prima. normale,
58:48istantaneo
58:52e poi lanciamo quello che abbiamo
58:54addestrato noi e vediamo poi qua quanto
58:58più preciso e azzeccato è rispetto a
59:00questo qua.
59:05Eccolo qua,
59:0850%
59:11recall precision. Eccola qua. Questa è
59:13la Confusion Matrix, matrice di
59:15confusione, dove puoi vedere appunto
59:17come quanto quanta zona rossa c'è,
59:19quanti falsi positivi, quanti errori ci
59:21stanno. Prendiamo adesso quello che
59:23abbiamo addestrato
59:26e vediamo. Vedi molti molti più verdi.
59:30Eccolo qua.
59:32Ovviamente qualcuno lo può comunque
59:34sbagliare perché il modello è comunque
59:36un modello
59:37che non ha il 100% di accuratezza
59:39assoluta, ma nemmeno GPT Astra ce l'ha.
59:41Ok, però puoi vedere quanto ci azzecca
59:44molto di più. Qua vedi proprio la
59:46differenza in punti percentuali
59:49e adesso arriva a 92,5% nello smistare
59:52questi ticket. Vedi, adesso la confusion
59:54matrix è molto più pulita, ci sta molto
59:57meno rosso e adesso abbiamo un modello
1:00:00che è una bestia nel fare questo
1:00:01compito. Senza saper programmare, senza
1:00:04essere esperti, c'abbiamo un modello
1:00:06locale leggero veloce specializzato per
1:00:08questo compito che ce l'ha creato Cloud
1:00:11Code. Quindi tu adesso pensa nella tua
1:00:13attività, nella tua azienda, su quanti
1:00:16step, su quanti processi puoi andarli ad
1:00:18automatizzare con questi piccoli modelli
1:00:20veloci che prendono decisioni e che
1:00:22ragionano in modo velocissimo. Torniamo
1:00:25adesso alle slides e ti parlo di Rizzo
1:00:28Flow perché dentro la Rizzo Ai Academy
1:00:30abbiamo sviluppato
1:00:32appunto il nostro decision model. Rizzo
1:00:35Flo ha avuto anche molto successo nella
1:00:37community.
1:00:39Difatti la Repository Sugitab ha
1:00:41raggiunto quasi le 1000 stelle. Siamo a
1:00:43938 stelle su Gitab. Ci stanno
1:00:47dall'Asia, dalla Cina, utenti che lo
1:00:50stanno utilizzando, laboratori che ci
1:00:52stanno costruendo prodotti sopra. È un
1:00:54modello da 4 miliardi che è stato
1:00:57calibrato, quindi io l'ho preparato e
1:01:00addestrato per essere general purpose,
1:01:02cioè che senza ulteriori addestramenti
1:01:04può già funzionare bene su tantissimi
1:01:06scopi. Poi se vuoi ci sta anche qua il
1:01:09codice per l'addestramento e puoi
1:01:11continuare ad addestrarlo sul tuo caso
1:01:13se vuoi renderlo ancora più affilato,
1:01:15ancora più preciso nel tuo nel tuo
1:01:18compito.
1:01:20E questa è la è la landing page dove ti
1:01:23spiego un attimo le caratteristiche del
1:01:26modello, su cosa ti serve, eccetera.
1:01:30E ritornando adesso alle slides,
1:01:36adesso ti dico un'ultima cosa prima di
1:01:39passare alla fase di Q&A. Fermati un
1:01:41secondo. Guarda cosa abbiamo fatto
1:01:43stasera. In pochi minuti abbiamo preso
1:01:46un decision model, l'abbiamo addestrato
1:01:48sui nostri dati in locale che riesce a
1:01:50decidere in millisecondi senza dover
1:01:52spendere abbonamenti, soldi, API e token
1:01:56ed essere liberi e avere 100% garanzia
1:01:59di privacy sui nostri dati. La stessa
1:02:01cosa praticamente in due epoche
1:02:04totalmente distinte. Prima ci volevano
1:02:08soldi, tanto tempo, dovevi addestrare un
1:02:10modello da zero, ti serviva un data
1:02:12scientist, migliaia, migliaia di esempi,
1:02:15mesi di sviluppo, oppure anche nel nel
1:02:17recente passato usavi il large language
1:02:19model, lentissimo nelle risposte, paghi
1:02:22ogni singola decisione, paghi token per
1:02:25token, mentre questa sera abbiamo visto
1:02:27come in 15 minuti, 20 minuti subito
1:02:30scarichi un modello, lo testi, lo
1:02:32valuti, lo addestri sui dati e dai un e
1:02:35hai che prendere le decisioni sul tuo
1:02:37caso d'uso, ti fa risparmiare un sacco
1:02:39di tempo e ti risponde in millisecondi.
1:02:42Il punto non è il modello di questa
1:02:45sera, è chi diventi quando sviluppi
1:02:48questa conoscenza e quando inizi ad
1:02:50addestrarti i modelli da solo. È questa
1:02:52la vera differenza.
1:02:54E sono delle competenze pratiche che ti
1:02:56puoi portare giorno dopo giorno, cioè
1:02:58una volta che tu capisci quali sono gli
1:03:00strumenti giusti, cosa succede sotto e
1:03:01come usarli,
1:03:03cambia tutto nel nel tuo lavoro, cambia
1:03:06esattamente chi sei. Se sei un
1:03:07consulente, conseg puoi consegnare ai
1:03:11clienti modelli addestrati sui loro dati
1:03:13che restano in casa loro, quindi locali
1:03:15per studi professionali, quindi li puoi
1:03:18automatizzare tutto, smisti, pratiche,
1:03:20mail, documenti per le aziende,
1:03:22automatizzare decisioni ripetitive,
1:03:25business online, quindi lead scoring,
1:03:27assistence, sugli e-commerce c'è un
1:03:29mondo e soprattutto se costruisci agenti
1:03:33non puoi non affiancare al tuo agente un
1:03:35decision model assolutamente e dal
1:03:37giorno dopo puoi già utilizzarlo.
1:03:40C'è da dire però una cosa, da soli non
1:03:42basta. Vedere come si fa e saperlo fare
1:03:45sono due cose completamente diverse e
1:03:47domani magari quando riproverai a farlo
1:03:50ti arriveranno le solite domande. Quale
1:03:52strumento uso? Da dove parto? Come lo
1:03:54collego? Perché non funziona? Come lo
1:03:57porto in produzione?
1:03:59Come lo faccio far usare ad un cliente?
1:04:02E qui la maggior parte delle persone si
1:04:04blocca. La differenza sta qua nel
1:04:07percorso
1:04:08perché la Riz Academy offre una
1:04:11direzione chiara, ti offre una un
1:04:14percorso nel tempo perché l'intelligenza
1:04:16artificiale va alla velocità della luce,
1:04:18quindi non non è solamente video
1:04:20lezioni, ma è una comunità di persone
1:04:23che condividono i tuoi stessi interessi
1:04:25e che migliorano nel tempo insieme a te,
1:04:27che avanzano insieme a te.
1:04:30Ehm
1:04:32e non non solo, ma l'accademia è sempre
1:04:35aggiornata perché abbiamo, ad esempio,
1:04:37aggiunto un nuovo corso che si chiama
1:04:39Jev 360 dove andiamo a parlare appunto
1:04:41dei system one model partendo da JEV, i
1:04:45i le primitive di JEV, come si
1:04:46implementa sulle PI, casi di uso reali
1:04:49con il codice, come si collega Jev,
1:04:51cloud code, alternative open source,
1:04:54come si utilizzano Rizzoflow e poi ad
1:04:56esempio è uscita Jeff sullle immagini,
1:04:57quindi ci stanno tutte le lezioni
1:05:00su come utilizzare Jev sulle immagini e
1:05:02ad esempio ho preso un video di una
1:05:04telecamera di sicurezza dove ci stava un
1:05:05ladro che andava a rubare le cose e ho
1:05:07dimostrato come usando Jev, senza
1:05:09addestrare su nessun dato, nulla e
1:05:13riusciva ad identificare esattamente in
1:05:14che momento entrava, cosa stava facendo,
1:05:16che azioni faceva, se stava scappando,
1:05:18se stava rubando. Per non parlare dei
1:05:22praticamente constraint decoder model,
1:05:25abbiamo una nuova famiglia che è nata,
1:05:27successiva Decision Model di Jeev, che
1:05:29si chiama Constrain Decoding Model, che
1:05:31è estremamente interessante che è stata
1:05:33trattata nel workshop dentro l'Accademia
1:05:36dove praticamente questi modelli qua
1:05:38sono sempre modelli system one che
1:05:40prendono decisioni in modo immediato, ma
1:05:42che riescono anche a fare altre cose,
1:05:44riescono a classificare, fare la
1:05:47compaction, quindi ridurre un prompt di
1:05:50sistema, fare il riassunto di testi,
1:05:53dare dei range di valori, fare dei
1:05:55calcoli ed estrapolare dei dati. Quindi
1:05:58immaginati una fattura, tu non solo vuoi
1:06:01classificarla, ma tu vuoi estrapolare,
1:06:03ad esempio, ragione sociale, vuoi
1:06:04estrapolare la partita IVA, vuoi
1:06:06prendere il eh l'ammontare del della
1:06:09fattura e quindi lì non ha senso usare
1:06:12il Large Language Model per estrapolare
1:06:1513 campi, non ha senso generare token,
1:06:17ma usi questi CDM, questi nuovi modelli
1:06:19per estrapolare questi campi qua e non
1:06:22solo, ma riescono a fare poi
1:06:23forecasting. sono modelli allucinanti
1:06:25ehm che sto trattando ultimamente dentro
1:06:28l'accademia. E adesso voglio mostrarti
1:06:30effettivamente come funziona
1:06:31l'accademia, dato che prima mi avete
1:06:32fatto delle domande.
1:06:35L'accademia è fatta con un unico
1:06:36abbonamento che ti include tutto, quindi
1:06:39tutto intendo tutti i corsi con tutti i
1:06:41futuri aggiornamenti sui corsi. Ci sta
1:06:43il corso sul vibe coding, quindi cloud
1:06:45code, spec driven programming, tutti
1:06:48quelli che sono gli agenti clop. corso
1:06:50per creare agenti in Python da mettere
1:06:53in produzione, quindi se vuoi creare
1:06:54proprio prodotti seri che devi gestire
1:06:56centinaia di migliaia di utenti, corso
1:06:59no code su N8N che ancora va molto, eh
1:07:02corso teorico su come funzionano i large
1:07:04langage model, attenzione Acker delle
1:07:06che adesso è un tema molto cruciale
1:07:08tutti gli attacchi che stanno facendo
1:07:09sui modelli, prompt injection, prompt
1:07:11leaking, gillaking, obliterated, come si
1:07:13sbloccano i modelli unscensored e ha il
1:07:16locale, questo è uno dei corsi più
1:07:18seguiti in assoluto, quindi si parla
1:07:19parla di eh modelli offline,
1:07:21quantizzazione, hardware necessario,
1:07:24model runner,
1:07:27corso sulla computer vision, corso per
1:07:29sulle i per le vendite digitali, corso
1:07:31sul stack, masterclass commerciale
1:07:34inclusa e il corso, appunto, di GF360.
1:07:37Ma il valore reale dell'Accademia sta
1:07:40nella community che ti mostro. Questa è
1:07:42la community Discord.
1:07:44Dentro la community Discord trovi
1:07:47praticamente quelle che sono le chat
1:07:49della community, quindi dove le persone
1:07:51possono condividere skills, strumenti,
1:07:55tool. Poi ci sta ad esempio il bar dei
1:07:58nerd dove si condividono tutti gli
1:08:00ultimi paper, novità. Ci sta un corso ad
1:08:03hoc per l'hardware, hardware per AI
1:08:05locale, perché ci stanno moltissime
1:08:06persone che stanno facendo esperimenti,
1:08:08stanno ottimizzando eh i modelli su un
1:08:11determinato hardware e quindi è
1:08:12interessante condividere, ad esempio, ho
1:08:14questo hardware, tu che hardware hai?
1:08:16Come ti gira a te? Come mi gira a me?
1:08:18tantissimi progetti didattici dentro
1:08:20l'Accademia. Ogni tot tempo partono i
1:08:22progetti didattici dove ognuno delle
1:08:25persone iscritte può sviluppare la
1:08:26propria soluzione e poi valutiamo le
1:08:28varie implementazioni. Abbiamo fatto
1:08:30debbait lens che è questo qua per
1:08:32diciamo analizzare con le AI i dibattiti
1:08:34politici. Abbiamo fatto Trading Agent,
1:08:37un agente A che fa trading, Rizzo Mesh,
1:08:40un EAI che genera oggetti in 3D. Ci
1:08:43stanno di tutto, community per creare
1:08:46progetti e projects, offerte di lavoro,
1:08:49puoi anche trovare lavoro in accademia.
1:08:52Per esempio, qua stanno cercando un
1:08:56business developer, un front-end, un
1:08:58backend. Poi vabbè, ci stanno i progetti
1:09:01interni all'Accademia come Rizzo P,
1:09:02Rizzo Flow e la parte più importante è
1:09:04il help e domande. Tutta la parte forum
1:09:06dove qualsiasi persona, qualsiasi
1:09:08dubbio, domanda ha, ha il supporto mio,
1:09:11del mio team e anche della community.
1:09:14Quindi qua veramente trovi il posto per
1:09:16poter rispondere alle tue domande anche
1:09:19personali su progetti, su dubbi,
1:09:21incertezze, errori sul codice, eccetera,
1:09:24per non parlare poi di tutti i canali
1:09:26sulle news, ehm, leaderboard, eh
1:09:30archivio delle dirette, quindi tutte le
1:09:32dirette settimanali vengono poi
1:09:33archiviate e ricaricate perché dentro
1:09:35l'accademia ogni settimana c'è una
1:09:36diretta.
1:09:38E l'ultima novità dell'Accademia è
1:09:40questa piattaforma che è stata
1:09:41sviluppata, che è un assistente che ha
1:09:44accesso a tutta la knowledge del
1:09:46Discord, quindi tutte le conversazioni
1:09:49nei canali community e tutte le news e
1:09:51tutti i corsi e tutti i video e questo
1:09:54agente hai ha accesso e ti può
1:09:57rispondere anche indicandoti qual è il
1:09:59video, qual è il contenuto, a che minuto
1:10:01viene detta quella cosa. cliccandoti sia
1:10:04per il player puoi direttamente partire
1:10:06da quel minuto. Ad esempio, in che parte
1:10:08Simone parla di Jeev? Parte al minuto
1:10:11207
1:10:13e oppure quale altra workshop c'è su
1:10:16JEV? In che parte Simone parla delle
1:10:18Point Network? E ci sta qua la
1:10:21spiegazione, non solo,
1:10:23ma ti indirizza su tutti i workshop che
1:10:26sono stati fatti, ti dice anche ti ti
1:10:30prepara quelli che sono dei dei corsi su
1:10:33misura su di te. Ad esempio, tu entri e
1:10:35dici "Non so nulla di hai vengo dal
1:10:37mondo di e-commerce, vorrei un corso su
1:10:39misura per me". Lo prepara non solo, ma
1:10:41lo puoi utilizzare per cercare dei
1:10:43collaboratori dentro l'accademia. Vedi,
1:10:45cerca un frontend engineer in accademia,
1:10:47ti dice esattamente tutte le persone che
1:10:49si sono presentate come sviluppo
1:10:51software, web frontend, eccetera
1:10:54eccetera. Per non parlare che lo puoi
1:10:56utilizzare per le news, ti puoi far
1:10:58cercare le news su misura per te. Quali
1:11:00sono le ultime news di oggi e di ieri.
1:11:03Hai praticamente è una piattaforma
1:11:05veramente completa che mette in leva
1:11:08tutta la conoscenza della community.
1:11:12Detto ciò, aspetta sulle slide.
1:11:16Detto ciò, adesso praticamente hai due
1:11:18strade. O chiudi e torni a prima e va
1:11:21benissimo, anche se io ti ho trasmesso
1:11:23solamente un'unghia di tutta la mia
1:11:24conoscenza, sono veramente contento che
1:11:26sei venuto in questo workshop. E la
1:11:28seconda opzione è che tu vuoi veramente
1:11:31investire nella tua formazione, vuoi
1:11:33investire nel mondo dell'intelligenza
1:11:34artificiale. Se quindi rientri in questa
1:11:37seconda categoria e quindi vuoi
1:11:38approfondire il mondo delle hai, ho per
1:11:41te un regalo speciale. Voglio aprirti
1:11:43l'Accademia a una condizione unica solo
1:11:46per te questa sera, vale solamente per
1:11:48questa serata qua, dove praticamente ehm
1:11:53hai accesso all'accademia con uno sconto
1:11:56imperdibile. Basta scansionare questo
1:11:58codice QR ed inserire il codice sconto
1:12:02workshop 500 al checkout. Veramente ad
1:12:05oggi il consiglio spassionato che vi do
1:12:08è quello di investire nella vostra
1:12:10formazione perché mai come oggi abbiamo
1:12:13avuto uno strumento così potente ma che
1:12:15si aggiorna così velocemente che il
1:12:18migliore investimento non è imparare ad
1:12:20usare uno strumento, è formarvi e
1:12:22rimanere aggiornati. Ed io ringrazio
1:12:25ancora il fatto di avere investito nella
1:12:27mia formazione con l'università tanti
1:12:30tanti anni fa, quando ancora
1:12:31l'università, diciamo, era più o meno al
1:12:33passo. Ad oggi io propongo quella che è
1:12:36la mia accademia per rimanere al passo
1:12:38coi tempi, perché già leuniversità non
1:12:40riescono a rimanere così aggiornate e
1:12:43quindi l'accademia è pensata per essere
1:12:45un posto pratico, per mettere in pratica
1:12:48e iniziare da subito a lavorare nel
1:12:50mondo dell'intelligenza artificiale.
1:12:53Io direi adesso che possiamo iniziare
1:12:55con la parte del Q&A per Fate la foto
1:12:58adesso al QR code, così posso girare la
1:13:00slide a quella successiva. 3 2 1 via!
1:13:04Vai adesso col Q&A. Aprite le chat,
1:13:06partiamo. Tutti i dubbi, curiosità,
1:13:08domande sono completamente a vostra
1:13:11disposizione.
1:13:15Perché la Confidence decision model è
1:13:17più affidabile di quella dei JSON di
1:13:19unm? Bellissima domanda, Stefano, e la
1:13:22risposta è questa qua. Il large language
1:13:24model produce del testo Il large
1:13:27language model produce del testo che in
1:13:29quel caso rappresenterebbe una una
1:13:32confidence score, ma in realtà non è una
1:13:35reale confidence score, è un token, è
1:13:37testo che rappresenta un numero, mentre
1:13:39nel caso del decision model è stato
1:13:41proprio addestrato e calibrato nel
1:13:44produrre un numero reale, quindi non un
1:13:46testo che rappresenta un numero, un
1:13:47numero reale che rispecchia la reale
1:13:51probabilità che avvenga quell'evento.
1:13:53Quindi per questo i decisi mode sono più
1:13:55affidabili perché c'è stata tutta la
1:13:57fase di calibrazione che non esiste nel
1:14:00Large Language Model perché l'arg
1:14:01language model è addestrato per generare
1:14:03testo, non probabilità associate alla
1:14:05risposta.
1:14:08Vai con le domande che le vedo le vedo
1:14:10stoppate.
1:14:14In un'azienda meatal meccanica si può
1:14:16sviluppare un sistema ERP con un deciso
1:14:18model per schedulare le commesse in base
1:14:20alla priorità, tempi e attrezzaggi di
1:14:22produttività. Assolutamente sì, Angelo.
1:14:24Questo anzi è un caso d'uso perfetto per
1:14:26un'azienda metal meccanica.
1:14:28Ok,
1:14:30adesso vedo arrivare alle domande. Ma se
1:14:32sei in grado di capire quello di
1:14:37visto che ti dà una percentuale di
1:14:38accuratezza, non può usare i suoi stessi
1:14:40dati per automigliorarsi,
1:14:42guarda Roberto, puoi farlo, ma dopo un
1:14:46intervento umano, quindi che significa?
1:14:48Che lo abbiamo addestrato, ok? Lo
1:14:50mettiamo in produzione, ok? Raccogliamo
1:14:53nel prossimo mese tutte le richieste che
1:14:55vengono fatte dagli utenti e di quelle
1:14:58che il dove il modello ha bassa
1:15:00confidenza le andiamo a vedere noi,
1:15:02andiamo noi a dire esattamente qual era
1:15:04la risposta giusta e questi nuovi dati
1:15:07li possiamo riutilizzare per addestare
1:15:08il modello in modo tale che nelle
1:15:10richieste dove prima aveva bassa
1:15:12confidenza, adesso sarà sempre più
1:15:13rinforzato e più intelligente. Cosa ne
1:15:17pensi di Open Dots, Open Dots? Mah,
1:15:19penso che si stanno adesso spostando su
1:15:21tutti questi agenti eh che vivono in
1:15:23cloud. Sono molto comodi, sì, riescono a
1:15:27fare tante cose, ma non vedo la
1:15:29differenza dall'avere un Open Clow, un
1:15:31Hermes agent, ehm, che alla fine è la
1:15:34stessa cosa, cioè, mh, OpenClow, anzi,
1:15:38addirittura lo puoi avere in locale,
1:15:40Airmess Agent lo puoi avere in locale e
1:15:41lì sì che lo preferisco rispetto ad
1:15:43avere l'Open Dots, perché qual è il
1:15:45problema? Open Dots, tu gli devi lo devi
1:15:47collegare alla tua mail, al tuo CRM,
1:15:51alla tua banca, gli stai dando regalando
1:15:53i dati do ne hai. Mentre Operow Hermes
1:15:56agent lo puoi anche collegare a un large
1:15:58language model in locale e allora lì hai
1:16:00un vero assistente dove hai privacy sui
1:16:02dati, però alla fine sono tutti simili
1:16:05questi open dots, mus agent, quell'altro
1:16:08Glock Bot, sono tutti simili.
1:16:11Un decision model applica agli embedding
1:16:13l'attention per guidare verse risposte
1:16:15usando solo parole chiavi oppure riesce
1:16:17a ragionare sull'intero contesto in
1:16:18input. Ma non fa le bending il decision
1:16:21model. Un decision model è lo puoi fare
1:16:24in diversi modi, ma è come avere un
1:16:27large language model che si ferma al
1:16:29primo token. Quindi se la risposta è
1:16:31generare 300 token, in realtà di invece
1:16:34di generarne 300 è come se glielo stessi
1:16:37facendo generare solamente uno, però
1:16:39comunque internamente ha una certa
1:16:42taglia di neuroni e quindi ragiona
1:16:44sull'input, anche se la risposta è
1:16:46immediata.
1:16:48Posso usarlo per navigare su un DB
1:16:50relazionale? No, decision model non lo
1:16:51puoi usare per questo scopo qua. In quel
1:16:54caso lì devi usare il large language
1:16:55model.
1:16:57In che ordine consigli di seguire i
1:16:59corsi dell'Academy? Guarda, io ti
1:17:01consiglio di entrare nell'assistente AI,
1:17:03nella piattaforma, di dirgli il tuo
1:17:05background e l'assistente A ti farà la
1:17:08scaletta di quali corsi e in che ordine
1:17:09seguirli. È quello il bello che ti può
1:17:11fare il percorso su misura, perché ci
1:17:14sono ci sono stati caricati talmente
1:17:15tanti corsi e materiali, cioè calcola,
1:17:18ogni settimana io faccio un workshop di
1:17:202 ore sugli ultimi temi, in più ci
1:17:22stanno 11 corsi con all'interno
1:17:26altrettante lezioni di mezz'ora, 40
1:17:28minuti, quindi avere l'assistente hai
1:17:30che sa esattamente quali corsi, dentro
1:17:32ogni corso, cosa viene detto, dentro
1:17:34ogni lezione ha le trascrizioni di tutte
1:17:37le lezioni, quindi ti sa dire per filo e
1:17:38per segno cosa seguire. è il migliore in
1:17:41assoluto.
1:17:43Ci sono anche corsi su come usare Cloud
1:17:45Code, ad esempio? Assolutamente sì, sì,
1:17:46ci sta il corso che si chiama Vibe Vibe
1:17:48Coding e ti spiego per filo e per segno
1:17:51come usare Cloud Code per sviluppare
1:17:53applicazioni, piattaforme, web app,
1:17:55tutto.
1:17:57C'è il rischio che rischio c'è Mettere
1:18:00un deciso model in azienda, prompt
1:18:02injection, segregazione dei permessi,
1:18:04eccetera. Bella domanda, Michele.
1:18:05Allora, il Decision Model,
1:18:08ehm,
1:18:11se lo usi a livello aziendale, il locale
1:18:14lo puoi affiancare ad un altro decision
1:18:16model che ti fa da guard rail, cioè tu
1:18:18prepari un decision model che ti
1:18:20classifica sì no se è un se c'è un
1:18:23prompt injection o meno. Se ti dice no,
1:18:26allora lo deleghi al deciso mod e
1:18:28prendere la decisione. Se ti dice sì,
1:18:29allora li fermi. Questo secondo me è il
1:18:31caso migliore per le aziende, usare due
1:18:33decision model, uno che filtra l'input
1:18:35per vedere se c'è qualche
1:18:36malintenizzionato e l'altro che lavora.
1:18:41Si può accoppiare un LLM che riceve le
1:18:43decisioni incerte e verifica se corregge
1:18:46la valutazione o se aggiunge una nuova
1:18:47categoria più adeguata. Sì, anche. Ah,
1:18:50sì, sì, questa è un'ottima struttura.
1:18:53Il vero valore del decision model lo
1:18:54vedi quando lo affianca a un coding
1:18:56agent, diventa un mostro perché
1:18:58qualsiasi richiesta tu gli fai al coding
1:19:00agent gli dici "Guarda, dentro questa
1:19:03cartella ho 800 contratti e voglio
1:19:04estrapolare questi dati". Lui non è che
1:19:07spawna uno sciame di agenti e ti consuma
1:19:10un botto di token. Lui dice "Ok, ho un
1:19:12decision model, allora strutturo le
1:19:15domande, lancio deciso mod su quei
1:19:17documenti, ci mette 1 millisecondo per
1:19:20risponderti su tutti quei documenti là e
1:19:22hai fatto
1:19:27con n conversazioni contemporanea si può
1:19:30far sì che in modo che l'apprendimento
1:19:31sia interconnesso, in pratica imparando
1:19:33dalle varie situazioni giornaliere. Ti
1:19:35puoi implementare un sistema di
1:19:36revisione? Sì, lo puoi fare. Puoi usare
1:19:38anche un large language model più grande
1:19:40per revisionare solamente quei casi in
1:19:42cui la confidenza è bassa e quindi fare
1:19:45un sistema che si automigliora nel
1:19:46tempo.
1:19:49Con le hai quant'è distante oggi il
1:19:50confine della programmazione tra un web
1:19:52coder e un junior? Eh, questa è una
1:19:54bellissima domanda. Dipende cosa devi
1:19:56sviluppare. Se devi sviluppare una web
1:19:58app, una pagina web, un webcoder la fa
1:20:02la fa senza problemi.
1:20:05E il junior, secondo me, adesso sta
1:20:06passando un un periodo di di incertezza,
1:20:11perché molte aziende preferiscono
1:20:12prendere uno più senior che anche se
1:20:15delega le cose alle hai sa quello che
1:20:18sta accadendo sotto perché ha più
1:20:19conoscenza, ha più knowhow, mentre un
1:20:21junior ha molta meno conoscenza e quindi
1:20:23delega le hai senza sapere cosa sta
1:20:25facendo le hai, quindi quello è
1:20:26pericoloso.
1:20:28È per questo che io ad esempio dentro i
1:20:30corsi nell'accademia quelli più avanzati
1:20:32perché in accademia ci può entrare sia
1:20:33da neofita sia da sviluppatore con già
1:20:36background.
1:20:38Nei corsi più avanziati io mi mi
1:20:40focalizzo sulla parte teorica di
1:20:42conoscenza proprio del dataset, come si
1:20:45struttura il dataset per
1:20:46l'addestramento, tutta la parte di
1:20:48training validation e test, le metriche,
1:20:51la loss, overfitting, underfitting,
1:20:53perché una volta capiti quei concetti
1:20:55poi nella parte pratica ci pensa le hai
1:20:57a scrivere il codice, ma il fatto di
1:21:00sapere cosa sta facendo e il knowwow e i
1:21:02concetti è quello che fa la differenza.
1:21:06Posso convertire PDF in una struttura
1:21:08ben definita in output, un JSON?
1:21:12Eh, lo puoi fare, ma non con un decision
1:21:14model. Questo non è un compito decision
1:21:15model, questo è un compito da eh large
1:21:19language model
1:21:22o da OCR model, dipende che devi fare.
1:21:25Oppure se da sto PDF devi estrapolare
1:21:28determinati campi, allora puoi usare un
1:21:31CDM che è questa nuova nuova famiglia di
1:21:34System One Model.
1:21:35L'Accademia rilass rilascia
1:21:37certificazioni. Sì, rilascia degli
1:21:38attestati eh quando termini uno dei
1:21:42corsi su Kajabi. Quindi quando termini
1:21:44tutto il corso ti viene inviato
1:21:45l'attestato.
1:21:47Quale piattaforma consigli per creare
1:21:49degli agenti in ambiente enterprise?
1:21:53nell'ambiente enterprise io ti consiglio
1:21:55di non usare l'ovable Emerge. Questi qua
1:21:59non li puoi usare perché ti fanno il
1:22:01login. Quindi quello che succede è che
1:22:03tu praticamente sviluppi l'app
1:22:07loro, al database loro, a tutto loro. Io
1:22:10userei un coding agent, quindi cloud
1:22:13code, codex, open code. sviluppi il
1:22:15codice locale
1:22:18e poi come framework utilizzerei Agnio e
1:22:21ci ho fatto tutto il corso in accademia
1:22:23su Agno, che è il miglior framework per
1:22:25creare agenti da mettere in produzione e
1:22:27poi li metti in produzione dipende dove
1:22:29hai il cloud provider della tua azienda,
1:22:32su AVS, su Azure, su Google Cloud,
1:22:34dipende dove dove sta te dove stai te.
1:22:38Posso creare ordine di vendita in un
1:22:40gestionale tramite PI. Lo si addestra su
1:22:41CSV storico vendite.
1:22:44Eh, creare ordini di vendita in un
1:22:47gestionale tramite PI.
1:22:50Eh, sì, lo potresti automatizzare con il
1:22:52decision model, però tramite PI. Perché?
1:22:59Mh.
1:23:01Creare ordine di vendita un gestionale?
1:23:04No, questo è un caso da Large language
1:23:05model. Questo è un caso language model,
1:23:07però lo puoi utilizzare se il tuo
1:23:09gestionale non ha delle PI e devi
1:23:11cliccare, scrollare, fare automatizzare
1:23:13la parte di di azioni sull'interfaccia.
1:23:16Lì sì, potevi usare un decision model.
1:23:19In un sistema documentale. Decision
1:23:21model si può utilizzare per classificare
1:23:22i documenti. Cosa si può utilizzare per
1:23:23creare le categorie di classificazione?
1:23:26Allora, lì puoi usare Large Language
1:23:28Model. gli dici "C'ho dei documenti in
1:23:30questa cartella, esplorali un po' e
1:23:32dimmi quali possibili categorie gli
1:23:34posso assegnare." Quello si fa una
1:23:35ragionata, ci ragiona un po', ti dice
1:23:38"Ma secondo me le categorie potrebbero
1:23:39essere queste sei." Una volta scelte gli
1:23:41dici "Ok, adesso fammi il decision
1:23:43modsifica su stesse sei categorie".
1:23:44Sbam, hai fatto subito. Quale sarebbe
1:23:47incredazione architetturale dello stato
1:23:48dell'arte tra l'LM e decision model?
1:23:51L'integrazione
1:23:53architetturale
1:23:55è quella che stanno facendo con i CDM,
1:23:57cioè il decision model lo stanno
1:24:00rendendo un vero e proprio coltellino
1:24:02svizzero che riesce a fare veramente
1:24:04tante cose
1:24:07da associare ad alarge language model
1:24:10come se fosse un tool, come se fosse un
1:24:12MCP e quindi deciso mod lo sfrutta
1:24:14quell'altro modello per fare tutto
1:24:16quello che vuole fare. Guarda, vi mostro
1:24:18uno di questi CDF
1:24:33che è questo qua.
1:24:45Eccolo qua. che condivido lo schermo.
1:24:49Cloudfare, ad esempio, ha fatto eh
1:24:53ha fatto questo decision model,
1:24:59ok? E dopo ne ha sviluppato un altro
1:25:06che non è Clef, eh
1:25:08Cloudfare
1:25:12Extractic.
1:25:14Eccolo qua Clyck. Questo qui è un CDM.
1:25:18Cosa fa questo modello qua? Riceve il
1:25:19contesto in input
1:25:22e in output ti può dire, ad esempio, ti
1:25:25può strapolare del testo dall'input, ti
1:25:28può strapolare degli ID, ti può
1:25:29strapolare tutto quello che vuoi. In più
1:25:32ha tutta la parte di formattazione delle
1:25:34date, di range, di valori, ti fa il
1:25:37forecasting, quindi ti prevede il futuro
1:25:40come Times FM di Google.
1:25:44Ecco qua. Questi sono tutti i dati che
1:25:45fa. Foreccast,
1:25:47stima tra minimo e massimo, lista,
1:25:49duration, date, numeri, testo. Poi Jeev
1:25:53ti dà bounding box, classificazione
1:25:56binaria, classificazione su categorie e
1:25:58così via. Quindi lo potremmo creare dei
1:26:01degli eh constraint decoder model con
1:26:05talmente tante funzionalità veloci,
1:26:07rapide, che consumano poco che diventano
1:26:10un vero e proprio coltellino svizzero da
1:26:11dare a un agente. Hai, vedi qua da una
1:26:14foto dello scontrino, sbam, ti tir fuori
1:26:17immediatamente il JSON senza generare il
1:26:19JSON token per token. Questo è il fatto,
1:26:21è immediato.
1:26:23È comodissimi questi modelli qua e ti
1:26:26fanno risparmiare un sacco di soldi.
1:26:30Come architettura conviene avere un
1:26:31deciso model per ogni compito
1:26:34da commissionare. Esempio, liquidi per
1:26:36le immagini, l'IA per i dati. Come li
1:26:38comunicano fra loro. Certo Pietro,
1:26:40questo lo possiamo fare, ma il fatto di
1:26:42comunicare fra loro ci pensa al coding
1:26:44agent, ci per sta cloud code, tu non
1:26:46devi faare nulla. Tu Cloud Code gli dici
1:26:48scaricami Liquid D1,
1:26:51eh, installa la skill di Liquid D1, così
1:26:53sa come usarlo. Scaricati Laya, questa è
1:26:56la repository. Impara come si usa l'aya
1:26:59e poi gli dici e gli crei una skill dove
1:27:02gli spieghi e come usare tutti e due,
1:27:05come farli collaborare, tipo gli dici di
1:27:08uno usalo per le immagini, l'aya usalo
1:27:10per i documenti, di uno usalo per ste
1:27:12cose, la usalo per quell'altro e basta.
1:27:14da quel momento in poi tu continui a
1:27:15usare Cloud Code e invece di buttare i
1:27:17token quello a sua volta chiamerà i vari
1:27:20eh decision model perché perché c'ha la
1:27:22skill che gli spiega come si usano. Cioè
1:27:24io oggi ho fatto tutto questo senza eh
1:27:27praticamente fare nulla perché gli ho
1:27:29detto questa è la repository, lui è
1:27:30entrato, si è letto tutto, si è letto
1:27:32come si usa, si è letto l' PI, si è
1:27:34letto a che serve e l'ha fatto in
1:27:35automatico.
1:27:37Si può usare in deciso modo è un rag?
1:27:38Sì, si può usare e si utilizza molto,
1:27:41soprattutto per la fase di reranking,
1:27:44cioè fatta la ricerca ed estrapolati i
1:27:46chunk di testo più rilevanti per
1:27:49ordinarli in ordine di rank di priorità
1:27:52si usano i decision model.
1:27:57Posso usare decision model per analisi
1:27:58filmato, gara protistica per per
1:28:00stabilire real time l'ordine di arrivo?
1:28:02Sì, questo è un caso d'uso carino che lo
1:28:04puoi usare con decision mod sulle
1:28:06immagini. Sì, sì, sì, assolutamente sì.
1:28:09Questo sì. Analisi filmato gara. Sì,
1:28:12questo sì. Per chi vuole diventare un E
1:28:15man si può avere la consulenza per
1:28:17azienda interessata a velocizzare i
1:28:19processi interni? Sì, questo ne possiamo
1:28:21parlare. Basta mi contatti via mail.
1:28:24Decision model per immagini open source
1:28:27liquid1 e open source. Poi ci stanno
1:28:29altri anche più piccoli.
1:28:34Ho convertito Rizzo P reso compatibile
1:28:35con MLX. Hai messo su un'app iOS dove
1:28:38posso contattarti e mostrarti il
1:28:40risultato via mail. Stefano, grande,
1:28:42grande che hai contribuito a Rizzo P.
1:28:43Hai contribuito anche all'Italia ad
1:28:45esempio Rizop potrebbe usare un deciso
1:28:47modo per capire quali i sono i campi da
1:28:50anonimizzare? Sì, c'ho pensato, ma dal
1:28:52punto di vista architetturale Rizzo P è
1:28:54un decoder model che è come se fosse un
1:28:57decision model, è istantaneo l'output,
1:29:00cioè Rizzo P ti dà direttamente il tag
1:29:02per ogni token se anonimizzarlo o no.
1:29:05Quindi l'ho sperimentato questo e non
1:29:07avevo nessuna miglioria col deciso modo
1:29:09perché non è un compito dove può battere
1:29:11un modello addestrato specificatamente
1:29:13per caso d'uso.
1:29:17Annote comprende integrazione system one
1:29:19come funzionano? Stiamo aggiungendo
1:29:20adesso Rizzoflow su annota per
1:29:22integrarlo.
1:29:24Eh, a livello architetturale può girare
1:29:26conizzato sotto la stessa macchina che
1:29:29mantiene anche RAC? Sì, lo puoi fare.
1:29:30Assolutamente sì. Chat interfac utenti.
1:29:32Sì, sì, sì. Puoi fare esattamente
1:29:34questo. La stessa macchina con
1:29:36terorizzato. Ho 1 TB di progetti grafica
1:29:392D file SVG. Potare un indice modo per
1:29:42categorizzare i vari progetti, quelli
1:29:44che contengono immagini, animali,
1:29:45macchina. Assolutamente sì, lo puoi
1:29:47fare. È bel progetto questo, così
1:29:50strutturi bene tutta quella knowledge di
1:29:52dati che hai. E il decision model è
1:29:55perfetto perché qua utilizzassi il large
1:29:56language model su terabyte di progetti
1:30:00ti bruci tutti i token.
1:30:03Se uso Cloud Code,
1:30:06se uso Cloud Code che chiama il mio
1:30:08decision model, come gestisco i
1:30:09documenti?
1:30:12Eh, in questo modo qua tu a Cloud Code
1:30:14gli dici "In questa cartella c'è i
1:30:16documenti, che vuoi fare su questi
1:30:18documenti? Vuoi estrapolare, non lo so,
1:30:21la categoria, assegnare uno score? Che
1:30:24cosa ci vuoi fare?
1:30:26Ad esempio, ti faccio un esempio, ho una
1:30:27cartella con dei paper scientifici,
1:30:30tanti paper scientifici,
1:30:32e io voglio selezionare quali sono i
1:30:34migliori su cui farci un video su TikTok
1:30:38o su YouTube. Quindi la domanda potrebbe
1:30:40essere eh assegna una categoria sul
1:30:44paper, se è un paper eh ad esempio che
1:30:48parla di ottimizzazione dei modelli,
1:30:50nuova architettura eh oppure una
1:30:53implementazione pratica per le aziende,
1:30:55eccetera eccetera. Poi assegna uno score
1:30:58da da 0 a 1 per quanto questo paper è
1:31:01facile da divulgare ad un pubblico
1:31:03generalista e ti assegna lo score e poi
1:31:06gli puoi assegnare un paper. Quando
1:31:08quanto secondo te questo è disruptive
1:31:09per il settore e ti assegna un altro
1:31:12score e così gli fai tante domande,
1:31:13tanti score e dopo hai una ti puoi
1:31:15creare una dashboard dove esattamente
1:31:18filtri e sistemi tutti quei quei
1:31:20documenti là.
1:31:23Usare 3VL come system model. Eh, Ken 3VL
1:31:28si utilizza a volte come parte del
1:31:30system model. La parte dell'encoder e
1:31:32decoder si si spezzettano per fare dei
1:31:35system one model. Dec mod può essere
1:31:38utilizzato per aiutare un agente per
1:31:40scegliere skills MCP. Assolutamente sì.
1:31:42Ci stanno già repository che fanno
1:31:43questo, Walter.
1:31:46No, ci stanno già repository che
1:31:47dov'hanno già migliorato per fare questo
1:31:49scopo qua.
1:31:52Usando Rea in cosa potrebbe aiutarmi un
1:31:55decision model? Dici dici reverse
1:31:57engineering anything?
1:32:00per fare reverse engineering,
1:32:03eh, per esplorare i dati, se devi fare
1:32:06reverse engineering di un programma,
1:32:09lo decompila sto programma e sono 7.000
1:32:12file e devi cercare dei file specifici
1:32:15che contengono degli asset o delle cose,
1:32:17usi il decision mod per classificarteli.
1:32:20Contiene questa cosa? Sì, no, sì, no.
1:32:21Sì, no, super veloce, TR. E poi il
1:32:23coding agent sceglie quelli che hanno
1:32:25Sì.
1:32:28Posso addestrare un deciso modo a fare
1:32:29più cose? Sì, puoi addestrarlo.
1:32:32Eh, da che hai locale posso partire con
1:32:35Mac Studio M5 Max per grafica, magari
1:32:38collegata a Creative Cloud per grafica.
1:32:40Quanta memoria ha questo Max Studio M5?
1:32:42Dipende tutta dalla memoria che ha. Ho
1:32:44studiato Bioinformatics o un IBO? Può
1:32:46essermi utile a Rizzo Academy
1:32:47direttamente consigliersi di
1:32:49accompagnarlo a qualche corso magistrale
1:32:50triennale specifico universitario?
1:32:52Secondo me, Marco, ti è super utile
1:32:54perché in bioinformatica comunque tratti
1:32:56molto spesso i dati e quindi saper
1:32:59gestire un coding agent che lavora sui
1:33:02dati, ti fa analisi dei dati o ti crea
1:33:04dashboard o ti addestra modelli per te
1:33:06veramente potrebbe essere eh ti ti può
1:33:09far svoltare.
1:33:11Poi accompagnarlo a qualche corso
1:33:13magistrale, benvenga se se stai
1:33:15all'università e benvenga.
1:33:20Alcune soluzioni enterprise hanno
1:33:22centinaia di tool dietro lo stesso
1:33:23server MP. Possiamo sare Esattamente.
1:33:25Sì, ma questo è un caso d'uso molto
1:33:27molto comune. Eh,
1:33:29ci stanno tantissimi repository che
1:33:31fanno questo. Possibile analizzare un
1:33:33flusso video per capire se quello che
1:33:35viene inquadrato corrisponde a quello
1:33:36che viene passato in un JSON? Codice in
1:33:38ballo. Assolutamente sì. Assolutamente
1:33:40sì. addirittura utilizzano Jev, questi
1:33:43decision model sulle immagini per fare,
1:33:46non lo so, riconoscimento dei pacchi,
1:33:49riconoscimento facciale. Qui tipo in
1:33:51input ci metti l'immagine, non so, di un
1:33:54portale e come
1:33:57eh diciamo eh opzione ci metti
1:34:00l'immagine di una di un volto di una
1:34:02persona, gli dici "È lui?" Sì, no, se
1:34:04non è lui non apri la porta, se è lui
1:34:05apri la porta. Ci stanno tantissimi casi
1:34:07su questi task qua con le immagini.
1:34:11Secondo te faranno un decision model
1:34:12integrato nativamente negli LM? Secondo
1:34:15me no,
1:34:16perché per la natura del Decision Model
1:34:19deve essere proprio strutturato in quel
1:34:21modo lì, ma verrà sempre affiancato a un
1:34:24allm. Infatti, vedi, Opene ha fatto la
1:34:27sua decisione PI, perché tutti gli LLM
1:34:29adesso possono usare quella per
1:34:31aiutarsi. R Floor legge le immagini
1:34:34adesso? No, al momento no, ma
1:34:35l'aggiungerò.
1:34:38Potremmo usarlo per scegliere il reparto
1:34:40dei prodotti di un catalogo e-commerce?
1:34:42Assolutamente sì. Rag ibrido più grafo
1:34:45guidato da un agente, un deciso model
1:34:48dove rende più scelta strumento,
1:34:50filtraggio, passaggio, giudizio,
1:34:51risposta
1:34:54e chat corta è meglio. Secondo me il
1:34:56decision model su un rag il miglior caso
1:35:00d'uso è per il fact checking, quindi la
1:35:03gente hai entra nel rag, trova le
1:35:04risposte e te le cita. Ma veramente
1:35:08quella risposta che ha dato è contenuta
1:35:10nel file che ha citato? E allora lì
1:35:13lanci il decision model che controlla se
1:35:15il testo di risposta dell'agente con il
1:35:17documento che ha citato se il documento
1:35:19effettivamente contiene o no quelle
1:35:21informazioni. Come rispondendoti sì o no
1:35:23con la sua confidenza. Se la confidenza
1:35:25è alta, allora il fatto è giusto e il
1:35:27fact checking viene passato. Se la
1:35:29confidenza è bassa, allora o lanci
1:35:31un'altra agente che ricontrolla
1:35:34ragionando, oppure puoi dire all'utente,
1:35:36guarda, non sono tanto sicuro su questa
1:35:38risposta qua e così è molto più
1:35:41affidabile il sistema. Ragazzi, le
1:35:44risposte sono tantissime. Io direi che
1:35:46la diretta la ehm chiudiamo qua.
1:35:48L'ultime ultimissime tre domande e ci
1:35:51salutiamo. Spero che veramente vi sia
1:35:53piaciuto questo workshop.
1:35:55dai dati di un CRM con database di un
1:35:56anno di assistenza tecnica composta da
1:35:58ticket di problematiche e a loro
1:36:01soluzione. Si può automatizzare per
1:36:02avere una soluzione senza interpellare
1:36:04un tecnico? Assolutamente sì. Guarda,
1:36:06proprio oggi questo caso d'uso è molto
1:36:08simile al tuo assistenza tecnica. Questi
1:36:11era un'assistenza tecnica, diciamo, di
1:36:13un provider di di fibra, di
1:36:16telecomunicazioni. Quindi se hai già i,
1:36:19diciamo,
1:36:21dei ticket di problematiche,
1:36:24certo che si può automatizzare, avere la
1:36:25soluzione senza interprelare un tecnico.
1:36:29Basta sapere che esistono questi
1:36:30decision model, usare Cloud Code e
1:36:33dargli i dati per poter testare prima e
1:36:36poi, nel caso addestrare il modello.
1:36:39Seconda domanda.
1:36:41Posso usare decisione mod per sapere se
1:36:42un'app
1:36:44stack ha delle falle e dove può essere
1:36:47migliorato.
1:36:48Eh no, in questo caso d'uso qua
1:36:50utilizzerei proprio un coding agent che
1:36:52esplora tutto, anzi con degli sciami di
1:36:55agenti proprio che prova che fa tutto.
1:36:58Ultimissima.
1:37:02Nel caso usassi Cloud Code con il
1:37:04decision model, i documenti andrebbero
1:37:06in cloud con i rischi che conosciamo o
1:37:09girebbe lo stesso locale? Bella domanda,
1:37:11Ignazio. No, se il deciso mod è in
1:37:13locale
1:37:15e tu utilizzi Cloud Code solamente per
1:37:19automatizzare le chiamate PI al tuo
1:37:22decision model in locale, i dati non
1:37:24passano al cloud.
1:37:26Perché? Perché Cloud Code cosa fa? Apri
1:37:29la cartella e vedi che ci sono 200 file
1:37:32e da lì in poi scrive con del codice il
1:37:34fatto di caricare ogni file e farlo
1:37:36passare dentro la decision model.
1:37:37decisione modale che esiste locale.
1:37:39Quindi CloudC non apre il documento, ma
1:37:42crea quello che è il codice per farlo
1:37:44analizzare la decision modale.
1:37:47Quindi puoi usare Cloud Code associato a
1:37:49decision mod sui documenti senza che
1:37:51Cloud Code legga i documenti. Al massimo
1:37:53quello che legge è il nome del file e la
1:37:56cartella dove sta e basta. Ma tu gli
1:37:58dici "Non aprire i documenti, passa il
1:38:00decision model per classificarli". Lui
1:38:02ti fa tutto il work lo script, il
1:38:04codice, gli puoi anche dire "Ok, dimmi
1:38:07come seguirlo e e lo chiudi Cloud Code,
1:38:09se ti vuoi proprio assicurare che nessun
1:38:11dato va nel cloud, lo chiudi Cloud Code
1:38:13e segui tu quel codice e ti
1:38:15classifichi".
1:38:17Grazie a tutti per aver partecipato alla
1:38:18diretta, spero vi sia piaciuta, siamo
1:38:20andati nella pratica, abbiamo addestrato
1:38:22addestrato anche il Decision Model. Date
1:38:24un'occhiata all'Accademia perché a mio
1:38:25avviso è il migliore investimento che
1:38:27potete fare in voi stessi che è quello
1:38:29della formazione anche per resistere al
1:38:31futuro perché è molto incerto
1:38:32ultimamente e il modo migliore per
1:38:34resistere è investendo e rimanendo,
1:38:36appunto, aggiornati. Un saluto a tutto a
1:38:39tutti, buonanotte, a presto e ci vediamo
1:38:42come sempre sui social. un saluto. Ciao

About this transcript

This page contains the full transcript of Decision Model: l’AI che decide al posto tuo (e Claude te l'addestra) by Simone Rizzo, generated from the public captions YouTube serves with the video. The transcript has 13,926 words across 2,373 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.