YT YouTube2Text

YouTube2Text → Transcripts → RAG è già vecchio? Il nuovo modo di costruire Knowledge Base per AI con LLM Wiki

RAG è già vecchio? Il nuovo modo di costruire Knowledge Base per AI con LLM Wiki — Transcript

by Simone Rizzo · 6,136 words · 1,036 segments · language it · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00Abbiamo una nuova metodologia per
0:02costruire knowledge base che crescono
0:06nel tempo e che risiedano in modo
0:08persistente nel tuo computer. Questa
0:11nuova metodologia prende il nome di LLM
0:14Wiki, risolve moltissimi problemi
0:17irrisolti del precedente approccio,
0:19ovvero il sistema Rag. Questa
0:22metodologia nuova è stata sviluppata e
0:24ideata da Andrew Carpati. Il tutto è
0:27partito da un semplice post su dove
0:30Angio Carpati spiega come lui crea basi
0:34di conoscenza da dare a Large Language
0:36Model spiegandole sotto forma, cioè con
0:39un post semplicemente. Da lì il web è
0:41esploso e tramite l'utilizzo di Obsidian
0:45come IDE, come software, possiamo adesso
0:47creare knowledge base con una qualità
0:50nettamente superiore, trasparente
0:53all'uomo, cioè che noi possiamo capire
0:54qual è il ragionamento che sta facendo
0:56il modello sopra i nostri documenti, che
0:59può crescere insieme a noi e rimanere
1:01persistente nel nostro computer. E prima
1:03di saltare direttamente a vedere
1:05l'utilizzo come si costruisce una cosa
1:07del genere, voglio partire con una
1:10presentazione facendo un escursus
1:12storico, partendo dal sistema Rag alla
1:15Gentic File Search che presentai in un
1:17precedente video fino all LLLM wiki
1:20introdotto recentemente. Un large
1:22language model non ricorda. Immaginatelo
1:25come una persona che soffre di Alzheimer
1:28ogni volta che gli fai una domanda, ok,
1:31per tenere memoria di ciò che è successo
1:33prima, ha bisogno di un foglietto, di un
1:37blocco note, di un qualcosa dove poter
1:39scrivere e poter leggere le
1:41informazioni. Per questo abbiamo bisogno
1:44di un sistema, ok? bisogna costruirgli
1:46una memoria esterna, altrimenti eh
1:49rimane un sistema stateless, cioè senza
1:52stato, senza ricordo de di ciò che è
1:55successo prima. Come si costruisce
1:58questa memoria definisce eh cosa è
2:00capace di fare questa gente. Siamo
2:03passati da ben tre generazioni di
2:05memorie differenti. Abbiamo la prima
2:07generazione, nel 2022 è nato il Rug che
2:10sta per retrieval argomenti de
2:12generation e si basa sul praticamente
2:16prendere quelli che sono i nostri
2:18documenti. Faccio un riassunto breve,
2:21molto molto veloce. Prendere i
2:23documenti.
2:24Pdf txt. Puoi spezzettarli in chunk o
2:29blocchi o capitoli o sotto sotto blocchi
2:32di testo. Ogni chunk viene convertito
2:37utilizzando un modello particolare che
2:39si chiama embedding model. Vengono
2:41convertiti tutti questi pezzi di testo
2:43in dei vettori.
2:45Ok? I vettori sono una lista di numeri,
2:48una sequenza di numeri, quindi una
2:50sequenza di numeri che può essere 0,6
2:530,1 3 7 e questo vettore qua sarebbe la
2:58compressione di questo testo. Tutti
3:01questi vettori vanno a riempire quello
3:03che è un database vettoriale.
3:06Quindi ciascun punto è una coordinata in
3:09uno spazio vettoriale. La coordinata è
3:11definita appunto dalle dalla lista di
3:13numeri dove ciascun numero queste sono
3:15le coordinate su tutti i vari assi.
3:18creato il database vettoriale, quando
3:21arriva la domanda dell'utente, quindi
3:22quando l'utente fa la domanda, fa la
3:25query, la query anche passa da questo
3:27modello qua, viene convertita in un
3:29vettore, il vettore si va a vedere nello
3:32spazio dove finisce e per similarità si
3:36reperiscono le informazioni più
3:38rilevanti per quella domanda.
3:41Reperiti i punti, cioè le coordinate più
3:42rilevanti, si prendono i blocchi di
3:44testo associati e in questo modo, ok, si
3:48fa la parte di augmentation, quindi la
3:51nostra query Q più tutto questo blocco
3:55di testo che abbiamo reperito diventa la
3:57nuova query che entra dentro il Large
3:59Language Model
4:01che ci dà poi la risposta e per questo
4:03si chiama Rag, si chiama R A G. Questo
4:07approccio sta per retrival. Retrieval è
4:10questa fase qua di pesca nel database
4:12vettoriale, la retrival. Argumented è
4:14questa fase qua dove andiamo a sommare
4:16la query con i documenti che abbiamo
4:18preso. Rederal argument e generation,
4:20cioè la nuova risposta. In questo modo è
4:23lo stesso modo in cui funziona Notebook
4:26LM. Notebook LM alla fine costruisce un
4:29rag e Notebook LM è diventato super
4:31famoso e popolare ed è a mio avviso la
4:35knowledge base più usata al mondo. Ok.
4:38più anche facilmente accessibile dalle
4:40persone. Quindi qualsiasi documento gli
4:43carichiamo un video, quello che fa dal
4:44video è prende la trascrizione, la
4:46trascrizione testo, lo spezzetta in
4:48blocchi e lo carica nel database
4:49vettoriale. Gli carichi l'audio lo
4:51stesso, gli carichi dei PDF allo stesso
4:54modo.
4:56Da questo approccio qua del rag, dove
4:58gli embedding sono precomputati, gli
5:00embedding sono appunto questi vettori
5:02qua e Large Language Model riceve c'han
5:05simile alla domanda, siamo passati
5:07all'agentic file Search. L'agentic file
5:10search è tutt'altro approccio che nasce
5:12con i gli agenti I con
5:16agents
5:18e l'agentic file search si basa sul file
5:22system. File system.
5:26dove non abbiamo più bisogno di un
5:28database vettoriale, non abbiamo bisogno
5:29di un database e il nostro file system
5:31stesso con le cartelle e sottocartelle a
5:36rappresentare la nostra base di
5:37conoscenza.
5:39Ogni cartella poi al suo interno ha dei
5:42file che sono markdown, cioè si basano
5:46principalmente sul formato markdown che
5:48è il formato più facilmente leggibile
5:50dalle. Questo approccio qua, ad esempio,
5:54è utilizzato su tutti i coding agent e
5:56su tutti questi agenti qua di nuova
5:59generazione, come ad esempio Open Clow,
6:01il famosissimo Open Clow, no? Come si
6:04basa? Andando a vedere come funziona la
6:06memory overview. La memory overview si
6:08basa su appunto file markdown,
6:10memory.md, la cartella memory dove
6:13dentro vari file markdown per giorno,
6:15mese e anno, il file dreams. dove si
6:19scrive, ad esempio, delle review, dei
6:22riassunti di quello che è successo e poi
6:25tramite i tool, per questo è Tool
6:27Search, tramite dei tool l'agente I può
6:30andare a esplorare le cartelle, quindi
6:33può andare a ad esempio la gente decide
6:37di entrare dentro questa cartella, non
6:39trova quello che gli serve, allora va in
6:40quest'altra cartella, si legge magari i
6:43primi due documenti, vede che il
6:45documento che ha le informazioni è il
6:46secondo e allora poi risponde all'utente
6:48e ti fornisce la risposta. Questo è
6:50l'agenic file service, cioè l'agente i
6:53che è talmente intelligente da poter
6:56comprendere il file system, le cartelle
6:57sotto cartelle, le esplora utilizzando i
7:00tool che ha, quindi può utilizzare il
7:02tool per leggere un filec, per leggere
7:04un file PDF, per aprire la cartella, per
7:06vedere quali file ci sono nella cartella
7:08e quindi esplora così eh eh lo spazio
7:11delle informazioni e queste informazioni
7:13sono file. Ok? Qua dentro ci ci
7:15potrebbero stare PDF, eh CSV, eh quello
7:19che vuoi te, ok? E la gente in base
7:22anche alla alla natura del documento lo
7:24può leggere, lo può comprendere,
7:25eccetera. Adesso siamo arrivati al terzo
7:28approccio, Llm wiki, dove praticamente
7:31se prima la gente naviga i file come un
7:33umano, scansiona, ragiona, segue i
7:35riferimenti, adesso la conoscenza viene
7:38compilata in un artefatto persistente
7:41che è la wiki che cresce nel tempo.
7:43Questo è il nuovo approccio. Quindi
7:45generazione 1, il rag. Abbiamo visto
7:47come funziona. Documenti chunking,
7:48embedding, vector db. La domanda
7:50similarity search si prendono i chunk,
7:53cioè il testo più rilevante risposta
7:55delle large language model. Quali sono i
7:57limiti del rag? E che i chunk possono
7:59perdere contesto. Le cross reference non
8:02sono eh sono invisibili. similarità non
8:05è detto che è la stessa cosa di
8:07rilevanza e nessun accumulo, cioè il
8:10sistema non impara dalle domande
8:11passate, ogni quer indipendente dobbiamo
8:13noi accroccarci un qualcosa per poter
8:15manutenere questo database vettoriale.
8:18Poi Agentic File Search. La cosa bella è
8:21che possiamo lanciare più agenti in
8:23parallelo che sfogliano tutti i
8:25documenti della cartella in una singola
8:27passata, quindi possono leggere i
8:29sommari, gli header, i file, le prime
8:31righe. Poi possiamo fare una estrazione
8:34selettiva, quindi solamente i documenti
8:36giudicati e valutati vengono letti per
8:39intero, il resto viene ignorato, quindi
8:41risparmiamo un sacco di token e per poi
8:44seguire i riferimenti, cioè se un
8:45documento fa a ha un riferimento un
8:47altro documento e un'altra cartella, la
8:49gente intelligentemente può andare ad
8:50aprire eh l'altra cartella, non si fa
8:53nessun embedding e la struttura dei file
8:55diventa parte di ragionamento, cioè come
8:58strutturiamo gerarchicamente proprio le
9:00cartelle e sottocartelle
9:01aiuta e fa parte appunto del
9:03ragionamento che fa il modello
9:06e nell'agente di file search utilizziamo
9:08appunto dei tool che può essere
9:10scansione della cartella, preview del
9:12file, parts file, read, grap, glob,
9:16tutti i tool che la gente può
9:17utilizzare. Cloud Cowork ragiona in
9:19questo modo e formati supportati PDF,
9:22doc X, PowerPoint, XLS, HTML, MarkD ehm
9:27e ci dà output strutturato, citazione
9:30consorgente, token tracking. Questo è
9:31l'approccio che si usa adesso su tutti
9:33gli agenti, sia per il coding che non,
9:36mentre infatti la memoria con il file
9:39markdown è gestita da Open Clow, da
9:42tutti questi agenti qua dove utilizzano
9:45dei plugin per migliorare la gestione
9:47della wiki. Mentre nel nuovo approccio
9:50generazione 3, LLM wiki si basa sul sul
9:56concetto della wiki, della conoscenza
9:58che viene compilata una volta e poi
10:00tenuta aggiornata proprio come una wiki,
10:03eh, dove non devi riderivare ogni
10:06domanda, ok? Non ti devi andare a
10:08ricostruire tutto ogni volta. Questa
10:11idea della wiki è stata appunta appunto
10:13descritta nel dettaglio da Andrew
10:15Carpati in questo modo LellL and
10:17knowledge base. Qualche volta io trovo
10:19veramente utile recentemente utilizzare
10:21Large Language Model per costruire una
10:23knowledge base personale per differenti
10:26topic di interesse e dice che una gran
10:28parte dei suoi token che utilizza stanno
10:31via sempre diminuendo dal punto di vista
10:34della manipolazione del codice e stanno
10:37aumentando sempre di più nella
10:38manipolazione della conoscenza salvata
10:41come markdown e immagini. E adesso
10:44entriamo nel cuore. Fase 1, data ingest.
10:48Praticamente puoi caricare dentro una
10:50cartella raw slash articoli, paper,
10:54report, dataset, immagini, eccetera.
10:57Quindi tutti i file sporchi che hai li
10:59carichi là dentro e poi si utilizza il
11:02large language model per compilare la
11:05wiki in modo incrementale. Cosa fa? va a
11:08creare tanti file MD Markdown
11:12e nella struttura appunto delle
11:13directory e include anche quelli che
11:16sono i riassunti dei documenti, i
11:18backlinks, come sono collegati, li
11:20categorizza, insomma struttura tutta la
11:23eh la wiki. Praticamente abbiamo una
11:26cartella che è ll, dentro abbiamo la
11:28cartella raw e dentro la cartella raw
11:31possiamo mettere quelli che sono PDF,
11:36possiamo metterci CSV, possiamo metterci
11:40TXT, possiamo inserirci anche file
11:44markdown,
11:46tutti i file che troviamo li inseriamo
11:48qua dentro. immagini, possiamo anche
11:50inserire
11:52imgs.
11:54E quello che fa la gente, una volta che
11:56noi gli chiediamo di crearci appunto la
11:59wiki, sarà quello di creare una nuova
12:02cartella che sarà
12:05wiki
12:07e dentro ci creerà tanti file markdown,
12:10quindi ci creerà
12:12asterisco mdro
12:16MD, un altro MD
12:20e questi markdown dentro hanno dei
12:22backlink, cioè questo è collegato a
12:24questo. visto che questo è collegato a
12:25quest'altro, ci sono dei link proprio
12:27nei documenti e crea quello che è un
12:30file markdown
12:32che è l'index
12:35dove l'index la devi immaginare proprio
12:37come l'indice che dice abbiamo questo
12:40documento che parla di questo,
12:41quest'altro, di quest'altra cosa, quindi
12:43l'indice principale ed un altro markmd
12:53dove si tiene in conto di tutti i log,
12:55cioè di tutte le modifiche che fa.
12:57Modifiche, quali modifiche può fare?
12:59Inserire nuove nuova conoscenza,
13:01aggiornare la conoscenza, eliminarla.
13:03Quindi qua viene scritta tutte tutta
13:06tutta la conoscenza in log, cioè tutte
13:08le transazioni che ha fatto.
13:11Poi ide come software per visualizzare
13:14tutta questa conoscenza che stiamo
13:16costruendo, lato frontend, si utilizza
13:19Obsidian. Obsidian che cos'è? questo
13:21programma completamente gratuito che
13:24puoi scaricare ed installare sul tuo
13:26computer Windows, Linux o MacBook che
13:29sia. E questo programma qua non è un
13:32database vettoriale, è solamente un
13:34programma che ti permette di
13:36visualizzare
13:38i documenti che hai già eh in locale nel
13:40tuo computer. Quindi Obsidian che vedi
13:43qua alla fine ti fa visualizzare i file
13:45markdown in questo modo. Ok? Queste sono
13:48le cartelle che ti permette di vedere
13:50sia i documenti, diciamo, raw sporchi,
13:56sia ti perm per permettere di vedere
13:57appunto i file puliti in markdown, che
14:01ha anche questa bellissima
14:03visualizzazione dove tiene in
14:05considerazione tutti quelli che sono i
14:07link fra i documenti. No, questa piatta,
14:09cioè questa questa applicazione qua è
14:12solamente visiva per noi esseri umani,
14:14ma l'LM Wiki può funzionare benissimo
14:17anche senza eh Obsidian, non è
14:20obbligatoria, è solamente un aiuto per
14:22noi per navigare questi documenti.
14:26Andiamo avanti. Q&A. Qua le cose si
14:29fanno interessanti perché dice quando la
14:32tua wiki è grande abbastanza e per lui
14:34dice ha fatto wiki di 100 articoli,
14:36400.000 parole, insomma, wiki di una
14:39certa taglia. Tu puoi chiedere a Large
14:41Language Model tutta una serie di
14:43domande complesse sulla tua wiki. La
14:46gente cosa fa? Prende e inizia a ehm a
14:51diciamo ad analizzare la la richiesta.
14:54Quindi tu gli fai una domanda, la prima
14:55cosa che fa la gente è è andarsi a
14:58vedere cosa c'ha nella wiki. Quindi si
14:59va a guardare l'index. dall'index vede
15:02che magari i documenti rilevanti sono
15:04questi due. Va a allergersi il primo
15:07documento, va a allergersi il secondo
15:08documento, poi vede che ci sono dei
15:10riferimenti ad altri documenti, allora
15:12va ad esplorare la wiki, cioè va alla
15:14fine, se noi disegnassimo qua il grafo,
15:20lo disegniamo così,
15:22va magari a saltare da un link all'altro
15:25in base appunto alle informazioni che
15:27trova. E una volta che trova tutte le
15:30informazioni che gli servono, ti
15:31risponde. Ok? Ed è super utile
15:34soprattutto quando abbiamo dei delle
15:37knowledge base, ad esempio in ambito
15:39legale, in ambito scientifico di paper,
15:43dove ci sono tanti link. Ah, faccio un
15:45esempio. La legge la legge della regione
15:49con la legge legge della provincia,
15:51legge nazionale e legge europea, quindi
15:53ci stanno tutta questa gerarchia nei
15:55documenti, tutti questi link ed è ottimo
15:58per appunto tenere traccia di tutte
16:00queste interconnessioni e lo fa tutto la
16:03gente in autonomia.
16:04output. Invece di ottenere l'output come
16:07testo o sul terminale, lui preferisce
16:10farsi fare un render nel formato MARP
16:14format. MARP Format. Io non sapevo che
16:16formato fosse fino a quando ho letto
16:18questo articolo. MARP Format sta per
16:20Markdown Presentation Eccosystem e
16:22quindi un file MD, un markdown che però
16:26rappresenta una presentazione, quindi
16:29come output gli facciamo generare
16:31proprio presentazioni.
16:33Ehm e su Obsidian, se vogliamo
16:35visualizzarle come tali, come
16:36presentazione, ci sta un plugin
16:38particolare che si può aggiungere. Altra
16:40fase particolare, il linting.
16:43Praticamente il linting è un check della
16:46salute della nostra wiki. Quindi cosa
16:48fa? Parte la gente e controlla se ci
16:50stanno inconsisti, inconsistenti, dati
16:54mancanti, impuri o connessioni
16:56interessanti da aggiungere su articoli
16:58candidati. E quindi il Large Language
17:01Model è veramente bravo a suggerire eh e
17:05a manutenere quella che è la wiki.
17:08Quindi è per questo che utilizziamo
17:09questo approccio qua, perché noi
17:11possiamo preoccuparci solamente di
17:13aggiungere informazioni e poi l'agente
17:15si occupa sia di ingerire e gestire, ma
17:18anche di pulire, migliorare i link,
17:20eccetera eccetera eccetera. Quindi,
17:23tornando alla presentazione, Obsidian è
17:25l'IDE, è solamente un programma di
17:27front-end.
17:29ehm che ti permette anche di vedere con
17:32la graph view quello che è tutto il
17:34grafo. Questi file markdown sono
17:37collegati uno con l'altro con questo tag
17:40m qua, quindi doppia parentesi qua dra
17:42aperta e chiusa e dentro ci sta l'altro
17:44documento che sta linkando. E i cluster
17:47emergono da soli, nel senso i cluster
17:49sono i documenti che vengono citati più
17:51spesso e così via, eccetera eccetera. I
17:54tre livelli dell'architettura. Abbiamo
17:56nel primo layer le eh i dati sporchi
18:01row, quindi articoli, paper, immagini,
18:03che è la tua fonte di verità che
18:05carichi. Poi abbiamo il secondo strato
18:07che è la wiki, quindi il nostro Large
18:10Language Model costruisce tutta questa
18:12wiki con entità, concetti, sintesi,
18:15l'indice, tutto in markdown. E poi
18:17abbiamo lo schema. Lo schema è poi il
18:20file cloud.mmd MD eh che contiene le la
18:24skill che permette al nostro agente di
18:26poter utilizzare e navigare al meglio
18:28quello che è appunto la la wiki.
18:32Le tre operazioni le abbiamo viste,
18:34prima ingerisce, poi puoi fare le query
18:36e manutenzione e controllo per mantenere
18:40nel tempo la wiki.
18:42L'ingest, appunto, è quello che
18:44inserisce nella wiki le i dati, quelli
18:47che sono sporchi, query e l'esplorazione
18:51e l'intensione del del e alla fine il
18:54prodotto l'intraddizione
18:57tra le pagine, claim obsoleti contro
18:59fonti più recenti, concetti menzionati,
19:02datagine
19:04orfane senza link di entrata. Il large
19:06language model non si annoia. La cosa
19:08più importante che dice anche Carpati è
19:12che praticamente
19:14eh la Wiki è sempre stata la fonte
19:16migliore per mantenere la conoscenza di
19:19un qualcosa. La wiki aziendale, la wiki
19:22della documentazione,
19:24Wikipedia alla fine è una wiki. La cosa
19:26della wiki è che funziona, è molto
19:29efficiente, ma è difficile da manutenere
19:31quando cresce e dice i large language
19:34model non si annoiano. Devi modificare
19:3715 file in una passata senza
19:39dimenticare, lo fa. Devi editare 30
19:41file, 20 riferimenti. Il large language
19:44model è perfetto per questo scopo ed è
19:47per questo che abbiamo sviluppato llm
19:49wiki. E ci sono appunto due file di
19:51servizio index.md
19:54che dentro ha appunto tutti gli indici
19:56di cosa abbiamo, dove stanno i file
19:58principali, entità, concetti, eccetera e
20:01di log che tiene in conto di quello che
20:03abbiamo fatto in data tot, giorno tot.
20:05Abbiamo ingerito questi documenti,
20:07abbiamo modificato questi link oppure
20:09abbiamo eliminato queste informazioni.
20:12Dove si applica LLM wiki? su tutto, su
20:16documenti personali, articoli, podcast o
20:19sulla ricerca, ad esempio paper, report,
20:21interviste, una tesi che stiamo facendo
20:23e e che stiamo raccogliendo dei dati, un
20:26libro, ok, per la lettura, per un team
20:30week interno automantenuta, quindi
20:32slack, meeting, call per un'azienda o
20:35analisi competitiva, aziende, mercati,
20:37contratti. Eh, molti la stanno
20:39utilizzando l'LM wiki per tenere
20:41traccia, ad esempio, nel trading delle
20:43strategie. Si stanno facendo la wiki o
20:45per hobby, ad esempio, deep dive a lungo
20:47termine. Ci sono tantissimi casi di uso,
20:49puoi usare e costruire una wiki per ogni
20:51cosa. Questo è il cuore. Perché
20:53funziona? Perché la parte noiosa non è
20:56leggere o pensare, è la contabilità.
20:58Coss, reference, coerenza, freschezza.
21:00Gli umani abbandonano le wiki, i largi
21:03language model, no? E adesso andiamo a
21:04vedere come andare a costruirla da zero.
21:07Step numero uno, andiamo sulla pagina
21:09web di Obsidian e la scarichiamo per il
21:11nostro sistema operativo. Installata
21:13Obsidian, la apriamo e facciamo crea
21:16nuovo Volt.
21:19Selezioniamo la cartella dove vogliamo
21:21stare e il nome. Quindi, settato il
21:23nome, settata la posizione, andiamo su
21:25crea
21:27e ci troveremo con un file di benvenuto.
21:31e vediamo qua a destra il nostro grafo.
21:34Possiamo anche chiudere il tutto. Per
21:36visualizzare il grafo basta cliccare qua
21:38su apri vista grafo. Vediamo la vista
21:39grafo. E per la ehm
21:43gestione dei file li vediamo
21:44direttamente qua dove possiamo creare un
21:46nuovo file, le cartelle, ma questo non
21:48ci interessa. L'importante è da avere
21:50installato Obsidian e aver creato un
21:52nuovo Volt in una cartella. Ora Carpati
21:55ci consiglia di installare Obsidian Web
21:57Clipper Extension. Perché ce la
21:58consiglia? per poter trasformare quelle
22:01che sono le pagine web direttamente in
22:03file markdown da mettere dentro
22:05Obsidian. Quindi aggiungiamo questa
22:07estensione su Chrome. Aggiungi aggiungi
22:10estensione.
22:12Fatto ciò, lo step numero tre, quello
22:13più importante, è aprire la cartella
22:17dove appunto abbiamo eh istanziato il
22:20nostro volt di di Obsidian. Quindi, vedi
22:23qua, il file benvenuto è lo stesso file
22:25che vediamo qua. Siamo nella stessa
22:26cartella. Da qua dentro avviamo il
22:29nostro eh coding agent che può essere
22:33open code, eh antigravity, cloud code.
22:36Io ad esempio adesso avvio cloud
22:40e da qua dentro adesso gli facciamo
22:42istanziare tutto quello che è l'LM wiki.
22:46Possiamo andare ad eliminare, ad
22:49esempio, il file benvenuto. MD, non ci
22:51interessa. Ok, andiamo adesso in questa
22:55repository qua che ti linkerò sotto in
22:57descrizione che è la ll, il file
23:01punkdown creato proprio da Carpati, ok?
23:03Questo è il suo ufficiale dove ehm
23:06descrive esattamente tutta
23:08l'architettura in gest, query, lint,
23:10però descritta in un modo migliore da
23:12dare proprio ad un large language mot,
23:14quindi lo copiamo tutto
23:17fino a sotto pure con le note. Nelle
23:19note c'è scritto che è lasciato in modo
23:21intenzionale, abbastanza astratto su
23:23delle parti, in modo tale che ciascuno
23:24di noi lo può customizzare.
23:27Andiamo ad incollare qua tutto quello
23:29che è il Llm wiki e gli aggiungiamo
23:33anche questo prompt. Se il mio agente
23:35LLM Wiki implementa questo esatto file
23:37di idee con il mio secondo il secondo
23:40cervello, guidami passo passo, crea il
23:43file di schema Cloud MD con le regole
23:45complete. Imposta index MD, log,
23:48definisci le convenzioni per le
23:50cartelle, mostr il primo esempio di
23:52acquisizione ingest d'ora in poi ogni
23:55interazione seguirà lo schema. Gli diamo
23:57questo prompt e adesso facciamo
23:59strutturare alla nostra AI tutto quello
24:02che è appunto la la struttura delle
24:03cartelle con le sottocartelle. Eh,
24:06adesso ci creerà adesso la cartella Row
24:08dove possiamo poi inserire tutti i
24:11nostri documenti. Ti diciamo di sì di
24:13creare adesso le cartelle. Vedi che sta
24:16strutturando Row, wiki, concept,
24:19entities, sources, synthesis. Una volta
24:22che ci ha creato tutta la struttura, a
24:24volte potrete trovare su RAW la
24:27sottocartella assets. Io, ad esempio,
24:29queste due adesso le elimino perché me
24:31le ha create tipo di esempio per farmi
24:33vedere. Una volta creata tutta la
24:35struttura, adesso dentro RAW possiamo
24:37andarci a mettere quello che vogliamo,
24:39CSV, PDF, quello che vogliamo, oppure
24:42utilizzando appunto quella che è
24:44l'estensione che abbiamo appena
24:45installato, possiamo convertire una
24:47pagina web in file Markdown che va
24:49direttamente lì dentro. Ad esempio,
24:52vogliamo creare una wiki sulle sulla
24:55dieta, sulle migliori diete per varie
24:57cose. Ad esempio, migliore dieta per
25:02aumentare la massa muscolare. Ad
25:04esempio, andiamo nelle varie pagine web,
25:08ok? Ad esempio, ci sta questa pagina web
25:10qua. Cliccando sull'estensione
25:13Obsidian Web Clipper
25:16possiamo scrivendo qui row settare dove
25:19deve andare questo questo questa
25:22informazione. Aggiungi Obsidian e una
25:24volta cliccata aggiungi Obsidian, ecco
25:26qua che ci ha scaricato adesso la pagina
25:28con anche le immagini e ce la troviamo
25:30adesso eh direttamente anche come
25:33documento. Ok? Ehm, quindi il file sta
25:36dentro raw, non sta ancora dentro la
25:38wiki, quindi le hai ancora non ha
25:40ingerito tutto, inserito tutte le
25:42informazioni, infatti il documento, se
25:43vedi, sono tutti vuoti, tutti i link e
25:46riferimenti. Ma questo qui è un modo
25:48veloce per avere te controllo sui dati
25:50che vuoi fargli ingerire. Invece di
25:52tutte le volte scrivere qua Row, puoi
25:54andare sulle impostazioni predefinito e
25:58scrivere qua invece di clipsing clipping
26:00row. Ok,
26:04fatto ciò, adesso tutti i documenti li
26:07possiamo esportare in modo molto veloce.
26:09Ad esempio qua Obsidian, aggiungi
26:12obsidian
26:14oppure eh
26:17migliore
26:19dieta per il cervello,
26:23dieta per la mente, quali cibi per
26:25mantenere il cervello attivo. Quindi
26:27aggiungiamo anche questa.
26:30E questo approccio qua lo utilizza
26:31Andrew Carpati, ad esempio, con i paper
26:33scientifici. Lui prende tutti i paper
26:34scientifici e se li inserisce così, come
26:37adesso stiamo facendo. Tu lo puoi fare
26:38su documenti PDF che vi ti mostrerò
26:40dopo. Eh, migliore dieta per
26:45ehm
26:47ridurre lo stress.
26:52Vediamo se esiste una dieta per lo
26:53stress. combattere sesso con
26:54l'alimentazione.
26:56Ok, faccio proprio un esempio di
26:59inserimento, questo inserimento delle
27:01informazioni nella base.
27:04Ok, quindi adesso abbiamo già un po' di
27:06documenti che stanno tutti su RAW.
27:09Adesso quello che dobbiamo fare è andare
27:10sul nostro eh agente e dirgli ho
27:14inserito
27:15dei documenti
27:17dentro RAW che trattano di diete.
27:23Voglio creare una wiki sulle diete.
27:28Eh, vai con la fase di ingest.
27:36Ora parte con la fase di ingest e quindi
27:38quello che succederà è che mi
27:40trasformerà
27:42questi documenti markdown qua in altri
27:45markdown che mi andranno a popolare
27:48queste cartelle qui, quindi concept
27:51entity sources synthesis e vedrai qua
27:53nella parte a destra in tempo reale
27:56diciamo
27:58la formazione della della knowledge base
28:01con tutti i link.
28:06Come puoi vedere ci ha costruito adesso
28:08una knowledge base più ricca di
28:10informazioni. Vediamo qua che adesso sta
28:13terminando index MD e logd ed ha quasi
28:16terminato. Eh, anche qua sotto vediamo i
28:19concetti che ha creato. Questi sono
28:20tutti i file markdown, l'entità,
28:24sources, synthesis e quindi di ogni
28:27documento abbiamo le proprietà tipo tag,
28:29creato, eh nutrienti per obiettivo e
28:33quando praticamente troviamo uno di
28:35questo link qua, cliccandoci ci porta un
28:38altro MD. Questo link è proprio l'arco
28:41che ci stanno fra i due nodi del grafo e
28:44che andandoli a vedere proprio dal punto
28:46di vista di file markdown puri, ok?
28:50Questi link vengono gestiti, vediamo se
28:53lo becchiamo uno.
28:55Ehm,
28:57questi sono dei link, no? Vediamo. Ah,
29:00perché stavamo su RAW. Sono dei link
29:03fatti con le doppie parentesi quadra.
29:05Eccole qua. Doppia parentesi quadra,
29:07alimentazione stress e ci carica
29:09esattamente l'altro file markdown,
29:11alimentazione stress. Quindi potrebbe
29:14funzionare anche senza Obsidian, anzi
29:17funziona senza Obsidian. Obsidian serve
29:19solamente per farti visualizzare i file
29:22che ci sono, come sono strutturati e per
29:25poter passare da uno all'altro, ok? Per
29:28leggere le hai soprattutto come ragiona,
29:31perché adesso quando gli andremo a fare
29:32delle domande vedrà esattamente il
29:34passaggio di file in file che vorrà
29:36fare. Repilor Go, quattro sources, sette
29:39concetti, quattro entità, due synthesis.
29:42Apri Obsidian, ti spiega pure come fare.
29:43Guarda il graph view. Dovresti vedere la
29:45sintesi al centro i nodi. Ah!
29:48Le pagine citate non sono ancora create,
29:50cortisolo, serotonina appariranno come
29:53candidate orfane. Sono note per un
29:55prossimo giro di ingest o lint. Quindi
29:57possiamo anche dirgli guarda aumenta con
29:59i concetti oppure fermati qua oppure
30:02facciamo la parte di Lint e decide lui
30:03se eliminer o no. E possiamo comunque
30:07aggiungere altri documenti qua su Row.
30:10Proviamo a fare una query. Voglio fare
30:13una query sulla wiki,
30:17ovvero voglio sapere
30:21eh la migliore dieta
30:24per aumentare le performance
30:29del cervello
30:31e guarda adesso come esplora la wiki.
30:34Ok?
30:37Ed ecco qua la risposta. La mia query mi
30:39ha risposto: "Attingo principalmente da
30:41dieta per la mente e dalle eh nutrimenti
30:45per obiettivo e alimenti trasversali".
30:48Principi di fondo, il cervello consuma
30:4920% dell'energia totale del corpo. Non
30:51esiste un cibo miracoloso e nutrimenti
30:53chiave omega-3, vitamine gruppo B,
30:56magnesio. Gli alimenti amici della mente
30:58in ordine priorità sono pesce azzurro,
30:59frutta secca. E poi vedi cosa limitare?
31:02Evitare sale in eccesso, zuccheri
31:04raffinati, grassi saturi. E come puoi
31:07vedere si è basato su questi documenti
31:09in locale che abbiamo la nostra
31:10knowledge base. Non è andato sul web a
31:12cercare le informazioni e poi ci dice
31:14"Guarda, ti propongo di salvare questa
31:16risposta come nuova pagina di sintesi".
31:18Va bene,
31:21va bene, salvala,
31:24salva la e gli possiamo dire poi di
31:27farlo sempre. Ok? Per questo ci ha dato
31:30Andrew Carpati libertà, perché nel file
31:32Cloud MD gli possiamo dire, guarda tutte
31:34le query salvamele come documento di
31:37sintesis,
31:39eh, tipo confronti, analisi, grossource,
31:42oppure metterlo in una cartella di
31:44chiamata presentazione, mettila dove
31:46vuoi tu e poi da Obsidian possiamo
31:48andare a vedere quello che è il
31:49risultato. Ecco qua che l'ha aggiunto e
31:52ci possiamo andare a vedere il
31:53risultato. Eccolo qua. A performance
31:55cervello. Risposta sintetica alla query.
31:58Principio di fondo cinque nutrimenti
31:59chiave. Vedi omega-3? Non so che cos'è
32:02l'omega3. Clicco sull'omeega-3 e mi
32:04leggo che cos'è l'omega3. Famiglia di
32:05acidi grassi e nutrienti più trasversali
32:08nella guitato in tre fonti. Funzioni:
32:10cervello, stress, massa muscolare.
32:14Poi da qua vedo massa muscolare. Vedi
32:17massa massa muscolare cosa mangiare? mi
32:19vedo l'altro eh l'altro file e quindi è
32:23un modo eh quello di di utilizzare la
32:25wiki per poter esplorare i concetti, le
32:27informazioni che sono già state ingerite
32:29e gestite dalle AI e quindi è il modo
32:31migliore per poter apprendere, imparare
32:34e far crescere questa conoscenza. Ok?
32:38Facciamo ora un altro esempio con questi
32:39file PDF che sono dei bandi pubblici,
32:42ok? microcredito che hanno delle
32:45informazioni. Questa è una circolare di
32:4723 pagine e mettiamo il caso che
32:49vogliamo indicizzare eh questi bandi
32:52pubblici per la nostra startup per
32:55prendere i fondi. Ok? Quindi cosa
32:58facciamo? Come prima prendiamo le nostre
33:01risorse e le incolliamo dentro la
33:04cartella Raw. Una volta inseriti dentro
33:06la cartella RAW, vedi, le ci ritroviamo
33:09qua, gli diciamo "Ho aggiunto due file
33:13puno
33:19dei
33:21bandi pubblici per startup,
33:25voglio che li ingerisci
33:30nella Llm wiki."
33:33e adesso farà la stessa procedura e mi
33:35strutturerà il tutto per aggiungerli
33:37nella wiki. Quindi possiamo aprire
33:38adesso qua la wiki e vedere adesso come
33:40aggiungerà questi altri concetti e tutti
33:43e tutti i file. Quindi, ad esempio,
33:45possiamo creare una wiki con le nostre
33:47informazioni personali. Chi sono, di
33:49cosa mi occupo, canali YouTube,
33:51Instagram, TikTok, le trascrizioni degli
33:53ultimi video. Mi mi creo quindi il
33:55cervello sulla mia knowhow. Poi posso
33:57fare un altro volt dove metto tutti i
33:59dati aziendali oppure mi faccio un volt
34:02specifico per un progetto che sto
34:03seguendo, eh, o un volt specifico per
34:06documenti legali, leggi, burocrazie,
34:09normative, insomma, puoi crearti la tua
34:11knowledge come vuoi te. Rimane in locale
34:13sul tuo PC. Adesso vedi, sta leggendo i
34:15file RAW in primo luogo.
34:30Ecco qua, ingest completato. Vediamo
34:32come il file index praticamente si porta
34:35tutti i link ai documenti principali ed
34:37è giusto così. Sta adesso scrivendo
34:40quelli che sono il log. Quindi, andando
34:42a vedere il log, lo possiamo vedere
34:43anche da qua, in realtà il log c'è
34:46scritto setup, inizializzazione, ingest
34:49quattro fonti, poi query, refactor,
34:52ingest due bandi pubblici per startup.
34:54Vedi, si tiene conto di tutto quello che
34:55abbiamo fatto. L'index invece è il
34:58catalogo di tutte le pagine della wiki,
35:00dominio diete, dominio startup, entità
35:03entità per dominio. Abbiamo anche visto
35:07come si distinguono, no, anche
35:10visivamente i grafi. Abbiamo da una
35:12parte i bandi
35:15e dall'altra abbiamo tutto quello che è
35:16la dieta. Ci sono due gruppi che sono
35:18uniti dai log e dall'index, comeè giusto
35:21che sia, perché cita tutto. Poi abbiamo
35:24dei file, ok, separati a sé che possiamo
35:27collegare, esplicare ancora di più. E
35:30adesso che abbiamo aggiunto i documenti
35:32sui bandi, ad esempio, possiamo fargli
35:33domande su specifiche per i band. Ho
35:36un'azienda di consulenza. Ci occupiamo
35:38di automatizzare le PMI con l'uso
35:40dell'intelligenza artificiale. Abbiamo
35:41fondato da 6 mesi. Quale bando possiamo
35:43partecipare? Quali sono i requisiti?
35:45Quanti soldi ci danno? cerca nella wiki.
35:47Quindi alla nostra query vedi come ci ha
35:49risposto utilizzando i documenti bandi
35:52di avvio impresa, Smart Start Italia,
35:54microcredito circolare, startup
35:56innovativa, ci ha risposto poi come
35:59prima ci ha detto "Guarda, ti creo un
36:00fire markdown, te lo salvo qua, va
36:02bene?" E inoltre aggiorno index MD gli
36:04ho fatto si salva e quindi adesso ci
36:06troviamo
36:08il tutto salvato su eh
36:13Ecco qua, caso studio, consulenza e
36:15IPMI. ci dice analisi di applicabilità
36:18dei bandi tracciati n wiki a un profilo
36:19aziendale specifico, azienda di
36:21consulenza che automatizza PMI, età
36:23costituita da minore uguale 60 mesi,
36:25requisito ampiamento rispettato 6 mesi.
36:27Oggetto il punto ehm prodotti e servizi,
36:31va bene. Bonus età requisiti da
36:33verificare prima della domanda.
36:34Iscrizione alla sezione speciale del
36:36registro delle imprese come startup
36:38innovativa. Ad esempio, io non gli ho
36:40specificato se siamo startup innovativa
36:42o no, lo leggo qua che è necessario.
36:43Dico ma che cos'è? Clicco sul link e mi
36:46leggo che cos'è la startup innovativa.
36:48Sta scritto qua categoria giuridica di
36:50imprese introdotta al decreto legge.
36:53Requisiti essenziali durata nella
36:55qualità soglia massima. Requisiti sul
36:57personale
36:59e rilevare i fini della
37:00recondicondazione sul personale Smart
37:02Smart Start Italia. Che cos'è Smart
37:04Start Italia? E così posso esplorare la
37:06mia wiki o manualmente dal appunto
37:10dall'IDE che è Obsidian o dalla gente
37:13qua che esplora i file al posto mio e mi
37:16risponde e mi può rispondere sia come
37:17testo sia come file markdown che ci
37:20genera qua o anche come presentazioni,
37:22come diceva Andrew Garpati, utilizzando
37:25il MARP come formato. Ma per fare questo
37:29bisogna abilitare un plugin su Obsidian.
37:32Per abilitare il plugin bisogna andare
37:34su impostazioni, puoi andare su plugin
37:36di terze parti, abilitare il tutto, puoi
37:39andare su plugin della comunità sfoglia
37:41e scrivere MARP MARP Slides, andare qua,
37:44installare MARP Slides,
37:49abilita.
37:50Una volta abilitato, possiamo andare
37:52sull'agente nostro
37:54e gli possiamo dire creami una eh marp
37:59slide con la risposta alla mia query.
38:05Vi facciamo creare proprio una
38:06presentazione adesso che visualizzeremo
38:08appunto grazie a questo plugin che
38:10abbiamo installato. Ecco fatto. Vediamo
38:12che mi ha risposto. mi ha generato
38:14appunto un file markdown dentro una
38:18nuova cartella che si chiama
38:19presentations. Mi dice pure come
38:21visualizzare un obsidian. Installa il
38:22plugin marp for obsidian. L'abbiamo
38:25fatta, andiamo a vedere. Quindi sta su
38:28presentation. Eccolo. Quindi adesso lo
38:30possiamo visualizzare normalmente come
38:31file markdown,
38:33però l'estensione. Ecco, ci ha aggiunto
38:35questa parte qua, show slide preview,
38:38che ci permette di vedere proprio le
38:40slide. Ok, questa è parte uno, parte
38:42due, la possiamo vedere come ehm
38:48PDF, sporta come PDF.
38:53Eccolo qua, l'abbiamo sportato come PDF.
38:59Apriamo proprio il file. Apri con un app
39:02predefinita. Ed ecco qua la nostra
39:03presentazione. Smart Start Italia, il
39:06bando giusto nostra consulenza.
39:08La situazione partenza è da 6 mesi.
39:10Obiettivo domanda chiave. Quale
39:12strumento pubblico potete candidarvi con
39:13requisiti? Il match,
39:17requisito bloccante, startup innovativa,
39:20quanti soldi, esempio concreto. E quindi
39:23possiamo ottenere delle risposte che
39:25sono delle vere e proprie presentazioni,
39:27proprio come fa Andrew Carpati. Questo è
39:28tutto l'approccio. Poi gli posso dire
39:31parti con la fase di lint e adesso gli
39:33faccio ripulire tutti i collegamenti,
39:36i file che magari eh mancano, delle
39:39citazioni o aggiunge dei contenuti e
39:43adesso noi manualmente abbiamo inserito
39:45le sorgenti, la base di conoscenza, ma
39:47volendo potevamo dire a Cloud o alle chi
39:50sia di andare sul web, scaricarmi tutti
39:52i bandi pubblici che ha trovato come
39:54PDF, mettermeli dentro Row e poi far
39:56partire l'injec
39:59Ecco qua che cerca le menzioni di
40:01concetti candidati citati ma senza
40:03pagina dedicata. Per efficienza verifica
40:05in bound link di ogni pagina in
40:07parallelo e cerca anche concetti
40:08candidati ricorrenti senza wikilink.
40:11Adesso mi va a pulire il tutto e mi
40:13metterà mi fa l'health check, cioè il
40:16check della salute della wiki e io non
40:18devo fare nulla. Io mi devo preoccupare
40:19solamente di ingerire i documenti,
40:22magari se i documenti PDF sono delle
40:24scansioni di di applicare un OCR di tras
40:27trasformarle io in un documento
40:29leggibile eh dalle i e il resto per
40:32tutto il resto ci pensa appunto
40:34l'intelligenza artificiale. Facciamo un
40:36recap di chiusura. Abbiamo il rag che
40:39usa gli embeddings. Accesso similarity
40:42search contesto a tutti i frammenti dei
40:45chunk. Cross reference invisibili.
40:48Accumulo nessuno, non si accumula la la
40:51conoscenza, mentre sulla gentic è quello
40:54più leggero perché utilizza il file
40:55system accesso con tool scan, read grap,
40:59contesto documenti interi, cross
41:01reference eseguibili a runtime e
41:03l'accumulo è debole. note opzionali
41:06oppure l'append sullo stesso file,
41:08insomma, eh è veloce ma costa di più in
41:11termini di token. E poi abbiamo ll
41:14compilata persistente, index più lettura
41:17lettura diretta, pagine inter linkate,
41:20sintesi materializzati come link, quindi
41:22non è che runtime lui si deve
41:24ricostruire come sono collegati, ma se
41:26li vede proprio come link, riferimenti
41:28dentro i documenti. Accumulo centrale,
41:30proprio il punto centrale della LLM
41:32wiki. Questi tre approcci non è che uno
41:35sostituisce l'altro, ok? Possono anche
41:38coistere tutti insieme. Possiamo fare
41:40l'LLM wiki dove su certi documenti
41:42grandi utilizziamo l'agentic file search
41:45per scansionare un documento e possiamo
41:48usare il rag quando abbiamo milioni e
41:50milioni di documenti dove facciamo un
41:52prefiltro selezionando i documenti più
41:54rilevanti e poi partiamo magari con il
41:56grafo questo qui di LellM e poi con la
41:58Gentic. Questi sono i tre approcci in
42:01ordine. Prima tutto si basava sul rag,
42:03adesso si stanno basando gli agenti
42:05sulla parte di seconda generazione,
42:07adesso stiamo iniziando con la terza
42:09generazione. Lo troviamo anche su
42:11OpenClow dove hanno aggiunto anche loro
42:14Memory Wiki Companion Plugin, dove hanno
42:16aggiunto loro anche la gestione della
42:18wiki per migliorare la memoria
42:20persistente del tuo agente personale.
42:22Intanto qua ho controllato, ho trovato
42:24bassa severità, media severità, dei
42:27file, dei link da modificare. Adesso
42:29glieli faccio. Spero che questa video
42:31lezione ti sia piaciuta dove abbiamo
42:32fatto un escursus di come viene gestita
42:34la memoria, la knowledge based dei
42:36nostri agenti I. A mio avviso è il
42:38migliore investimento che possiamo fare
42:41nella costruzione di una knowledge base
42:43perché le hai continuano a migliorare ma
42:45le nostre informazioni ce le abbiamo
42:46noi, quindi dobbiamo partire già da
42:48prima a costruirci una buona base di
42:51dati per poter usare al meglio le I e
42:54troverai in descrizione tutti i vari
42:56link di delle Repo, del post su ex,
43:00troverai tutto in descrizione. Fammi
43:02sapere con un commento qua sotto cosa ne
43:03pensi, se lo stavi già utilizzando, se
43:05ne avevi sentito parlare. Seguimi per
43:06rimanere aggiornato sul mondo delle A.

About this transcript

This page contains the full transcript of RAG è già vecchio? Il nuovo modo di costruire Knowledge Base per AI con LLM Wiki by Simone Rizzo, generated from the public captions YouTube serves with the video. The transcript has 6,136 words across 1,036 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.