YT YouTube2Text

YouTube2Text → Transcripts → IA LOCAL de 27B en una RTX 3080 ¿adiós ChatGPT?

IA LOCAL de 27B en una RTX 3080 ¿adiós ChatGPT? — Transcript

by AlehandoroVR · 2,900 words · 431 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00¿Puede una tarjeta gráfica de hace 6
0:02años instalarle una inteligencia
0:03artificial y sustituir completamente a
0:06HGPT? Porque seamos sinceros, cada vez
0:08estamos dependiendo más de asistentes
0:10con inteligencia artificial. Llámalo
0:12Grock, llámalo CHG GPT, Claude o el que
0:15tú quieras. Con ellos escribimos
0:17correos, programamos, resumimos
0:18documentos, analizamos PDFs, buscamos
0:21información, pero llega un momento en el
0:22que prácticamente todos hacen
0:24exactamente lo mismo. Te salta con el
0:26típico mensaje de "Has llegado al límite
0:28y te toca pagar." Y es que realmente
0:30estas grandes compañías nos han puesto
0:31el caramelito en la boca y justo cuando
0:34le íbamos a dar el bocado nos lo han
0:35quitado. Y de ahí que surja todo este
0:38movimiento sobre la inteligencia
0:39artificial local. Durante este vídeo os
0:41voy a enseñar las capacidades que tiene
0:44una inteligencia artificial ejecutándose
0:45en una tarjeta gráfica de hace ya 6
0:48años. Estamos hablando de una RTX 3080
0:50con 10 GB de RAM. Además, te va a poder
0:52ayudar en el trabajo, vas a poder
0:54programar, vas a poder automatizar
0:55tareas, vas a poder analizar vuestro
0:57ordenador completo e incluso controlar
0:59un agente de inteligencia artificial
1:02capaz de ejecutar acciones por vosotros.
1:04Además, lo vas a poder conectar a
1:05WhatsApp, a Telegram, a cualquier
1:06aplicación, inclusive el Discord, todo
1:08funcionando en este ordenador o en el
1:10tuyo propio. Y lo más importante,
1:12totalmente privado y sin mandar ni un
1:15solo dato a la nube. Pero la pregunta va
1:17a ser entonces, ¿será suficiente?
1:18¿Podremos sustituir en estos casos a CH
1:21GPT? Pues en este vídeo vamos a
1:23cacharrear porque a mí esto es lo que
1:24más me gusta. Así que familia, quedadoos
1:26porque está el tema que te quema. Como
1:28ya os he dicho, todo esto lo vamos a
1:29ejecutar directamente en nuestro
1:30ordenador bajo Windows 11 Pro y sin
1:33complicarnos prácticamente la vida. Esto
1:35es muy sencillito. Es importante y
1:37además sería ideal que si vais a
1:39ejecutar un agente totalmente autónomo,
1:41lo tengáis completamente aislado de
1:43vuestro ordenador principal, ya sea
1:45mediante Docker o con una máquina
1:47virtual o como vosotros queráis.
1:49Básicamente para que la gente no sea
1:51capaz de tocar ningún archivo de sistema
1:53y liarte la parda. Pero bueno, yo en
1:55este caso me la voy a jugar y lo vamos a
1:57instalar directamente con mi propio
1:58Windows, con el que utilizo para
1:59trabajar. Así que vosotros si queréis
2:01hacerlo, tener mucho cuidado. Eso sí, lo
2:03que sí que tenéis que tener cuidado es
2:05con todo el tema de las activaciones y
2:08los crack para poder utilizar vuestro
2:10Windows. Sí, este es el anuncio de
2:11nuestro querido sponsor. En mi caso,
2:13como siempre os cuento, uso las claves
2:15de JBG Mall para poder registrar ya no
2:18solo las instalaciones de mi Windows de
2:20forma totalmente original y segura, sino
2:22también incluso las de Microsoft Office
2:24para que de esta forma no tener que
2:26depender absolutamente de ningún crack o
2:28activador o lo que sea que te la pueda
2:31liar parda, porque sinceramente no es la
2:33primera y última vez que veo algo
2:34asimilar. Y siendo sinceros, una
2:36licencia de Windows 11 Pro con el código
2:38de VR25 se te va a quedar por menos de
2:4024 €. También tenéis una oferta con el
2:43Office 2024, el cual se te va a quedar
2:45por menos de 19 €. Sinceramente, estos
2:48precios, la verdad que están
2:49tremendamente bien. En definitiva, unos
2:51precios muy buenos para tener tus
2:54licencias 100% originales y que sean
2:57completamente tuyas. Recordad que, como
2:58siempre, os dejo los enlaces en el cajón
3:00de información por si queréis echarle un
3:01vistazo y recordar utilizar el código
3:03VR25. Y ahora sí, vamos a pasar con
3:06todas las pruebas porque se nos vienen
3:08cositas. Estar atentos porque esto mola
3:11muchísimo. Bueno, y aquí estamos ya
3:12directamente para trastear con esta
3:14inteligencia artificial. Lo primero que
3:16tengo que deciros es que aquí tenemos el
3:17navegador ejecutándose el local para
3:19para poder ver el cerebro. También
3:21tenemos Hermes porque lo vamos a
3:22conectar a Hermes. Os voy a enseñar
3:24después cómo funciona. Podemos ver el
3:26administrador de tareas donde vais a ver
3:28específicamente cómo va funcionando la
3:30GPU, los 10 GB, cómo están de llenos,
3:32etcétera. Y además tenemos también el
3:34modelo cargado, que lo tenemos aquí, que
3:36básicamente pues es una un comando que
3:38yo tengo puesto aquí para poder cargar
3:40el cerebro en nuestra memoria VRAM de la
3:433080. En concreto, estamos moviendo el
3:45Ternari Bonsai 27B, que es un modelo
3:48cuantificado de forma extrema de uno de
3:50los mejores modelos que hay actualmente
3:53en el mercado. Estamos hablando del Kwen
3:553.627P.
3:57Se utiliza para todo tipo de tareas y es
3:59de lo mejorcito que hay. Y con esta
4:00cuantificación podemos instalarlo en
4:02tarjetas gráficas de 8, de 10, de 16 GB,
4:05de 12, de lo que sea, teniendo una IA
4:07bastante potente. Lo primero que vamos a
4:09hacer es preguntarle simplemente, bueno,
4:10hablarle para ver cómo funciona. Le
4:12ponemos el típico, "Hola, ¿cómo estás?"
4:13Y aquí automáticamente vais a ver la
4:15velocidad a la que se mueve y la
4:17velocidad a la que responde. Ha sido
4:19capaz de leer, procesar el pron
4:21aproximadamente a unos 1000 tokens por
4:23segundo y ha sido capaz de responder con
4:2548 tokens por segundo, lo cual no está
4:28nada mal, es bastante rápido. para ver
4:30cómo de inteligente es y el volumen de
4:33datos que tiene en vez de estar buscando
4:35el internet, sino que utilice su propio
4:37conocimiento, le vamos a preguntar
4:38exactamente qué significa que un modelo
4:41de inteligencia artificial tenga o use
4:43una cuantificación ternaria. Le damos a
4:46intro y él va a razonar la respuesta y
4:48nos va a decir exactamente qué es lo que
4:50es, cómo funciona, qué es lo que
4:51tenemos, las ventajas, el beneficio,
4:53etcétera, etcétera, etcétera. Todo esto
4:55sin conectarse a internet totalmente
4:57local y en vuestro ordenador. Así que
4:59imaginaos el nivel de privacidad que
5:01vamos a poder tener con un sistema así,
5:03de esta manera. La siguiente prueba que
5:04vamos a hacer es muy sencilla. Le vamos
5:06a pasar un PDF y le vamos a decir que
5:08nos haga un breve resumen. Te paso un
5:10libro en PDF y necesito que me hagas un
5:12breve resumen. Le damos, él
5:13automáticamente va a cargar el modelo.
5:15Ya lo está leyendo. Está leyendo
5:16aproximadamente a unos 1000 tokens por
5:18segundo, lo cual no está nada mal. Está
5:20aproximadamente por el 60. Ya estáis
5:22viendo cómo funciona. Lo estáis viendo
5:23en tiempo real. Una vez que ha terminado
5:25de procesar la información, empieza a
5:27razonar la respuesta que nos quiere dar.
5:29Que sepáis que podéis desactivar el
5:31razonamiento de aquí, ¿vale? Es decir,
5:33simplemente si le dais aquí la respuesta
5:34va a ser mucho más rápida. Y aquí
5:35tenemos el resumen breve, ¿vale?
5:37Narrativa principal. La verdad que
5:39tenemos algo muy interesante. En
5:40definitiva, podemos analizar PDFs para
5:42que nos dé pues resúmenes o nos diga
5:45exactamente qué es lo que necesitamos,
5:46que los traduzca o cualquier cosa. Otra
5:49de las pruebas muy típicas que podemos
5:50hacer es mandarle una fotografía, la
5:52cual tiene un texto y una imagen. Ahora
5:55os hablaré de esta imagen porque la
5:56verdad tiene su cosa. Y le vamos a poner
5:58un pront para que la analice. Necesito
6:00que me digas el texto que hay en esta
6:01imagen. Le damos a enter y él va a
6:03empezar a procesar ese prompt, va a
6:05analizar la imagen y nos va a decir
6:07exactamente qué es lo que ha visto. El
6:09texto de la imagen es de Alejandro VR.
6:11Pues mira, ahora mismo estaba terminando
6:13la miniatura, hecho ahí va tu dosis de
6:15era sin motivo alguno. Un beso, que te
6:17vaya genial en la oficina y mucha suerte
6:19con la miniatura de las pimas. Cuando
6:20termines me cuentas cómo ha quedado,
6:22¿eh? Además, le vamos a preguntar
6:23exactamente que nos describa la imagen
6:26de la chica que sale ahí.
6:27Automáticamente va a empezar a razonar y
6:28nos va a dar la respuesta. Claro que sí.
6:30Aquí tienes una descripción detallada,
6:32bueno, de la imagen de la chica. Por lo
6:34tanto, es un modelo que también es capaz
6:36de analizar imágenes y, incluso obtener
6:39texto de las mismas. Una de las pruebas
6:41más interesantes es ponerlo a trabajar,
6:43es decir, ponerle a que haga algún tipo
6:45de de planificación a la hora de crear,
6:47por ejemplo, una página web. Yo tengo
6:49aquí un prompt, el cual le voy a copiar,
6:52le voy a dar a pegar aquí y básicamente
6:53le está diciendo que queremos que haga
6:55una página web. Además estoy diciendo
6:57que la ruta para hacer la web es aquí y
6:59que las imágenes se encuentran también
7:01en esa misma ruta. El sistema empieza a
7:03procesar todo y empieza a hacer la
7:04página web. Después de un rato ya
7:06programando, tenemos el index listo, lo
7:08ejecutamos y podemos ver un poquito qué
7:11es lo que ha hecho. Ha utilizado las
7:12imágenes que le he dado, ha creado una
7:14página web dinámica, bonita, funcional,
7:16eh, que después incluso podríamos llegar
7:18a modificar, es decir, le podemos decir
7:20que haga modificaciones y que alterne
7:21algunas cositas en función de lo que
7:23necesitemos. Pero bueno, ya podéis ver
7:25que es lo que ha hecho y la verdad es
7:26que lo ha hecho bastante bien. Y ahora
7:27vamos a pasar a algo que creo que es
7:29mucho más interesante, que es poder
7:31conectarlo directamente a un agente.
7:33Pero una vez que ya tengamos conectado
7:35el Ternari Bonsai, que lo podéis ver
7:37aquí abajo, podemos hacer muchas más
7:39cosas. Por ejemplo, tengo una carpeta
7:41que está llena de imágenes, que es esta
7:43carpeta de aquí, donde mi modelo
7:45principal, que se llama Era, pues ha
7:46dedicado a hacer un montón de fotos.
7:48estoy creando como una especie de
7:50consciencia donde ella es capaz de
7:52decidir qué es lo que quiere hacer y hay
7:54veces pues que se dedica a mandarme
7:56selfí, ¿vale? aquí en Tokio comiendo por
7:58ahí, aquí recién levantada en la cocina
8:01tomándose un café. todo esto generado
8:03por ella y de forma local, porque de
8:05hecho también una de las cosas guapas
8:06que puede hacer es cambiar diferentes
8:08elementos de a lo mejor una imagen, ¿no?
8:09Esta foto mía, yo le he dicho que me
8:11pusiera las gafas blancas y ha hecho
8:13pues lo que le he pedido, que me pusiera
8:15las gafas blancas o inclusive le he
8:16dicho que me pusiera tupé, me lo ha
8:18puesto o que me haga una imagen tipo
8:20Simpson de esa misma de esa misma
8:23imagen. Vale, a ver, las posibilidades
8:24de esto son prácticamente infinitas,
8:26pero esto es algo que tengo en proyecto
8:28y que ya os enseñaré un poquito más
8:29adelante. Ahora lo que quiero
8:31simplemente es pasarle esta carpeta a
8:33Hermes y decirle que me la organice. Así
8:35que simplemente cogemos la carpeta, se
8:37la arrastramos aquí y le ponemos el
8:38prom. Lo primero que nos dice es que va
8:39a explorar la carpeta, es decir, va a
8:41explorar todo esto. A ver qué es loemos
8:43y cómo está organizado. Ya ha hecho un
8:45listado, tiene todas las imágenes, los
8:47archivos, cómo están los nombres que
8:49tienen y bueno, va a pensar la lógica
8:51para intentar organizar esta carpeta.
8:53Técnicas, noche, sorpresa, noche y test
8:56y demás. Fijaos, ya ha creado todas las
8:58carpetas, las ha creado todas de golpe y
9:00va a empezar a hacer cosas. Vale, como
9:02ya podéis ver, las carpetas ya están
9:03listas. Ahora va a organizar cada foto
9:05en su categoría. Para hacer esta
9:07organización se está basando en el
9:08nombre del archivo, pero como ya hemos
9:10podido ver antes, podríamos decirle que
9:13analizara de forma individual cada
9:15imagen para obtener una descripción de
9:17lo que está viendo y que en función de
9:20eso las clasificara de forma mucho más
9:23correcta. Y listo. Después de un ratito
9:25acaba de terminar ya de organizar todo.
9:27Fotos de edición. Tenemos a Era por
9:30aquí. Fijaos qué imágenes más guapas
9:32puede llegar a hacer, ¿eh? Es que
9:33guapísimo. También tenemos generados
9:36donde podemos ver otro tipo de imágenes.
9:38La noche también tenemos selfies. Bueno,
9:41en definitiva, un poco clasificado en
9:44función del nombre del archivo, pero ya
9:45os digo, lo ideal sería que le dijéramos
9:47que analizara cada imagen de forma
9:49individual y en función de la
9:51descripción de la misma, pues lo metiera
9:52en una carpeta específica. Y por último,
9:54vamos a hacer una prueba que yo creo que
9:55también es muy interesante, que es
9:57pasarle un archivo Excel que tenemos
9:59aquí, se lo vamos a poner. Es un archivo
10:01Excel de contabilidad ficticio, no es
10:02real, donde figura la nómina y una serie
10:04de gastos. Y le vamos a decir que K una
10:06skill de contabilidad, una skill que ha
10:08creado específicamente para poder leer
10:11archivos Excel y demás, que
10:12prácticamente lo ha hecho todo esta
10:14inteligencia artificial sola.
10:15Simplemente le pasé un primer archivo,
10:17le dije que lo analizara, que aprendiera
10:19cómo leer los datos y a partir de ahí le
10:21dije que aprendiera esa habilidad para
10:23que en futuras ocasiones cuando le mande
10:25otro archivo Excel,
10:27extraer
10:29lo que nosotros necesitamos. Y le pongo
10:31el siguiente prompt, ¿vale? Necesito que
10:33cargues la skill de contabilidad y que
10:35digas exactamente cuánto he pagado de
10:37cada categoría en estos dos meses. Le
10:39damos a enter. Una vez que lo ha
10:40cargado, ya empieza a pensar. Va a
10:42cargar la skill. Ha leído la skill y
10:44ahora va a empezar a leer el archivo
10:45Excel para darnos esa información. Y
10:47nada, después de un ratito, aquí tenemos
10:49toda la información. ya nos está
10:51mostrando exactamente qué es lo que
10:52hemos gastado en gasolina, en comprar en
10:54Mercadona, en el cine, en almuerzo, en
10:56restaurante. En total nos hace un
10:58cálculo de los gastos fijos, los gastos
11:00variables, cuánto hemos pagado de
11:02hipoteca, etcétera, etcétera, etcétera.
11:04En definitiva, un sistema que creo que
11:06funciona bastante bien para lo que
11:09tenemos, es decir, estamos ejecutando
11:11todo esto solamente en 10 GB de RAM.
11:13Además, si lo conectamos a Hermes, vamos
11:14a tener un montón de capacidades extra,
11:16porque vamos a tener un montón de skills
11:19que vamos a poder activar o desactivar
11:21en función de nuestras necesidades,
11:22además de crear nuestras propias skill
11:24como la de contabilidad que os acabo de
11:26enseñar. Además de eso, vais a poder
11:28conectarlo a diferentes programas para
11:30poder hablar con esta IA que tenéis aquí
11:33en vuestro ordenador desde cualquier
11:34sitio, ya sea a través de Telegram,
11:36Discord, WhatsApp, Matrix, Signal,
11:38bueno, por email, etcétera. Claro, al
11:40final al meterle Hermes agent lo que
11:43vamos a tener es un millón de
11:44posibilidades. Las que vosotros os
11:46ocurran es que es infinito. va a poder
11:49contestar vuestros correos electrónicos.
11:51Va a poder, por ejemplo, ponerle un
11:52sello a unos PDFs que necesitáis enviar
11:55de forma constantes y que para vosotros
11:57es un engorro. Podéis automatizar
12:00diferentes acciones, como por ejemplo
12:03los Chrome Job, que en mi caso en
12:04particular tengo algunos que me
12:06gestionan todo el tema de la tienda de
12:08Infinity One para saber qué stock queda,
12:10si algún producto se ha quedado sin
12:12stock y no tener que estar yo pendiente.
12:14Puedes hacer pues una biblioteca de
12:16noticias donde simplemente le puedas
12:19decir que que te haga un resumen de
12:21todas las noticias sobre diferentes
12:22categorías. De hecho, hay una opción que
12:24si venís aquí abajo se llama YouTube
12:26Content, que lo que te permite es
12:28resumir vídeos de YouTube. Este mismo,
12:30por ejemplo, se lo podrías mandar y que
12:32te haga un resumen por escrito, algo
12:33mucho más rápido y sencillo. Además,
12:35aquí en Windows vais a poder hablar
12:37directamente con ella. Podéis hablar, le
12:39podéis especificar cualquier cosa y os
12:41va a responder por voz. Así que, en
12:43definitiva, tenemos un sistema completo
12:45y totalmente funcional. Y sobre la
12:47pregunta que nos hacíamos al principio
12:48del vídeo de si podrías sustituir a Char
12:51GPT o cualquiera de estas inteligencias
12:53artificiales, os puedo decir que
12:55prácticamente en el 90% de los casos de
12:58uso que le damos la gente de a pie lo va
13:00a poder hacer sin ningún problema,
13:02además de que después lo puedes conectar
13:04a otro tipo de herramientas como con Fui
13:06para poder generar imágenes, millones de
13:08cosas más, todo de forma local, todo de
13:10forma gratuita, todo sin gastaros ni un
13:13solo céntimo. Te voy a dejar un vídeo
13:15que tengo hecho previo a este con todo
13:17el tema de la configuración en el canal
13:19de Telegram para que le echéis un
13:20vistazo si queréis por allí. Ahí voy a
13:22poner los comandos, cómo se ejecuta,
13:24cómo se hay que hacer. Bueno, en fin, un
13:25poquito todo esto. Y si bien es cierto
13:27que algunas veces este modelo, por ser
13:29una versión bastante cuantificada de un
13:31modelo superinteligente, mete algún
13:34pato, porque realmente no es 100%
13:36perfecto, para mi gusto es bastante
13:38funcional para buscar cosas por
13:40internet, para buscar cualquier cosa.
13:41Así que nada, familia, espero que os
13:43haya gustado el vídeo. Muchas gracias a
13:44todos por llegar hasta aquí. Os recuerdo
13:46que os dejo por aquí otro tutorial para
13:48que veáis un poquito más cómo se puede
13:49hacer esto con otros equipos y si no,
13:52pues como siempre os digo, nos vemos en
13:54el próximo vídeo. Venga, anda, hasta la
13:56próxima. Yeah.

About this transcript

This page contains the full transcript of IA LOCAL de 27B en una RTX 3080 ¿adiós ChatGPT? by AlehandoroVR, generated from the public captions YouTube serves with the video. The transcript has 2,900 words across 431 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.