Gradiente Descendente Paso a Paso con Python: Un Algoritmo de Optimización para Machine Learning — Transcript
Full transcript
- 0:00En la vida cotidiana, comúnmente
- 0:02intentamos optimizar. Por ejemplo,
- 0:05intentamos realizar la mayor cantidad de
- 0:08actividades en el menor tiempo posible.
- 0:12Claro, para lograr esto, nosotros
- 0:14tenemos que hacer múltiples ajustes.
- 0:16Algo muy similar pasa dentro del
- 0:19contexto de aprendizaje de máquina. Las
- 0:22diferentes técnicas que nosotros
- 0:23utilizamos para predecir o para
- 0:26clasificar automáticamente
- 0:29tienen que ajustar sus parámetros para
- 0:32poder realizar esta actividad con el
- 0:35menor error posible. Claro está, cada
- 0:39una de estas técnicas tiene su propia
- 0:41manera de optimizar sus parámetros, de
- 0:44ajustarlos de forma que puedan predecir
- 0:47o clasificar con el menor error posible.
- 0:51Sin embargo, existe un algoritmo de
- 0:54optimización que es muy relevante y muy
- 0:58utilizado y que es la base para entender
- 1:02muchas de las técnicas, no solo de
- 1:04aprendizaje de máquina, sino de
- 1:07aprendizaje de máquina profundo. Esta
- 1:10técnica de optimización se llama el
- 1:13gradiente descendiente.
- 1:15En este vídeo nosotros visualizaremos
- 1:18cómo funciona este algoritmo, lo veremos
- 1:22paso a paso. De hecho, les comento,
- 1:25realizaremos algunos cálculos. Sin
- 1:28embargo, estos cálculos nosotros lo
- 1:31realizaremos vía programación, dado que
- 1:34estamos en un canal de programación. Mi
- 1:37nombre es Octavio Gutiérrez y en este
- 1:39canal aprenderemos programación,
- 1:41inteligencia artificial y aprendizaje de
- 1:43máquina.
- 1:44Gracias por acompañarme.
- 1:50Vamos a iniciar la explicación del
- 1:52algoritmo descendiente utilizando un
- 1:54contexto un poco extraño. Sin embargo,
- 1:56ya verán, este contexto nos ayudará
- 1:59muchísimo a entender a groso modo cómo
- 2:02funciona este algoritmo. Okay, la imagen
- 2:05que nosotros estamos viendo aquí es una
- 2:08imagen de una zona montañosa y la
- 2:11estamos viendo grisecita porque se asume
- 2:13que está de noche, pero de esas noches
- 2:15que no ves absolutamente nada. Y en el
- 2:18fondo de esta zona montañosa, en la
- 2:20parte más baja, se encuentra un arroyo.
- 2:24Y este arroyo lleva una corriente muy
- 2:28baja. Okay, entonces ahora imaginemos
- 2:31que vamos en un avión. Les dije que era
- 2:33completamente extraño, pero bueno,
- 2:35síganme.
- 2:36Aquí vamos en este avión y nosotros
- 2:39queremos llegar al arroyo. Entonces,
- 2:42pues no hay manera de que nosotros
- 2:44aterricemos el avión, nos lanzamos con
- 2:46un paracaídas.
- 2:48Podríamos caer aquí. Obviamente,
- 2:51lanzarse con un paracaídas, salvo que
- 2:53seas un experto, pues no hay una manera
- 2:56así tan fácil de garantizar dónde caer,
- 2:58pero estás en una zona montañosa.
- 3:00Pero también pudimos haber caído por
- 3:02acá. O pudimos haber caído por acá. O
- 3:05pudimos haber caído en diferentes
- 3:06posiciones.
- 3:08Sin embargo,
- 3:09¿cómo le hacemos si no traemos nosotros
- 3:12una lámpara para llegar a donde se
- 3:15encuentra el arroyo? No tiene una
- 3:17corriente, entonces no lo podemos
- 3:18escuchar. Está enteramente oscuro,
- 3:21entonces no podemos ver, pero estamos en
- 3:24una zona montañosa y sabemos que en el
- 3:26fondo se encuentra el arroyo. Entonces,
- 3:30¿cómo llego yo al arroyo? ¿Cómo llego yo
- 3:33al fondo?
- 3:35Asumamos que una vez que caemos, dado
- 3:38que no podemos ni escuchar ni ver,
- 3:41simplemente damos un paso exploratorio
- 3:43hacia adelante, otro hacia atrás, otro
- 3:45hacia la izquierda y otro hacia la
- 3:47derecha. Y nosotros vemos cuál de estos
- 3:51pasos nos lleva
- 3:53al fondo, cuál de estos pasos decae más.
- 3:57Y vamos a suponer que fue el paso de
- 4:00hacia adelante. Entonces doy mi paso. Y
- 4:03una vez que doy el paso, nuevamente
- 4:06exploro, porque la superficie podría ser
- 4:10irregular. Entonces, vuelvo a dar un
- 4:13paso hacia adelante, un paso hacia
- 4:14atrás, un paso hacia la derecha y
- 4:18determino cuál de estos pasos me lleva
- 4:21más hacia el fondo. Y ya se imaginarán,
- 4:24podemos hacer exactamente el mismo
- 4:28procedimiento hasta que lleguemos al
- 4:30arroyo, hasta que toquemos el agua. Y
- 4:33esto es gracias a que sabemos que el
- 4:35arroyo se encuentra justo en el fondo.
- 4:39Sin embargo, ¿qué pasa si lo trasladamos
- 4:41a una técnica de aprendizaje de máquina?
- 4:44Nosotros, poco a poco, utilizando una
- 4:48cierta dirección, vamos ajustando los
- 4:52parámetros. Y los vamos ajustando con el
- 4:55objetivo de llegar al fondo. ¿Al fondo
- 4:57de qué? Al fondo de una función de
- 5:00error, donde una función de error se
- 5:03hace cero o se encuentra en la posición
- 5:06más baja. Y con esto yo habré logrado la
- 5:10optimización de ese parámetro y, por
- 5:13tanto, podría predecir o clasificar con
- 5:16el menor error posible. Okay, podemos
- 5:20ver claramente por qué se le llama
- 5:22descendiente a este algoritmo. Sin
- 5:25embargo,
- 5:26la parte de gradiente, ¿qué es el
- 5:28gradiente? El gradiente es justo la
- 5:31dirección y la magnitud con la cual
- 5:34nosotros tenemos que dar este paso.
- 5:37Matemáticamente, ¿qué significa o cómo
- 5:40calculamos un gradiente? Lo calculamos
- 5:43utilizando derivadas.
- 5:45Pero en este punto no se me asusten, las
- 5:49vamos a calcular utilizando Python
- 5:52simbólico, una librería que se llama
- 5:54SymPy. No obstante, aquí lo más
- 5:57importante es entender qué
- 6:01con la derivada. Y va a ser muy fácil
- 6:04porque lo visualizaremos.
- 6:07De hecho, aquí permítanme mostrarles las
- 6:11diferentes visualizaciones que nosotros
- 6:13veremos a lo largo de este vídeo.
- 6:17Debo mencionar aquí, veremos mucho
- 6:19código de visualización. Sin embargo, no
- 6:21le vamos a dar énfasis en la enseñanza
- 6:24de la visualización, para eso ya tenemos
- 6:27una playlist dentro de este canal, que
- 6:29aquí arriba les dejo el vínculo.
- 6:32Recuerden, estamos en un canal
- 6:35formativo. De hecho, tenemos justo un
- 6:38vídeo desde la instalación de Python
- 6:41para que nosotros podamos construir de
- 6:44una forma incremental, paso a paso,
- 6:48nuestra formación en aprendizaje de
- 6:50máquina. Okay, ahora sí, ya estamos
- 6:53listos para irnos a la programación del
- 6:57algoritmo del gradiente descendiente.
- 7:00Vámonos al código dentro de nuestra
- 7:02libreta de Jupyter.
- 7:05El algoritmo del gradiente descendiente
- 7:07es una técnica de optimización.
- 7:10Sin embargo, ¿nosotros qué vamos a
- 7:12optimizar? Vamos a optimizar los
- 7:15parámetros de una regresión lineal, de
- 7:18un modelo de regresión lineal. Quise
- 7:21seleccionar esta técnica de aprendizaje
- 7:23de máquina, tal vez una de las más
- 7:26sencillas, para tratar de simplificar lo
- 7:30más posible la explicación
- 7:33del gradiente descendiente.
- 7:35Sin embargo, si alguien en este punto no
- 7:37está familiarizado con la técnica de
- 7:40regresión lineal, aquí arriba les dejo
- 7:42un vídeo que podrían consultar. Podrían
- 7:45en este punto irse a a ver ese vídeo y
- 7:47después regresar. No obstante, no es
- 7:50enteramente necesario porque lo vamos a
- 7:53explicar rápidamente.
- 7:56Okay, ahora permítanme ver las
- 7:58diferentes librerías que vamos a
- 8:00utilizar a lo largo de este vídeo. Vamos
- 8:04a utilizar NumPy, dado que estamos
- 8:05trabajando con vectores. Vamos a
- 8:08utilizar Matplotlib, porque ya vimos,
- 8:10vamos a generar muchas gráficas, de
- 8:12hecho, muy bonitas. Vamos a utilizar la
- 8:14librería de SymPy, que nos va a permitir
- 8:17hacer derivadas y derivadas parciales de
- 8:20una forma bastante sencilla, donde
- 8:23nosotros nos podemos enfocar justo en su
- 8:26interpretación y no en cómo hacer una
- 8:30derivada. Y posteriormente utilizaremos
- 8:33Scikit-learn, una de las librerías más
- 8:36utilizadas dentro del contexto de
- 8:38aprendizaje de máquina cuando se
- 8:40programa con Python.
- 8:42Pero aquí está
- 8:44Scikit-learn no para justo utilizar un
- 8:47algoritmo del gradiente descendiente que
- 8:49ya viene implementado ahí, sino para
- 8:52generar el modelo de regresión lineal a
- 8:55través del método de mínimos cuadrados,
- 8:58que es el método de optimización que
- 9:00justo utiliza la técnica de regresión
- 9:03lineal para calcular sus parámetros.
- 9:06Entonces, nosotros vamos a calcular el
- 9:09óptimo, donde la función de error llega
- 9:12hasta el fondo, utilizando el gradiente
- 9:15descendiente. Pero para que sepamos que
- 9:18lo estamos haciendo de la manera
- 9:20correcta, de la manera apropiada, pues
- 9:24vamos a agarrar como referencia aquel
- 9:27algoritmo que ya tiene implementado
- 9:30Scikit-learn para este tipo de modelos.
- 9:33Okay, entonces vamos a tener ahora otro
- 9:36contexto, una variable independiente
- 9:38donde vamos a tener los años de
- 9:41experiencia de justo tres personas. Una
- 9:45persona que tiene 5 años, 6 años y otra
- 9:47que tiene 13 años de experiencia. Y para
- 9:50cada una de ellas vamos a tener un
- 9:54salario, que va a ser nuestra variable
- 9:56objetivo, aquella variable que nosotros
- 9:57queremos predecir en función del número
- 10:00de años de experiencia laboral, nosotros
- 10:03queremos determinar cuál sería el
- 10:06salario de esa persona. En este caso
- 10:09tenemos una persona que tiene 5 años de
- 10:11experiencia y que aproximadamente gana
- 10:146.85
- 10:17miles de pesos. Y tenemos una persona
- 10:19que tiene 6 años de experiencia y que
- 10:22aproximadamente gana 16.83
- 10:25miles de pesos. Estos datos están en
- 10:28miles de pesos. Y por último tenemos una
- 10:32tercera persona que tiene 13 años de
- 10:35experiencia y su salario equivale a
- 10:3826.84
- 10:40miles de pesos. Y con esto generamos el
- 10:44modelo de regresión lineal utilizando
- 10:49justo la librería de scikit-learn.
- 10:50Recuerden, si quieren ver detalles de
- 10:53cómo crearlo utilizando scikit-learn,
- 10:55aquí arriba, en el vídeo que les dejo,
- 10:57ahí lo pueden consultar. Aquí
- 10:58simplemente lo vamos a crear. Lo está
- 11:02creando utilizando una técnica que se
- 11:04llama el método de mínimos cuadrados.
- 11:07Okay, entonces, nosotros ya generamos
- 11:09nuestro modelo que, como es lineal, no
- 11:10es otra cosa más que una simple línea
- 11:13recta.
- 11:14Ahora, aquí tenemos código
- 11:18de visualización.
- 11:21Y en este caso, simplemente vamos
- 11:23ejecutándolo.
- 11:26Aquí está. Vean qué gráfica tan bonita
- 11:27nos está generando.
- 11:29Y qué es lo que tenemos nosotros.
- 11:33Estos datos en amarillo son justo los
- 11:36datos, los valores verdaderos que nos
- 11:39sirvieron de base para crear nuestro
- 11:41modelo.
- 11:42En este caso tenemos aquí la persona de
- 11:445 años de experiencia ganando un salario
- 11:47de, de hecho, déjenme verificar, 6.85.
- 11:51Aquí está. Sí, más o menos 6.85. Y acá
- 11:55tenemos la persona que tiene 13 años de
- 11:58experiencia aproximadamente ganando
- 12:0027,000 pesos.
- 12:02Okay, y acá tenemos a la segunda
- 12:04persona. Y con estos tres datos nosotros
- 12:07creamos una línea, un modelo. Es este el
- 12:10modelo que está aquí, es esta línea rosa
- 12:12que nosotros tenemos. Y con este modelo
- 12:16nosotros podemos ahora sí realizar
- 12:19predicciones de cuánto ganaría una
- 12:22persona en función de los años de
- 12:23experiencia. Por ejemplo, aquí tenemos
- 12:26que una persona de aproximadamente 8
- 12:29años de experiencia podría ganar,
- 12:32según este modelo, aproximadamente
- 12:3517,000 pesos. Okay, este es nuestro
- 12:38modelo. Obviamente, este modelo no es
- 12:41perfecto. ¿Por qué no es perfecto?
- 12:42Porque hay un error. Para la persona que
- 12:45tiene 5 años de experiencia,
- 12:47el valor real son aproximadamente 6,000
- 12:50pesos. Sin embargo, ¿qué nos está
- 12:52diciendo nuestro modelo? Nuestro modelo
- 12:54nos está diciendo
- 12:55que una persona de 5 años de experiencia
- 12:58aproximadamente gana 11,000 pesos.
- 13:01¿Y qué nos está diciendo para una
- 13:03persona de 6 años de experiencia? Que
- 13:05aproximadamente gana 13,000 pesos. Pero
- 13:08nuestros datos reales nos están diciendo
- 13:10que son 17,000 pesos, más o menos.
- 13:13Y cuando llegamos a una persona que
- 13:16tiene 13 años de experiencia, aquí el
- 13:18error no es tan grande. Sin embargo, sí
- 13:21hay un error. A estos errores se les
- 13:23llama residuos. Y una métrica para
- 13:27determinar el error de un modelo de
- 13:30regresión es justo tomar en cuenta este
- 13:34error más este error más este error y
- 13:37elevarlo al cuadrado. Se eleva al
- 13:39cuadrado simplemente para quitar el
- 13:41signo, porque acá podría ser un signo
- 13:43positivo y acá podría ser un signo
- 13:45negativo, un error hacia arriba, un
- 13:46error hacia abajo.
- 13:48Entonces, lo elevamos hacia el cuadrado.
- 13:50El otro objetivo de elevarlo hacia el
- 13:52cuadrado es darle mayor importancia a
- 13:54los errores más grandes que a los
- 13:56errores pequeños. Ya tenemos en este
- 13:58canal un vídeo explicando las diferentes
- 14:01métricas para evaluación de modelos de
- 14:04regresión. Y ahí explicamos justo esta
- 14:07métrica que, por sus siglas en inglés,
- 14:09se llama RSS, que es simplemente la suma
- 14:13de los residuos al cuadrado. Recuerden,
- 14:15¿qué es un residuo? Este es un residuo,
- 14:17este es un residuo, este es un residuo.
- 14:18Lo sumamos, pero cada uno lo elevamos al
- 14:22cuadrado. Okay, entonces, ya tenemos una
- 14:24manera de determinar el error. ¿Por qué
- 14:27estoy hablando muchísimo del error?
- 14:29Porque con el error nosotros podemos
- 14:32construir nuestra zona montañosa.
- 14:34Podemos construir el error y donde esté
- 14:37más al fondo, donde esté el valor mínimo
- 14:40de la función del error, quiere decir
- 14:42que hemos encontrado el mejor parámetro
- 14:45de nuestro modelo de regresión, en este
- 14:48caso de nuestro modelo de regresión
- 14:49lineal que estamos utilizando
- 14:51simplemente como cualquier otro ejemplo.
- 14:54Bien, pudimos haber utilizado
- 14:56el perceptrón, una red neuronal. Okay,
- 14:59entonces, ¿qué más tenemos aquí dentro
- 15:02de nuestros datos? Tenemos
- 15:04dos parámetros en el modelo de regresión
- 15:06lineal. Tenemos la pendiente, ¿no? ¿Qué
- 15:08tan
- 15:09acostada
- 15:11está nuestra línea? Podría estar así,
- 15:14así, así. Esta es
- 15:16una pendiente M en este punto. Y de
- 15:19hecho, esta pendiente es de 2.10.
- 15:23Ya esto es un valor óptimo.
- 15:26Y otro parámetro que tenemos en un
- 15:28modelo de regresión lineal es esta
- 15:30línea,
- 15:31¿en qué parte cruza el eje de las Y? ¿En
- 15:35qué parte la cruza? Aquí yo estoy
- 15:38con toda la intención
- 15:40haciendo
- 15:42un modelo de regresión
- 15:44que tenga un cruce en el eje de las Y
- 15:47exactamente en el cero.
- 15:50Y con eso yo solo me voy a enfocar en un
- 15:53solo parámetro, en determinar qué tan
- 15:55acostada estará mi línea recta. Estoy
- 15:59enfocándome en la optimización del
- 16:01parámetro M, de la pendiente de la
- 16:05recta.
- 16:06Okay, entonces, ya está. Ya determinamos
- 16:09un modelo que tiene una B de cero,
- 16:12entonces, ese intercepto lo vamos a
- 16:14ignorar completamente. Y el valor óptimo
- 16:17está en 2.1. Ya lo sabemos, lo vamos a
- 16:19utilizar simplemente como referencia. De
- 16:21hecho, vamos a llegar a ese valor
- 16:23utilizando el gradiente descendiente.
- 16:26Además, conocemos la suma de cuadrados
- 16:30de los residuos. Es simplemente el error
- 16:33que tenemos para este modelo, que es de
- 16:3631.42.
- 16:38Esto ya lo calculamos nosotros por aquí.
- 16:41Recuerden, es el valor conocido, el
- 16:44salario, esta es nuestra variable
- 16:45objetivo, menos
- 16:47lo que nuestro modelo nos está diciendo,
- 16:50lo que nuestro modelo está prediciendo.
- 16:52Y eso lo elevamos al cuadrado. Es justo
- 16:54lo que tenemos aquí. Y lo sumamos
- 16:58absolutamente. Esto lo estamos haciendo
- 17:00muy fácil a raíz de que lo estamos
- 17:03realizando con NumPy, que nos permite
- 17:06hacer cálculos vectoriales. Si alguien
- 17:09está interesado en NumPy, que de hecho
- 17:11debería, aquí arriba les dejo una lista
- 17:15a una playlist que ya tenemos en este
- 17:17canal. Okay, ahora, ya sabemos cuál es
- 17:21el error de un modelo óptimo para estos
- 17:24tres datos que nosotros tenemos. Y ya
- 17:27tenemos la pendiente óptima que es de
- 17:302.10.
- 17:32Ahora sí, estamos listos para tratar de
- 17:36llegar justo a ese valor utilizando el
- 17:40mecanismo del algoritmo del gradiente
- 17:43descendiente.
- 17:44Entonces, ¿recuerdan esto que les
- 17:46comentaba yo?
- 17:48Cae la persona,
- 17:50pisa hacia adelante, pisa hacia atrás,
- 17:52pisa hacia la izquierda, pisa hacia la
- 17:54derecha. Esto, ¿cómo nosotros lo podemos
- 17:58ver dentro de un modelo de aprendizaje
- 18:01de máquina? Eso lo podemos ver nosotros
- 18:04variando el parámetro que queremos
- 18:06nosotros optimizar. En este caso,
- 18:08recuerden, lo simplificamos, solo
- 18:10tenemos un parámetro, la pendiente. Qué
- 18:13tan acostada va a estar nuestra línea.
- 18:17Para eso yo ya aquí preparé una
- 18:19visualización
- 18:21de diferentes pendientes para los
- 18:23diferentes datos que nosotros tenemos.
- 18:26Es un rango de interés para que nosotros
- 18:28lo podamos ver claramente. Aquí yo ya
- 18:32estoy creando un rango de diferentes
- 18:34pendientes que van de 2.5 al 1. 6. Y
- 18:38simplemente vamos a graficar estas
- 18:41pendientes en este rango de interés.
- 18:44Okay, aquí tenemos exactamente los
- 18:46mismos datos que teníamos, nuestros tres
- 18:49puntos, uno, dos y tres. Y tenemos
- 18:53múltiples pendientes, múltiples líneas
- 18:56con múltiples pendientes. Noten aquí
- 18:58cómo todas se están pegando porque todas
- 19:02tienen el intercepto de B igual a cero.
- 19:06Cruzan el eje de las Y en el cero, por
- 19:10eso se van pegando y acá se van
- 19:12abriendo. Okay, entonces, aquí tenemos
- 19:14diferentes pendientes. La pendiente azul
- 19:17de 2.5
- 19:20es justo esta, 2.4, 2.3, 2.2, 2.1, 2,
- 19:251.9, 1.8 y 1.7.
- 19:29Son diferentes pendientes. Obviamente,
- 19:31cada una de estas pendientes nos está
- 19:34representando un diferente modelo de
- 19:36regresión lineal. Son los pasos que les
- 19:39comentaba, hacia atrás, hacia adelante,
- 19:40hacia la izquierda, hacia la derecha.
- 19:42Y
- 19:43cada uno de estos pasos, cada una de
- 19:45estas pendientes tendrá asociado en sí
- 19:48un cierto error. Aquí yo ya me di a la
- 19:50tarea de calcular el error el error del
- 19:542.5 de la pendiente de 2.5 es 67.31.
- 19:59Con esto me refiero al error RSS, esta
- 20:02suma de los residuos al cuadrado. Y
- 20:06podemos ver que para el modelo de
- 20:09pendiente de 2.4 es de 51.44.
- 20:14Para el otro es de 40, 33, 31, 33, 41,
- 20:1852, 60.
- 20:20¿Qué está pasando aquí? Cada una de
- 20:22estas pendientes tiene un error
- 20:24diferente. Podemos ver cuáles son las
- 20:27que tienen los errores más grandes. Los
- 20:30errores más grandes es del azul y de
- 20:33este verde, la de arriba y la de abajo.
- 20:37La azul tiene 67
- 20:40y la de abajo tiene 69.
- 20:42Aquí nos interesa la magnitud. De hecho,
- 20:46ambas tienen errores muy similares
- 20:49porque la línea con la pendiente de 2.1,
- 20:54que es esta moradita que está por aquí,
- 20:56está justo en medio de ella. Es por eso
- 21:00que conforme nos vamos acercando a la
- 21:02pendiente óptima, el error va
- 21:05reduciendo, pero conforme nos vamos
- 21:08alejando
- 21:09de la pendiente óptima, el error va
- 21:12aumentando. Entonces, estos son nuestros
- 21:16pasos. ¿Okay? Aquí no ob- sé yo por
- 21:20ninguna dirección, simplemente dije,
- 21:22bueno, ¿qué pasa si doy múltiples pasos
- 21:24en diferentes direcciones? Y aquí
- 21:27podemos ver, sí, efectivamente podemos
- 21:29construir estos modelos y para cada uno
- 21:32de ellos podríamos tener ciertos errores
- 21:34y el error nos está dando cierta
- 21:36información, ¿no? Qué tanto nos estamos
- 21:39alejando. Claro, aquí tenemos la gran
- 21:42ventaja de que sabemos cuál es el valor
- 21:46óptimo, pero el gradiente descendiente
- 21:47funciona aún sin saber el valor óptimo.
- 21:52Okay, entonces, vamos viendo todavía un
- 21:54poquito más de detalle. Ya graficamos
- 21:58los diferentes modelos, vimos los
- 22:00errores, pero vamos a graficar estos
- 22:03errores para que nos quede todavía más
- 22:05claro qué es lo que está pasando.
- 22:08Para eso yo aquí tengo código de
- 22:10Matplotlib y nos genera esta gráfica.
- 22:13¿Qué tenemos aquí? Es el error, el RSS,
- 22:17¿no? Esta suma de los residuos al
- 22:19cuadrado. Y en el eje de las X tenemos
- 22:22la pendiente, que ya sabemos que el
- 22:26óptimo está muy cerca de 2.1. Cuando
- 22:30utilizamos una pendiente de 2.1, ahí es
- 22:34el error más bajo de nuestro modelo.
- 22:38Y
- 22:39podemos ver que los errores más altos,
- 22:42efectivamente,
- 22:43se dan cuando tenemos pendientes
- 22:45alejadas de este 2.1, el 1.7 y el 2.5.
- 22:50Entonces, vean aquí, justo tenemos la
- 22:54función de error graficada y la misma
- 22:58función de error nos está indicando
- 23:01visualmente dónde se encuentra el error
- 23:05mínimo, para qué valor de la pendiente
- 23:09se encuentra un error mínimo en mi
- 23:11modelo de regresión lineal. Sin embargo,
- 23:14¿cómo puedo hacer esto vía programación
- 23:18automáticamente?
- 23:20Para esto requerimos las derivadas.
- 23:23Pero en este punto pareciera un concepto
- 23:25extremadamente matemático. Bueno, sí lo
- 23:28es, sin embargo, tiene una
- 23:29interpretación bastante aterrizada. Una
- 23:32derivada no es otra cosa más que una
- 23:34razón de cambio, qué tanto cambia una
- 23:38variable con respecto a otra.
- 23:40¿Qué tanto va a cambiar mi error con
- 23:43respecto a la pendiente? Vamos a ver
- 23:47todavía un poquito más de detalle para
- 23:49aterrizar justo este concepto. Entonces,
- 23:53para eso nosotros tenemos que preparar
- 23:57nuestra función de error. Y una vez que
- 23:59nosotros creamos la función de error,
- 24:02entonces sí, le sacamos la derivada y
- 24:04con eso vamos a obtener la razón de
- 24:06cambio para el error en función de la
- 24:10pendiente. Okay, vamos a programar
- 24:14primero la función de error. Una vez que
- 24:17tenemos programada la función de error,
- 24:19ahora sí le vamos a poder sacar la
- 24:22derivada.
- 24:23Afortunadamente aquí es bastante
- 24:25sencillo calcular el error, dado que
- 24:27estamos utilizando la función de error o
- 24:30de pérdida, como se le conoce también
- 24:31dentro de este contexto, de la suma de
- 24:34los cuadrados de los residuos, que no es
- 24:37otra cosa más que el valor real menos el
- 24:40valor predicho por nuestro sistema
- 24:42elevado al cuadrado. La suma de cada uno
- 24:46de esos residuos elevada al cuadrado.
- 24:49Entonces, aquí sacamos ventaja de que
- 24:52tenemos los datos de tres personas. Esos
- 24:55siempre los tendríamos, ¿no? Tenemos una
- 24:57persona que gana aproximadamente 6,000
- 24:59pesos con 5 años de experiencia, una
- 25:01persona que gana aproximadamente 16,000
- 25:03pesos con 6 años de experiencia y una
- 25:05persona que gana 26,000 pesos con 13
- 25:08años de experiencia. Esto ya lo
- 25:10conocemos. Estos son los datos que nos
- 25:12van a servir para crear nuestro modelo,
- 25:15para ajustar los parámetros. Entonces,
- 25:17¿cuál sería la función de error a partir
- 25:20de estos datos? Para eso yo voy a
- 25:21definir aquí simplemente error va a ser
- 25:25igual al valor que ya conozco, que es
- 25:29efectivamente correcto para la persona
- 25:31uno, que en este caso es de 6.85. De
- 25:35hecho, permítanme, lo voy a copiar,
- 25:366.85. Aquí está.
- 25:39Y ahora, ¿qué es lo que tengo que hacer
- 25:41para aproximarme a la creación de mi
- 25:44función de error, que es la suma de los
- 25:46cuadrados de los residuos? Simplemente
- 25:48restarle lo que nuestro modelo
- 25:52calcularía. Y nuestro modelo lo
- 25:53calcularía en función de la pendiente,
- 25:55que es el parámetro que nosotros
- 25:56queremos ajustar, M, por
- 25:59el número de años de experiencia, pero
- 26:01ese ya lo tenemos nosotros aquí. Para la
- 26:03primer persona es simplemente cinco.
- 26:08Y quedamos que lo elevamos al cuadrado.
- 26:11Para quitar los signos y para darle
- 26:13mayor relevancia a los errores más
- 26:15grandes y menor relevancia a los errores
- 26:17más pequeños. Entonces, lo elevamos al
- 26:20cuadrado.
- 26:21Pero este es el error de la primer
- 26:24persona. Entonces, ¿qué tenemos que
- 26:26hacer?
- 26:27Sumarle
- 26:28el error de la segunda persona. Y para
- 26:31eso, pues, nosotros ya conocemos
- 26:34exactamente
- 26:36el dato correcto, 16.83.
- 26:41Menos
- 26:42lo que calculé un modelo dado,
- 26:44M,
- 26:46por
- 26:47los años de experiencia de esa persona,
- 26:50que ya los conocemos, seis. Y aplicamos
- 26:53justo lo mismo, lo elevamos al cuadrado.
- 26:56Y repetimos exactamente lo mismo para la
- 26:59tercer persona.
- 27:01Entonces, voy a copiar
- 27:03esta línea. Aquí está.
- 27:06Y le voy a restar el cálculo del modelo
- 27:09para una pendiente M dada.
- 27:11Y le vamos a decir que es
- 27:14de 13 años de experiencia y igual, lo
- 27:17elevamos al cuadrado. Ahora ya tenemos,
- 27:20así de simple, nuestra función de error.
- 27:23Claro, ahora corresponde
- 27:26derivada
- 27:27para poder obtener esta razón de cambio,
- 27:30para que cuando yo le ponga un valor de
- 27:33M, nos diga hacia dónde tenemos que
- 27:36caminar.
- 27:38Y para eso voy a hacer uso de SymPy, que
- 27:41es
- 27:42Python simbólico. Entonces, tengo que
- 27:45definir un símbolo. ¿Qué símbolo voy a
- 27:47definir yo? Una M.
- 27:50Okay. Entonces, pongo mi M, la defino
- 27:53justo utilizando
- 27:55Python simbólico, que ya lo importamos
- 27:57con el apodo de SymPy, justo en la parte
- 28:00inicial del video. Ponemos el símbolo
- 28:03que nosotros queremos
- 28:06generar. Y en este caso le estamos
- 28:08diciendo, vamos a tener una variable M y
- 28:10es un símbolo. Sobre esta variable
- 28:13nosotros vamos a hacer una operación
- 28:15simbólica. ¿Qué operación vamos a hacer?
- 28:17La derivada. ¿Okay? Ahora sí,
- 28:21ya definimos nuestro símbolo, tenemos
- 28:23nuestra función, ya solo corresponde
- 28:25sacar la derivada. Claro, esto está
- 28:28bastante sencillo, lo podríamos hacer
- 28:29manualmente, pero estamos en un canal de
- 28:32programación, entonces, vamos viendo
- 28:34cómo derivar simbólicamente esta
- 28:36función.
- 28:38Ya definimos nuestro símbolo, es muy muy
- 28:40sencillo. La derivada de la función del
- 28:42error nosotros la podemos calcular
- 28:44fácilmente utilizando SymPy.
- 28:48Y pasándole
- 28:49la función que queremos derivar, que en
- 28:51este caso es la del error,
- 28:54y con respecto a qué, cuál va a ser la
- 28:57variable que nosotros vamos a derivar.
- 28:58En este caso solo tenemos una variable
- 29:00que es la pendiente. Y ya, así está. Con
- 29:04eso calculamos nosotros justo
- 29:08la derivada de la función del error. Es
- 29:10bastante sencillo, ¿no?
- 29:11Claro, aquí les recomiendo, si alguien
- 29:14no tiene conocimientos de cómo derivar,
- 29:16les recomiendo que cheque un libro de
- 29:18cálculo, es es algo muy muy importante
- 29:20para avanzar en sus conocimientos de
- 29:22aprendizaje de máquina. Conocimientos de
- 29:24cálculo son muy importantes para poder
- 29:28profundizar.
- 29:29No obstante, aquí lo importante es que
- 29:31conozcamos la interpretación de la
- 29:33derivada. ¿Okay?
- 29:36Ya tenemos la derivada, vamos a jugar un
- 29:38poquito con ella, vamos a evaluar esa
- 29:40derivada para diferentes pendientes y
- 29:43así nosotros podemos ver si
- 29:45efectivamente nos está dando cierta
- 29:47información para determinar hacia dónde
- 29:49debemos de caminar, e inclusive la
- 29:51magnitud de qué tanto podemos caminar en
- 29:53esa dirección. Okay, ahora sí, vamos a
- 29:56evaluar para las diferentes pendientes.
- 29:58Recuerdan, ya tenemos un vector de
- 29:59pendientes arriba que inclusive
- 30:00graficamos. Entonces, para cada una de
- 30:02esas pendientes que tenemos aquí,
- 30:05vamos a imprimir
- 30:07la derivada que nosotros acabamos justo
- 30:09de programar y la vamos a evaluar. Vamos
- 30:12a ponerle aquí evaluación, de hecho
- 30:14vamos
- 30:15vamos a a ponerla formateada con dos
- 30:17decimales, aquí está. Y ahora
- 30:19simplemente evaluamos la derivada. Para
- 30:23evaluar una función en SymPy,
- 30:26simplemente hacemos uso del método
- 30:28evalf.
- 30:30Entonces, ponemos derivada.evalf
- 30:34y le decimos que sustituya el valor de M
- 30:38por cada una de las pendientes que
- 30:39nosotros tenemos en nuestro vector.
- 30:42Entonces, escribimos subs
- 30:45y
- 30:46aquí está. Escribimos la M y le decimos
- 30:50que cada una de estas M va a ser
- 30:52sustituida por cada una de las
- 30:55pendientes que nosotros tenemos. Y ahora
- 30:57sí, vamos a ejecutar nuestro código
- 31:00y veamos qué resultado nos está dando.
- 31:03Vean, bueno, de entrada esta es la
- 31:05derivada de la función del error.
- 31:07Obviamente lo podemos hacer
- 31:09manualmente, pero aquí lo hicimos vía
- 31:11programación porque estamos en un canal
- 31:14de programación.
- 31:15Y aquí tenemos los diferentes valores
- 31:20de la derivada evaluada en esta M.
- 31:24Noten, todos los de arriba
- 31:26son positivos.
- 31:28Todos los de abajo son negativos.
- 31:31El valor más pequeño
- 31:34está
- 31:35entre este y este.
- 31:37El valor más pequeño ahí es justo
- 31:42este que nosotros tenemos por aquí. Es
- 31:44cuando la pendiente se acerca justo a
- 31:47este valor.
- 31:49Okay, pues aquí ya tenemos efectivamente
- 31:53un error, la derivada del error lo
- 31:55estamos evaluando para un valor de una
- 31:58pendiente dada
- 32:00y algún tipo de información nos está
- 32:02dando con esto de que es positivo y
- 32:04negativo. Ahora vamos a graficar esta
- 32:07información para ver cómo se ve.
- 32:10Okay.
- 32:11Aquí tengo yo ya preparado código para
- 32:14graficar estas evaluaciones de la
- 32:18derivada del error. Y aquí estoy
- 32:23presentando exactamente casi la misma
- 32:26información que teníamos. Tenemos aquí
- 32:28el error
- 32:29que está denotado por estos puntos, cada
- 32:32uno de ellos en diferentes colores. Y en
- 32:34la parte del eje de las X tenemos las
- 32:38pendientes.
- 32:39Ahora, estas líneas
- 32:42¿qué es lo que nos está representando?
- 32:45Aquí nosotros estamos graficando
- 32:49el gradiente. Nosotros estamos
- 32:52graficando la evaluación
- 32:55de la derivada del error evaluada en una
- 32:59pendiente dada. Por ejemplo, aquí en el
- 33:031.7 nosotros tenemos nuestra función del
- 33:06error
- 33:07y
- 33:08la derivamos. Esa derivada la evaluamos
- 33:12en 1.7 y después la graficamos. Es esta
- 33:17línea, es una tangente a nuestra función
- 33:20de error, la podemos ver aquí claramente
- 33:22cómo está. No cruza la función, es
- 33:24tangente. Okay, ahora tenemos la
- 33:28derivada del error evaluada en 1.8 y
- 33:31aquí tenemos otra tangente.
- 33:34Y acá tenemos la derivada del error
- 33:36evaluada en 1.9 y noten, tiene otra vez
- 33:41esta tangente que está por ahí y que
- 33:43pasa tocando exactamente en este punto a
- 33:47la función de error. La toca, es una
- 33:50tangente que está por ahí. Y lo mismo
- 33:53podemos hacer aquí y lo mismo podemos
- 33:54hacer aquí. Noten esta que está aquí,
- 33:56tenemos nuestra función de error,
- 33:57evaluamos la derivada de la función de
- 34:00error justo en ese punto y vean lo que
- 34:03nos genera, una línea tangente.
- 34:06Pero noten aquí, la pendiente de esta
- 34:08línea tangente se está aproximando a
- 34:11cero. ¿Eso qué nos está diciendo?
- 34:14¿Recuerdan nuestro contexto extraño del
- 34:16inicio? Que nosotros estamos muy cerca
- 34:19del fondo, que si damos un paso hacia
- 34:20adelante, un paso hacia atrás, un paso a
- 34:22la izquierda, un paso hacia la derecha,
- 34:23nosotros nos damos cuenta que el declive
- 34:26de cada uno de esos pasos, qué tanto
- 34:28bajamos con cada uno de ellos es muy
- 34:30poco. Entonces, aquí estamos viendo para
- 34:34qué nos sirve la derivada. Si nosotros
- 34:38aventáramos una pelotita acá o una
- 34:40pelotita para acá y esa pelotita caería
- 34:43obviamente al fondo. Si nosotros la
- 34:46aventamos aquí, noten, la pendiente
- 34:49va a provocar que esa pelotita caiga más
- 34:51rápido. Si nosotros la aventamos aquí,
- 34:53la pendiente va a provocar que esa
- 34:55pelotita no caiga tan rápido. Entonces,
- 34:59estas pendientes de la derivada del
- 35:02error nos están diciendo la dirección de
- 35:05hacia dónde se va a ir la pelotita. Si
- 35:06la soltamos aquí, automáticamente
- 35:08sabemos que es hacia la izquierda. Si la
- 35:10soltamos aquí, automáticamente sabemos
- 35:12que es hacia la derecha. Si la soltamos
- 35:14aquí,
- 35:15pues por esta pendiente va a provocar
- 35:17que baje muy rápido la pelotita. Si la
- 35:19aventamos aquí, va a provocar que baje
- 35:22muy rápido la pelotita. Caso contrario,
- 35:24si la aventamos por aquí, va a provocar
- 35:26que baje sí, pero muy lento. Entonces,
- 35:30con esto nosotros estamos calculando el
- 35:33gradiente, qué tanto cambia nuestra
- 35:36función de error en función de una
- 35:38pendiente dada. Además, nos está
- 35:41diciendo hacia dónde tenemos que
- 35:43caminar, la dirección, pero también nos
- 35:45está dando la magnitud. Esto es
- 35:47verdaderamente una maravilla. Ahora
- 35:51vamos a generalizarlo, porque lo que
- 35:54tenemos aquí es exclusivamente
- 35:57para un parámetro. Pero pues los modelos
- 36:00de aprendizaje de máquina, las técnicas
- 36:02de aprendizaje de máquina tienen muchos
- 36:04parámetros. En este caso inclusive
- 36:06estamos con una regresión lineal, la
- 36:08regresión lineal pues tiene dos
- 36:10parámetros, ¿no? El intercepto, la B,
- 36:12dónde cruza la línea con el eje de las
- 36:14Y, y sí también la pendiente. Y para
- 36:19fines de explicación nosotros asumimos
- 36:21que todas las líneas
- 36:23cruzaban en cero y eso nos permitió
- 36:26ignorar la B. Pero ¿qué pasa si no la
- 36:29ignoramos? Si queremos optimizar también
- 36:33esa B, ese intercepto. Son dos
- 36:35parámetros a considerar. Entonces,
- 36:37necesitamos hacer una generalización.
- 36:40Sin embargo, esta generalización es
- 36:42bastante sencilla.
- 36:45¿Por qué? Porque simplemente repetimos
- 36:47el mismo proceso, pero con unos pequeños
- 36:51cambios.
- 36:52Ahora, vamos a suponer que tenemos igual
- 36:55un modelo de regresión lineal, pero
- 36:57ahora este modelo de regresión lineal lo
- 36:59vamos a querer optimizar tomando en
- 37:01cuenta dos parámetros.
- 37:04Uno es la M, la pendiente, y el otro es
- 37:08la B, el intercepto, donde la línea
- 37:11cruza el eje de las Y.
- 37:15Ahora, si recordamos en el ejemplo
- 37:17anterior solo teníamos la M. Yo me
- 37:21encargué de que la B fuera igual a cero
- 37:25para poderlo explicar de una forma más
- 37:28sencilla. Sin embargo, comúnmente las
- 37:31técnicas de aprendizaje de máquina
- 37:34tienen dos o más parámetros a optimizar.
- 37:37Entonces, en este caso vamos a repetir
- 37:39exactamente el mismo proceso, pero
- 37:41tomando en cuenta los dos parámetros.
- 37:43Para eso, yo aquí tengo datos muy
- 37:46similares a los que teníamos
- 37:48anteriormente. Sin embargo, yo los varié
- 37:51un poco para que tuviéramos un
- 37:52intercepto diferente de cero y una
- 37:56pendiente diferente de cero. Ahora,
- 37:59permítanme ejecutar este código para
- 38:01visualizar el modelo y los datos.
- 38:05Aquí lo podemos ver.
- 38:07Igual tenemos en color amarillo los
- 38:10datos reales, en color azul los datos
- 38:13predichos y en rosa tenemos nuestro
- 38:17modelo.
- 38:18Y ahora, ¿qué es lo importante aquí?
- 38:21Tenemos el valor del intercepto, donde
- 38:23el modelo, donde la línea cruza el eje
- 38:27de las Y, y es igual a -4.38.
- 38:32Y la pendiente en este caso es de 2.45.
- 38:36E igual tenemos un error, un error de la
- 38:40suma de los cuadrados de los residuos de
- 38:434.03.
- 38:45Y obviamente, nosotros queremos que al
- 38:49momento de que optimicemos
- 38:51nuestro modelo a través
- 38:54de el algoritmo del gradiente
- 38:56descendiente, pues nos dé estos valores,
- 39:002.45 para la pendiente y -4.38
- 39:04para el intercepto.
- 39:06Y
- 39:07repetimos nuevamente el mismo
- 39:10procedimiento. Tenemos que calcular el
- 39:13error.
- 39:14En el otro nosotros hicimos la fórmula
- 39:17del error exclusivamente
- 39:19en función de la M. Y este término que
- 39:24está aquí, el + B de cada uno de ellos
- 39:27no estaba. ¿Por qué? Porque era igual a
- 39:30cero. Yo así lo definí explícitamente.
- 39:33Ahora, tenemos dos parámetros, por
- 39:36tanto, la predicción involucra tanto la
- 39:39M, la pendiente, como el intercepto. Y
- 39:42por tal razón tenemos que definir así
- 39:44nuestra función de error.
- 39:47Ahora tenemos dos variables. ¿Qué pasa
- 39:50cuando graficamos la función de error?
- 39:52En el otro se veía
- 39:54una función convexa.
- 39:57En este caso,
- 39:59¿cómo se verá? Igual, convexa,
- 40:02pero de una forma
- 40:04tridimensional.
- 40:06Ahora, ¿qué es lo que tenemos aquí? Cada
- 40:08uno de estos puntos en moradito es la
- 40:12evaluación de la función de error para
- 40:15una pendiente dada y para un intercepto
- 40:18dado. Aquí podemos ver un punto del
- 40:21error que tendría ese modelo para una
- 40:24pendiente igual a cero y para un
- 40:26intercepto de -10. Eso es justo lo que
- 40:31tenemos aquí graficado. ¿Cuál es el
- 40:34error
- 40:35para esos valores de los parámetros? Y
- 40:39igual como hicimos en el ejemplo
- 40:41anterior, yo aquí estoy graficando el
- 40:43rango de interés, donde yo ya sé dónde
- 40:47se encuentra el valor óptimo. Claro,
- 40:50esto lo estoy haciendo exclusivamente
- 40:53por razones didácticas, para que sepamos
- 40:56qué es lo que estamos haciendo, hacia
- 40:58dónde vamos. Sin embargo, esto no es un
- 41:02requisito del algoritmo del gradiente
- 41:04descendiente. Y lo que estoy graficando
- 41:07aquí en color azul claro es justo donde
- 41:10se encuentra el valor óptimo, que fue
- 41:13igual calculado con la librería de
- 41:16scikit-learn utilizando el método de
- 41:18mínimos cuadrados, que es el método que
- 41:21ya viene por defecto para crear los
- 41:23modelos de regresión lineal. Okay,
- 41:26entonces, así lo podemos ver nosotros
- 41:29tridimensionalmente para cuando tenemos
- 41:32dos parámetros.
- 41:33Vamos avanzando en el procedimiento.
- 41:36¿Recuerdan? Una vez que nosotros
- 41:38definimos una función de error, ¿qué fue
- 41:40lo que hicimos?
- 41:41Sacamos la derivada de esa función de
- 41:44error. ¿Y para qué sacamos la derivada
- 41:46de la función del error? Para poder
- 41:48calcular el gradiente y que ahora nos
- 41:51diga hacia dónde tenemos que avanzar,
- 41:54porque justo cuando esa derivada de la
- 41:57función del error es igual a cero, es
- 42:01cuando hemos encontrado nosotros ese
- 42:04valor mínimo. Y recuerdan, en el caso
- 42:07anterior nos decía igual la magnitud y
- 42:10la dirección de hacia dónde avanzar. Acá
- 42:13es exactamente lo mismo. La única
- 42:16diferencia que nosotros tenemos aquí es
- 42:17que ahora involucramos dos variables y
- 42:20por tanto definimos dos símbolos
- 42:23utilizando la librería de sympy para
- 42:25cálculo simbólico dentro de Python y
- 42:28poder calcular de una forma muy sencilla
- 42:31las derivadas. En este caso, y este es
- 42:34un concepto de cálculo, no podemos sacar
- 42:36la derivada explícitamente porque la
- 42:39derivada solo se puede hacer cuando
- 42:42tenemos una sola variable. Aquí tenemos
- 42:46dos variables.
- 42:48Entonces, ¿qué es lo que tenemos que
- 42:49hacer? La derivada parcial.
- 42:52Recuerden, la derivada es simplemente
- 42:55una razón de cambio. ¿Cómo se comporta
- 42:58la función del error? ¿Cómo se comporta
- 43:00el error cuando yo altero la pendiente,
- 43:03cuando yo altero el intercepto?
- 43:06¿Cómo se comportaría el error? Para eso
- 43:08nosotros igual sacamos la derivada, pero
- 43:11la derivada parcial. Esto va a implicar
- 43:15que cuando yo derive, por ejemplo, con
- 43:16respecto a la pendiente,
- 43:19se toma como constante el intercepto. Y
- 43:23cuando yo derive con respecto
- 43:25al intercepto, se toma como constante la
- 43:28pendiente. Y así tengo yo una derivada
- 43:32del error con respecto al intercepto y
- 43:36tengo yo una derivada del error con
- 43:38respecto a la pendiente. Pero estas son
- 43:40derivadas parciales porque estamos
- 43:44involucrando dos variables. Aquí, como
- 43:47es exactamente el mismo código, yo ya lo
- 43:49dejé preparado
- 43:52y lo vamos a ejecutar. Y podemos ver que
- 43:55la derivada del error, la derivada
- 43:58parcial
- 43:59con respecto a m de la función del error
- 44:02involucra efectivamente tanto b como m.
- 44:06Y tenemos exactamente lo mismo para la
- 44:09derivada parcial de la función de error
- 44:12con respecto a b.
- 44:14Cada una de estas derivadas nos da el
- 44:17gradiente, pero en función de uno de los
- 44:19parámetros de nuestro modelo.
- 44:21En uno es la pendiente y en otro es
- 44:24justamente el intercepto. Es exactamente
- 44:28la misma interpretación que teníamos en
- 44:30el ejemplo más sencillo. Nada más que
- 44:32aquí tenemos la derivada parcial porque
- 44:36involucramos dos variables.
- 44:39Okay, entonces, ya tenemos esta derivada
- 44:41parcial. Ahora sí estamos listos para
- 44:45ver el pseudocódigo del gradiente
- 44:48descendiente. Tenemos toda la parte
- 44:50matemática resuelta.
- 44:53¿Cómo funciona este algoritmo? Ya hasta
- 44:55cierto punto lo definimos en la parte
- 44:58inicial de este video. Sin embargo,
- 45:00vamos definiéndolo un poquito más
- 45:02formal.
- 45:04Cuando llegaba el paracaidista y caía en
- 45:07esa zona montañosa, yo les hablé de que
- 45:10daba ciertos pasos.
- 45:12Pero, ¿cuántos pasos va a dar?
- 45:15A lo mejor alguien podría decir, "No,
- 45:16pues yo nomás doy 10 pasos." Otra
- 45:18persona podría decir, "Yo doy 20 pasos."
- 45:20¿Cuántos pasos requerimos nosotros para
- 45:22llegar al arroyo? Para llegar al mínimo,
- 45:26para optimizar nuestro modelo.
- 45:29Pues, en muchos casos no lo sabemos. Por
- 45:32lo tanto, se define una constante, la
- 45:34cual normalmente se ajusta de forma
- 45:37experimental,
- 45:38en función de los mínimos que vamos
- 45:41detectando.
- 45:42En este caso, simplemente definimos un
- 45:45máximo de pasos, un máximo de
- 45:46iteraciones de este algoritmo, en este
- 45:49caso de 10,000, podría ser un buen
- 45:52valor.
- 45:53Y obviamente vamos a necesitar una
- 45:55variable que nos va a ir contando
- 45:57cuántos pasos ha dado nuestro
- 45:59paracaidista. Y para eso tenemos esta
- 46:02variable llamada iteración.
- 46:05Ahora, tenemos esta tasa de aprendizaje.
- 46:10¿Qué será esto?
- 46:11¿Qué significado tiene con respecto a
- 46:15este ejemplo ficticio que planteamos
- 46:17inicialmente? Okay, con iteraciones
- 46:19máximas sabemos cuántos pasos dar, pero
- 46:22¿de qué tamaño va a ser cada paso? ¿Va a
- 46:24ser un pasote?
- 46:25¿Va a ser un pasito? ¿Va a ser un paso
- 46:27normal?
- 46:29Eso es justo lo que nos está definiendo
- 46:30la tasa de aprendizaje. ¿Qué tamaño va a
- 46:34tener ese paso? Obviamente nosotros
- 46:36podríamos decir, "No, yo quiero aprender
- 46:39muy rápido." De hecho, lo podríamos
- 46:42hacer así. Sin embargo, recuerden,
- 46:45nosotros vamos dando pasitos, pasitos,
- 46:46pasitos, pasitos, pasitos, pasitos hasta
- 46:48que llegamos
- 46:50al óptimo, al mínimo. Sin embargo,
- 46:53imagínense que arrancamos aquí arriba y
- 46:55decimos, "No, yo no voy a dar pasos, yo
- 46:57voy a dar brincos." Entonces, ¿qué pasa?
- 46:59De aquí yo puedo brincar para acá.
- 47:01Un pasotote. ¿Qué pasó? Me brinqué.
- 47:05Me brinqué el mínimo.
- 47:07Y digo, "Bueno, pues regreso." Pues
- 47:09vuelvo a brincar. Regreso, brincar,
- 47:11brincar, brincar, brincar. Y así voy. Y
- 47:14cada vez que voy brincando, me voy
- 47:16brincando el mínimo de mi función de
- 47:18error. Eso no lo quieres. A raíz de eso
- 47:21se define una tasa de aprendizaje
- 47:23relativamente pequeña. Igual que en el
- 47:26caso de las iteraciones máximas, la tasa
- 47:28de aprendizaje es un valor que se ajusta
- 47:31en función de experimentación. En este
- 47:34caso nosotros vamos a utilizar
- 47:35simplemente 0.001.
- 47:37Yo ya hice algunas pruebas y estos
- 47:39parámetros realmente nos dan buenos
- 47:41resultados.
- 47:42Ahora,
- 47:44en nuestro ejemplo anterior teníamos un
- 47:45paracaidista que pudo haber caído
- 47:48en la montaña de la izquierda, en la
- 47:49montaña de la derecha, un poquito más
- 47:51para acá, un poquito más para allá.
- 47:52Igual aquí, ¿dónde vamos a arrancar a
- 47:55explorar?
- 47:56Pues, podríamos arrancar aquí con un
- 47:58valor de una pendiente y de un
- 48:00intercepto, o podríamos arrancar acá con
- 48:03otros valores completamente diferentes o
- 48:05un poquito para acá.
- 48:07Independientemente
- 48:09de los valores que nosotros
- 48:10seleccionemos, este algoritmo nos va a
- 48:13llevar al mínimo. Al menos para el caso
- 48:16de los modelos de regresión lineal, para
- 48:18los cuales se conoce que tienen un solo
- 48:20mínimo global, a raíz de que su función
- 48:22de error es convexa, que tiene esta esta
- 48:25forma. Por eso es que forzosamente vamos
- 48:28a llegar al mínimo si ponemos una tasa
- 48:31de aprendizaje relativamente pequeña y
- 48:33una cierta cantidad de iteraciones
- 48:35máximas.
- 48:37Okay.
- 48:38Entonces, ¿qué es lo que queda aquí?
- 48:40Pues, simplemente empezar a dar pasitos.
- 48:43Entonces, recuerdan, doy paso, pero
- 48:46¿hacia dónde lo doy? ¿En qué magnitud lo
- 48:48doy? Pues, para eso necesito calcular
- 48:50los gradientes en función de la posición
- 48:52donde estoy. Pero eso ya sabemos cómo
- 48:55hacerlo. De hecho, ya calculamos
- 48:56nosotros las derivadas parciales tanto
- 48:59de la función de error con respecto al
- 49:01intercepto como de la función del error
- 49:03con respecto a la pendiente. Nosotros ya
- 49:06calculamos los gradientes, las razones
- 49:09de cambio.
- 49:11Y en función del gradiente, nosotros
- 49:13vamos a actualizar nuestros parámetros.
- 49:17La nueva pendiente
- 49:18y el nuevo intercepto.
- 49:20Aumentamos una iteración más,
- 49:22verificamos si todavía no llegamos al
- 49:24máximo de iteraciones que nosotros
- 49:26definimos. Si no es así, otra vez dimos
- 49:28un paso, calculamos el gradiente,
- 49:31determinamos hacia dónde
- 49:33caminar y con qué magnitud, y otra vez
- 49:36volvemos a actualizar nuestros
- 49:37parámetros, la pendiente y el
- 49:39intercepto.
- 49:40Aumentamos el número de iteraciones y lo
- 49:42repetimos así
- 49:43hasta que eventualmente llegamos al
- 49:46número de iteraciones máximas. Y si
- 49:49seleccionamos apropiadamente una buena
- 49:51tasa de aprendizaje y un cierto número
- 49:54de iteraciones máximas, habremos llegado
- 49:56a nuestro mínimo, al menos para el caso
- 49:59de los modelos de regresión lineal.
- 50:03Okay, este es el algoritmo básico. Ahora
- 50:05vamos simplemente a programarlo. Para
- 50:08eso
- 50:09yo ya tengo aquí un poco de código
- 50:11preparado.
- 50:13Igual, el número máximo de iteraciones
- 50:15está en 10,000, justo lo que teníamos en
- 50:17nuestro pseudocódigo. Definí la tasa de
- 50:20aprendizaje igual a 0.001.
- 50:24Tiene que ser relativamente pequeña y
- 50:26ese es un valor relativamente común que
- 50:30nosotros utilizamos cuando estamos
- 50:31trabajando con este tipo de algoritmos.
- 50:33Y
- 50:35como valores completamente arbitrarios,
- 50:38aleatorios, puse una pendiente de 0 y un
- 50:41intercepto de -10. Lo estoy poniendo
- 50:43exclusivamente en ese valor porque al
- 50:45momento de graficarlo se ve muy claro
- 50:48qué es lo que está pasando. Sin embargo,
- 50:51créanme, pude haber puesto cualquier
- 50:54valor y si no me cree, los invito, por
- 50:56favor, descarguen esta libreta de
- 50:59Jupyter de nuestro sitio de GitHub y
- 51:02jueguen un poquito con el código y vean
- 51:04cómo se comporta este algoritmo. Y lo
- 51:07que tenemos aquí es un arreglo de NumPy
- 51:12que nos va a permitir capturar los
- 51:15diferentes errores conforme vamos
- 51:17ajustando
- 51:19los parámetros de la pendiente y el
- 51:21intercepto.
- 51:22La única razón por la que estoy
- 51:24incluyendo aquí este vector es porque
- 51:26quiero graficar cada uno de los pasitos
- 51:29para que veamos
- 51:31claramente qué pasó, porque
- 51:34efectivamente sí llegamos a los valores
- 51:37óptimos de la pendiente y del
- 51:38intercepto.
- 51:40Y quedamos que teníamos ahí un simple
- 51:42ciclo. En este caso yo voy a utilizar un
- 51:44un for, funciona exactamente igual al
- 51:46pseudocódigo del while que teníamos aquí
- 51:48arriba, entonces no pasa nada y vamos a
- 51:52calcular primero los gradientes en
- 51:54función de las derivadas parciales de la
- 51:56pendiente y del intercepto, que ya
- 51:59nosotros definimos. Y estos gradientes
- 52:02los voy a almacenar en una simple lista
- 52:06que tenga dos elementos, el gradiente de
- 52:09la pendiente y el gradiente del
- 52:11intercepto. Entonces, eso ya quedamos,
- 52:14lo calculamos nosotros con la derivada
- 52:17del error, la derivada parcial del error
- 52:20con respecto a la pendiente, la
- 52:23evaluamos, que ya sabemos que la
- 52:24evaluamos con punto eval f,
- 52:27y sustituimos el valor de m
- 52:31con el valor de la pendiente arbitrario
- 52:33que nosotros definimos, al menos para la
- 52:35primera iteración.
- 52:38Y aquí nuestras derivadas parciales,
- 52:41¿recuerdan? Tienen dos variables, una es
- 52:45la pendiente y la otra es el intercepto.
- 52:47Entonces, metemos el intercepto e igual
- 52:51tenemos que evaluarlo
- 52:53con el valor arbitrario que nosotros
- 52:56definimos, en este caso -10. Intercepto.
- 53:01Ahí está. Eh, aquí es una comita y
- 53:04permítame reajustar
- 53:07el código.
- 53:09Okay, ahora sí, ahí estamos.
- 53:12Aquí está. Ahora, aquí tenemos el
- 53:14gradiente con respecto a la pendiente,
- 53:17pero nos queda con respecto
- 53:20al intercepto. En este caso
- 53:24quedamos que lo íbamos a almacenar en
- 53:26una lista, entonces yo defino ahí mi
- 53:30lista y ahora utilizo la derivada del
- 53:32error, la derivada parcial del error con
- 53:36respecto al intercepto.
- 53:39Lo evalúo con el valor completamente
- 53:43arbitrario que yo definí, aquí está.
- 53:48Pongo la pendiente,
- 53:50de ahí pongo el valor
- 53:53del intercepto,
- 53:55ahí está. Y ahora sí, cierro
- 53:58mi lista del gradiente. Aquí está, ya
- 54:02tengo los gradientes. Estos gradientes
- 54:04me van a decir en qué dirección y con
- 54:07qué magnitud debo yo de avanzar. Ahora,
- 54:11¿qué es lo que queda? Actualizar los
- 54:13valores de mis parámetros poco a poco,
- 54:17poco a poco, paso a paso.
- 54:20Mis parámetros son simplemente la
- 54:23pendiente,
- 54:24la cual se actualiza con el valor que
- 54:28tiene hasta ese punto, pero en función
- 54:31del gradiente que justo nosotros
- 54:33acabamos de calcular.
- 54:34Y quedamos que debemos determinar qué
- 54:37tan grande o qué tan pequeño debemos dar
- 54:39ese paso. Y eso nosotros lo hacemos a
- 54:43través de la tasa de aprendizaje.
- 54:45Entonces,
- 54:47agarramos la tasa de aprendizaje,
- 54:49lo multiplicamos
- 54:51por el gradiente correspondiente, que en
- 54:54este caso es el que se encuentra en la
- 54:56posición cero, el gradiente
- 54:58correspondiente a la pendiente.
- 55:01Entonces, aquí está, lo ponemos en cero.
- 55:04Y con eso ya actualizamos el valor de la
- 55:06pendiente. De hecho, lo vamos a poner
- 55:08aquí abajito, aquí está. Y tengo un
- 55:10error de dedo aquí, pendiente. Listo.
- 55:14Ejecutamos. Y ahora sí, intercepto.
- 55:18Ahí está. Repetimos exactamente
- 55:21la misma fórmula, es el valor anterior
- 55:25menos la tasa de aprendizaje
- 55:29por el gradiente correspondiente, que se
- 55:31encuentra en la posición uno, que es
- 55:35justo este, el correspondiente al
- 55:38intercepto.
- 55:40Ahora sí, ya tenemos nuevos valores para
- 55:43la pendiente y para el intercepto. Aquí
- 55:46yo ya calculé cómo se afectaron mis
- 55:49parámetros una vez que di un paso, ya
- 55:52sea a la derecha, a la izquierda, hacia
- 55:53adelante o hacia atrás.
- 55:54Ahora sé dónde estoy parado. Y como ya
- 55:58sé dónde estoy parado, ¿qué queda?
- 56:00Simplemente repetir, volver a calcular
- 56:04los gradientes y actualizar.
- 56:07Repetir, volver a calcular los
- 56:09gradientes y actualizar los parámetros.
- 56:13Ahora,
- 56:14esto ya es el algoritmo del gradiente
- 56:17descendiente. Es relativamente sencillo
- 56:20una vez que sabemos qué es lo que
- 56:22estamos haciendo.
- 56:24Lo siguiente que voy a hacer es
- 56:25simplemente almacenar el error que voy
- 56:30obteniendo cada vez que doy un solo
- 56:32paso. Entonces, para eso voy a utilizar
- 56:35el arreglo de NumPy que justo definí ahí
- 56:37arriba.
- 56:38Se llama errores
- 56:41y lo vamos a almacenar para el paso i.
- 56:44Obviamente necesitamos guardar
- 56:47el valor de la pendiente y del
- 56:49intercepto para poderlo asociar al error
- 56:52de ambos, ¿no? Entonces, guardamos aquí
- 56:56la pendiente
- 56:58y ahora
- 57:00guardamos
- 57:02el intercepto.
- 57:05Y posteriormente, aquí es un uno, y
- 57:08posteriormente
- 57:10lo que hacemos es agarrar la función del
- 57:14error que está definida aquí arriba y
- 57:17que ya quedamos que es la suma de los
- 57:19residuos al cuadrado.
- 57:22Y pues, con esta función simplemente le
- 57:25paso la pendiente y le paso el
- 57:27intercepto y ahora sí, ya voy a tener yo
- 57:31el error correspondiente
- 57:34en ese paso.
- 57:36Y cada vez que haga una iteración voy a
- 57:38guardar el error y cada vez que haga una
- 57:40iteración voy a guardar el error y así
- 57:43sucesivamente hasta que haya terminado
- 57:46con el número de iteraciones.
- 57:49Y ya con eso terminamos. Permítanme
- 57:52ejecutar este código y para eso yo aquí
- 57:55tengo código complementario.
- 57:57Aquí está. Que simplemente nos va a
- 58:01imprimir los valores finales de los
- 58:03gradientes, tanto para la pendiente como
- 58:05para el intercepto, y nos va a imprimir
- 58:09el valor de la pendiente y el valor del
- 58:11intercepto. Este ya es el calculado con
- 58:14el método del gradiente descendiente.
- 58:18Y para que podamos tener una referencia
- 58:21de qué tan bueno o qué tan malo fue
- 58:24nuestro algoritmo, yo aquí tengo los
- 58:26valores de la pendiente y del intercepto
- 58:28que fueron calculados con el método de
- 58:31mínimos cuadrados que viene implementado
- 58:33dentro de scikit-learn. Entonces, ya
- 58:36tenemos una muy buena referencia de qué
- 58:38valores efectivamente debería de dar.
- 58:40Ahora, antes de ejecutar, permítanme
- 58:43revisar rápidamente el código para ver
- 58:45si no tengo algún errorcito. Ah, aquí
- 58:48tenemos un errorcito.
- 58:50Tenemos que agregar la n.
- 58:53Y
- 58:54parece que todo ya está perfecto.
- 58:56Entonces sí, ejecutamos.
- 58:59Y noten aquí, está tardando un poquito,
- 59:02es porque está dando cada uno de los
- 59:05pasos que nosotros le dijimos que diera.
- 59:08En este caso, nosotros le dijimos que
- 59:11diera 10,000 pasos y está actualizando
- 59:15nuestros valores para la pendiente y
- 59:18para el intercepto. Okay, ya terminó.
- 59:21Aquí tenemos los resultados. Vean,
- 59:25primero los valores de los gradientes, 0
- 59:29y -0.002
- 59:32para el caso del intercepto.
- 59:35Noten, están muy cercanos
- 59:38a 0. ¿Qué implica eso? Que las
- 59:41pendientes están prácticamente planas.
- 59:44¿Y qué pasa cuando están prácticamente
- 59:46planas? Estamos cerca o en el mínimo de
- 59:52nuestra función de error. Eso lo podemos
- 59:55ver aquí muy claramente
- 59:58con esta pendiente.
- 1:00:00Esta pendiente aquí es muy cercana a 0.
- 1:00:04Y lo mismo nos va a aplicar para cuando
- 1:00:08tenemos la forma tridimensional
- 1:00:11involucrando los dos parámetros. De
- 1:00:14hecho, aquí podría ser un poco extraño
- 1:00:18como lo estamos nosotros viendo. A lo
- 1:00:20mejor alguien dice, "Oye, ese no es el
- 1:00:22verdadero mínimo." Pues
- 1:00:24déjenlo vemos así. Ahora sí, aquí está.
- 1:00:28Se ve claramente cómo es este el mínimo.
- 1:00:30Y aquí tendríamos nosotros las
- 1:00:33pendientes. Y estas pendientes estarían
- 1:00:36prácticamente acostadas. Eso es la
- 1:00:40representación del gradiente. Tendríamos
- 1:00:44el gradiente del intercepto y el
- 1:00:46gradiente correspondiente a la pendiente
- 1:00:49prácticamente acostados, lo que nos
- 1:00:52indica que estamos en un mínimo de la
- 1:00:55función del error. Y por tanto, hemos
- 1:00:58encontrado un valor óptimo para los
- 1:01:00parámetros de nuestro modelo. Y ahora
- 1:01:04vamos a ver qué valores nos dio para la
- 1:01:07pendiente y qué valores nos dio para el
- 1:01:09intercepto. Primero, de hecho, veamos el
- 1:01:12de la pendiente. Nos dio 2.44.
- 1:01:16Vean, 2.44.
- 1:01:18Obviamente, hay algunas variaciones con
- 1:01:21respecto a los decimales. Es
- 1:01:23perfectamente normal. Estamos dando
- 1:01:25pequeños pasos. Estamos ajustando poco a
- 1:01:28poco a partir de una posición que fue
- 1:01:31definida aleatoriamente o
- 1:01:33arbitrariamente en este caso.
- 1:01:35Ahora veamos el valor del intercepto,
- 1:01:38-4.37,
- 1:01:41que es muy similar a -4.38,
- 1:01:45que es el valor que fue calculado con el
- 1:01:47método de mínimos cuadrados. Y con eso
- 1:01:50ya estamos nosotros optimizando nuestro
- 1:01:54modelo de regresión lineal.
- 1:01:57Ahora, un último detalle para aumentar
- 1:02:00el entendimiento
- 1:02:02de esta técnica. Vamos graficando los
- 1:02:05errores. Estos errores que nosotros
- 1:02:08almacenamos aquí. Entonces, yo ya aquí
- 1:02:11tengo el código preparado para graficar
- 1:02:14justo ese error. Simplemente lo vamos a
- 1:02:18ejecutar y vean, arrancamos nosotros por
- 1:02:21acá.
- 1:02:22Pero nosotros arrancamos aquí y dimos un
- 1:02:26primer paso. ¿Recuerdan cuando les dije
- 1:02:28que el gradiente, además de darnos la
- 1:02:32dirección hacia dónde tenemos que
- 1:02:34avanzar, también nos daba la magnitud?
- 1:02:36De aquí, que fue nuestro valor inicial
- 1:02:38de 0 y -10, ¿recuerdan? Pues dimos un
- 1:02:42brincotote. ¿Hasta dónde? Hasta acá. Y
- 1:02:45como aquí ya nos empezamos a acercar al
- 1:02:49valor mínimo, ya empezamos a dar pasos
- 1:02:52más pequeños. Y obviamente aquí estamos
- 1:02:54más cerca. Empezamos a dar pasos más
- 1:02:56pequeños, más pequeños, más pequeños,
- 1:02:58más pequeños, más pequeños, hasta que
- 1:03:01eventualmente llegamos al mínimo de la
- 1:03:05función del error, donde el valor de la
- 1:03:08pendiente y del intercepto podrían ser
- 1:03:12óptimos. Okay, aquí debo mencionar,
- 1:03:15estamos nosotros optimizando a partir de
- 1:03:18una función de error que es convexa, que
- 1:03:21es el caso de los modelos de regresión
- 1:03:24lineal. Sin embargo, no siempre es el
- 1:03:28caso. Y tenemos nosotros mínimos locales
- 1:03:31y mínimos globales. Sin embargo, ese es
- 1:03:35tema de otro video. Si encontraron valor
- 1:03:38en este video, por favor, denle un like.
- 1:03:41Y si aún no se han suscrito, por favor,
- 1:03:44consideren hacerlo. Mi nombre es Octavio
- 1:03:46Gutiérrez. Hasta el próximo video.
- 1:03:49Pa pa pa ra pa pa pa ra ra. Pa ra pa pa
- 1:03:54pa ra pa ra ra ram.
About this transcript
This page contains the full transcript of Gradiente Descendente Paso a Paso con Python: Un Algoritmo de Optimización para Machine Learning by Codigo Maquina, generated from the public captions YouTube serves with the video. The transcript has 8,428 words across 1,447 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.