YouTube2Text

Gradiente Descendente Paso a Paso con Python: Un Algoritmo de Optimización para Machine Learning — Transcript

by Codigo Maquina · 8,428 words · 1,447 segments · language en · Watch on YouTube

Full transcript

  1. 0:00En la vida cotidiana, comúnmente
  2. 0:02intentamos optimizar. Por ejemplo,
  3. 0:05intentamos realizar la mayor cantidad de
  4. 0:08actividades en el menor tiempo posible.
  5. 0:12Claro, para lograr esto, nosotros
  6. 0:14tenemos que hacer múltiples ajustes.
  7. 0:16Algo muy similar pasa dentro del
  8. 0:19contexto de aprendizaje de máquina. Las
  9. 0:22diferentes técnicas que nosotros
  10. 0:23utilizamos para predecir o para
  11. 0:26clasificar automáticamente
  12. 0:29tienen que ajustar sus parámetros para
  13. 0:32poder realizar esta actividad con el
  14. 0:35menor error posible. Claro está, cada
  15. 0:39una de estas técnicas tiene su propia
  16. 0:41manera de optimizar sus parámetros, de
  17. 0:44ajustarlos de forma que puedan predecir
  18. 0:47o clasificar con el menor error posible.
  19. 0:51Sin embargo, existe un algoritmo de
  20. 0:54optimización que es muy relevante y muy
  21. 0:58utilizado y que es la base para entender
  22. 1:02muchas de las técnicas, no solo de
  23. 1:04aprendizaje de máquina, sino de
  24. 1:07aprendizaje de máquina profundo. Esta
  25. 1:10técnica de optimización se llama el
  26. 1:13gradiente descendiente.
  27. 1:15En este vídeo nosotros visualizaremos
  28. 1:18cómo funciona este algoritmo, lo veremos
  29. 1:22paso a paso. De hecho, les comento,
  30. 1:25realizaremos algunos cálculos. Sin
  31. 1:28embargo, estos cálculos nosotros lo
  32. 1:31realizaremos vía programación, dado que
  33. 1:34estamos en un canal de programación. Mi
  34. 1:37nombre es Octavio Gutiérrez y en este
  35. 1:39canal aprenderemos programación,
  36. 1:41inteligencia artificial y aprendizaje de
  37. 1:43máquina.
  38. 1:44Gracias por acompañarme.
  39. 1:50Vamos a iniciar la explicación del
  40. 1:52algoritmo descendiente utilizando un
  41. 1:54contexto un poco extraño. Sin embargo,
  42. 1:56ya verán, este contexto nos ayudará
  43. 1:59muchísimo a entender a groso modo cómo
  44. 2:02funciona este algoritmo. Okay, la imagen
  45. 2:05que nosotros estamos viendo aquí es una
  46. 2:08imagen de una zona montañosa y la
  47. 2:11estamos viendo grisecita porque se asume
  48. 2:13que está de noche, pero de esas noches
  49. 2:15que no ves absolutamente nada. Y en el
  50. 2:18fondo de esta zona montañosa, en la
  51. 2:20parte más baja, se encuentra un arroyo.
  52. 2:24Y este arroyo lleva una corriente muy
  53. 2:28baja. Okay, entonces ahora imaginemos
  54. 2:31que vamos en un avión. Les dije que era
  55. 2:33completamente extraño, pero bueno,
  56. 2:35síganme.
  57. 2:36Aquí vamos en este avión y nosotros
  58. 2:39queremos llegar al arroyo. Entonces,
  59. 2:42pues no hay manera de que nosotros
  60. 2:44aterricemos el avión, nos lanzamos con
  61. 2:46un paracaídas.
  62. 2:48Podríamos caer aquí. Obviamente,
  63. 2:51lanzarse con un paracaídas, salvo que
  64. 2:53seas un experto, pues no hay una manera
  65. 2:56así tan fácil de garantizar dónde caer,
  66. 2:58pero estás en una zona montañosa.
  67. 3:00Pero también pudimos haber caído por
  68. 3:02acá. O pudimos haber caído por acá. O
  69. 3:05pudimos haber caído en diferentes
  70. 3:06posiciones.
  71. 3:08Sin embargo,
  72. 3:09¿cómo le hacemos si no traemos nosotros
  73. 3:12una lámpara para llegar a donde se
  74. 3:15encuentra el arroyo? No tiene una
  75. 3:17corriente, entonces no lo podemos
  76. 3:18escuchar. Está enteramente oscuro,
  77. 3:21entonces no podemos ver, pero estamos en
  78. 3:24una zona montañosa y sabemos que en el
  79. 3:26fondo se encuentra el arroyo. Entonces,
  80. 3:30¿cómo llego yo al arroyo? ¿Cómo llego yo
  81. 3:33al fondo?
  82. 3:35Asumamos que una vez que caemos, dado
  83. 3:38que no podemos ni escuchar ni ver,
  84. 3:41simplemente damos un paso exploratorio
  85. 3:43hacia adelante, otro hacia atrás, otro
  86. 3:45hacia la izquierda y otro hacia la
  87. 3:47derecha. Y nosotros vemos cuál de estos
  88. 3:51pasos nos lleva
  89. 3:53al fondo, cuál de estos pasos decae más.
  90. 3:57Y vamos a suponer que fue el paso de
  91. 4:00hacia adelante. Entonces doy mi paso. Y
  92. 4:03una vez que doy el paso, nuevamente
  93. 4:06exploro, porque la superficie podría ser
  94. 4:10irregular. Entonces, vuelvo a dar un
  95. 4:13paso hacia adelante, un paso hacia
  96. 4:14atrás, un paso hacia la derecha y
  97. 4:18determino cuál de estos pasos me lleva
  98. 4:21más hacia el fondo. Y ya se imaginarán,
  99. 4:24podemos hacer exactamente el mismo
  100. 4:28procedimiento hasta que lleguemos al
  101. 4:30arroyo, hasta que toquemos el agua. Y
  102. 4:33esto es gracias a que sabemos que el
  103. 4:35arroyo se encuentra justo en el fondo.
  104. 4:39Sin embargo, ¿qué pasa si lo trasladamos
  105. 4:41a una técnica de aprendizaje de máquina?
  106. 4:44Nosotros, poco a poco, utilizando una
  107. 4:48cierta dirección, vamos ajustando los
  108. 4:52parámetros. Y los vamos ajustando con el
  109. 4:55objetivo de llegar al fondo. ¿Al fondo
  110. 4:57de qué? Al fondo de una función de
  111. 5:00error, donde una función de error se
  112. 5:03hace cero o se encuentra en la posición
  113. 5:06más baja. Y con esto yo habré logrado la
  114. 5:10optimización de ese parámetro y, por
  115. 5:13tanto, podría predecir o clasificar con
  116. 5:16el menor error posible. Okay, podemos
  117. 5:20ver claramente por qué se le llama
  118. 5:22descendiente a este algoritmo. Sin
  119. 5:25embargo,
  120. 5:26la parte de gradiente, ¿qué es el
  121. 5:28gradiente? El gradiente es justo la
  122. 5:31dirección y la magnitud con la cual
  123. 5:34nosotros tenemos que dar este paso.
  124. 5:37Matemáticamente, ¿qué significa o cómo
  125. 5:40calculamos un gradiente? Lo calculamos
  126. 5:43utilizando derivadas.
  127. 5:45Pero en este punto no se me asusten, las
  128. 5:49vamos a calcular utilizando Python
  129. 5:52simbólico, una librería que se llama
  130. 5:54SymPy. No obstante, aquí lo más
  131. 5:57importante es entender qué
  132. 6:01con la derivada. Y va a ser muy fácil
  133. 6:04porque lo visualizaremos.
  134. 6:07De hecho, aquí permítanme mostrarles las
  135. 6:11diferentes visualizaciones que nosotros
  136. 6:13veremos a lo largo de este vídeo.
  137. 6:17Debo mencionar aquí, veremos mucho
  138. 6:19código de visualización. Sin embargo, no
  139. 6:21le vamos a dar énfasis en la enseñanza
  140. 6:24de la visualización, para eso ya tenemos
  141. 6:27una playlist dentro de este canal, que
  142. 6:29aquí arriba les dejo el vínculo.
  143. 6:32Recuerden, estamos en un canal
  144. 6:35formativo. De hecho, tenemos justo un
  145. 6:38vídeo desde la instalación de Python
  146. 6:41para que nosotros podamos construir de
  147. 6:44una forma incremental, paso a paso,
  148. 6:48nuestra formación en aprendizaje de
  149. 6:50máquina. Okay, ahora sí, ya estamos
  150. 6:53listos para irnos a la programación del
  151. 6:57algoritmo del gradiente descendiente.
  152. 7:00Vámonos al código dentro de nuestra
  153. 7:02libreta de Jupyter.
  154. 7:05El algoritmo del gradiente descendiente
  155. 7:07es una técnica de optimización.
  156. 7:10Sin embargo, ¿nosotros qué vamos a
  157. 7:12optimizar? Vamos a optimizar los
  158. 7:15parámetros de una regresión lineal, de
  159. 7:18un modelo de regresión lineal. Quise
  160. 7:21seleccionar esta técnica de aprendizaje
  161. 7:23de máquina, tal vez una de las más
  162. 7:26sencillas, para tratar de simplificar lo
  163. 7:30más posible la explicación
  164. 7:33del gradiente descendiente.
  165. 7:35Sin embargo, si alguien en este punto no
  166. 7:37está familiarizado con la técnica de
  167. 7:40regresión lineal, aquí arriba les dejo
  168. 7:42un vídeo que podrían consultar. Podrían
  169. 7:45en este punto irse a a ver ese vídeo y
  170. 7:47después regresar. No obstante, no es
  171. 7:50enteramente necesario porque lo vamos a
  172. 7:53explicar rápidamente.
  173. 7:56Okay, ahora permítanme ver las
  174. 7:58diferentes librerías que vamos a
  175. 8:00utilizar a lo largo de este vídeo. Vamos
  176. 8:04a utilizar NumPy, dado que estamos
  177. 8:05trabajando con vectores. Vamos a
  178. 8:08utilizar Matplotlib, porque ya vimos,
  179. 8:10vamos a generar muchas gráficas, de
  180. 8:12hecho, muy bonitas. Vamos a utilizar la
  181. 8:14librería de SymPy, que nos va a permitir
  182. 8:17hacer derivadas y derivadas parciales de
  183. 8:20una forma bastante sencilla, donde
  184. 8:23nosotros nos podemos enfocar justo en su
  185. 8:26interpretación y no en cómo hacer una
  186. 8:30derivada. Y posteriormente utilizaremos
  187. 8:33Scikit-learn, una de las librerías más
  188. 8:36utilizadas dentro del contexto de
  189. 8:38aprendizaje de máquina cuando se
  190. 8:40programa con Python.
  191. 8:42Pero aquí está
  192. 8:44Scikit-learn no para justo utilizar un
  193. 8:47algoritmo del gradiente descendiente que
  194. 8:49ya viene implementado ahí, sino para
  195. 8:52generar el modelo de regresión lineal a
  196. 8:55través del método de mínimos cuadrados,
  197. 8:58que es el método de optimización que
  198. 9:00justo utiliza la técnica de regresión
  199. 9:03lineal para calcular sus parámetros.
  200. 9:06Entonces, nosotros vamos a calcular el
  201. 9:09óptimo, donde la función de error llega
  202. 9:12hasta el fondo, utilizando el gradiente
  203. 9:15descendiente. Pero para que sepamos que
  204. 9:18lo estamos haciendo de la manera
  205. 9:20correcta, de la manera apropiada, pues
  206. 9:24vamos a agarrar como referencia aquel
  207. 9:27algoritmo que ya tiene implementado
  208. 9:30Scikit-learn para este tipo de modelos.
  209. 9:33Okay, entonces vamos a tener ahora otro
  210. 9:36contexto, una variable independiente
  211. 9:38donde vamos a tener los años de
  212. 9:41experiencia de justo tres personas. Una
  213. 9:45persona que tiene 5 años, 6 años y otra
  214. 9:47que tiene 13 años de experiencia. Y para
  215. 9:50cada una de ellas vamos a tener un
  216. 9:54salario, que va a ser nuestra variable
  217. 9:56objetivo, aquella variable que nosotros
  218. 9:57queremos predecir en función del número
  219. 10:00de años de experiencia laboral, nosotros
  220. 10:03queremos determinar cuál sería el
  221. 10:06salario de esa persona. En este caso
  222. 10:09tenemos una persona que tiene 5 años de
  223. 10:11experiencia y que aproximadamente gana
  224. 10:146.85
  225. 10:17miles de pesos. Y tenemos una persona
  226. 10:19que tiene 6 años de experiencia y que
  227. 10:22aproximadamente gana 16.83
  228. 10:25miles de pesos. Estos datos están en
  229. 10:28miles de pesos. Y por último tenemos una
  230. 10:32tercera persona que tiene 13 años de
  231. 10:35experiencia y su salario equivale a
  232. 10:3826.84
  233. 10:40miles de pesos. Y con esto generamos el
  234. 10:44modelo de regresión lineal utilizando
  235. 10:49justo la librería de scikit-learn.
  236. 10:50Recuerden, si quieren ver detalles de
  237. 10:53cómo crearlo utilizando scikit-learn,
  238. 10:55aquí arriba, en el vídeo que les dejo,
  239. 10:57ahí lo pueden consultar. Aquí
  240. 10:58simplemente lo vamos a crear. Lo está
  241. 11:02creando utilizando una técnica que se
  242. 11:04llama el método de mínimos cuadrados.
  243. 11:07Okay, entonces, nosotros ya generamos
  244. 11:09nuestro modelo que, como es lineal, no
  245. 11:10es otra cosa más que una simple línea
  246. 11:13recta.
  247. 11:14Ahora, aquí tenemos código
  248. 11:18de visualización.
  249. 11:21Y en este caso, simplemente vamos
  250. 11:23ejecutándolo.
  251. 11:26Aquí está. Vean qué gráfica tan bonita
  252. 11:27nos está generando.
  253. 11:29Y qué es lo que tenemos nosotros.
  254. 11:33Estos datos en amarillo son justo los
  255. 11:36datos, los valores verdaderos que nos
  256. 11:39sirvieron de base para crear nuestro
  257. 11:41modelo.
  258. 11:42En este caso tenemos aquí la persona de
  259. 11:445 años de experiencia ganando un salario
  260. 11:47de, de hecho, déjenme verificar, 6.85.
  261. 11:51Aquí está. Sí, más o menos 6.85. Y acá
  262. 11:55tenemos la persona que tiene 13 años de
  263. 11:58experiencia aproximadamente ganando
  264. 12:0027,000 pesos.
  265. 12:02Okay, y acá tenemos a la segunda
  266. 12:04persona. Y con estos tres datos nosotros
  267. 12:07creamos una línea, un modelo. Es este el
  268. 12:10modelo que está aquí, es esta línea rosa
  269. 12:12que nosotros tenemos. Y con este modelo
  270. 12:16nosotros podemos ahora sí realizar
  271. 12:19predicciones de cuánto ganaría una
  272. 12:22persona en función de los años de
  273. 12:23experiencia. Por ejemplo, aquí tenemos
  274. 12:26que una persona de aproximadamente 8
  275. 12:29años de experiencia podría ganar,
  276. 12:32según este modelo, aproximadamente
  277. 12:3517,000 pesos. Okay, este es nuestro
  278. 12:38modelo. Obviamente, este modelo no es
  279. 12:41perfecto. ¿Por qué no es perfecto?
  280. 12:42Porque hay un error. Para la persona que
  281. 12:45tiene 5 años de experiencia,
  282. 12:47el valor real son aproximadamente 6,000
  283. 12:50pesos. Sin embargo, ¿qué nos está
  284. 12:52diciendo nuestro modelo? Nuestro modelo
  285. 12:54nos está diciendo
  286. 12:55que una persona de 5 años de experiencia
  287. 12:58aproximadamente gana 11,000 pesos.
  288. 13:01¿Y qué nos está diciendo para una
  289. 13:03persona de 6 años de experiencia? Que
  290. 13:05aproximadamente gana 13,000 pesos. Pero
  291. 13:08nuestros datos reales nos están diciendo
  292. 13:10que son 17,000 pesos, más o menos.
  293. 13:13Y cuando llegamos a una persona que
  294. 13:16tiene 13 años de experiencia, aquí el
  295. 13:18error no es tan grande. Sin embargo, sí
  296. 13:21hay un error. A estos errores se les
  297. 13:23llama residuos. Y una métrica para
  298. 13:27determinar el error de un modelo de
  299. 13:30regresión es justo tomar en cuenta este
  300. 13:34error más este error más este error y
  301. 13:37elevarlo al cuadrado. Se eleva al
  302. 13:39cuadrado simplemente para quitar el
  303. 13:41signo, porque acá podría ser un signo
  304. 13:43positivo y acá podría ser un signo
  305. 13:45negativo, un error hacia arriba, un
  306. 13:46error hacia abajo.
  307. 13:48Entonces, lo elevamos hacia el cuadrado.
  308. 13:50El otro objetivo de elevarlo hacia el
  309. 13:52cuadrado es darle mayor importancia a
  310. 13:54los errores más grandes que a los
  311. 13:56errores pequeños. Ya tenemos en este
  312. 13:58canal un vídeo explicando las diferentes
  313. 14:01métricas para evaluación de modelos de
  314. 14:04regresión. Y ahí explicamos justo esta
  315. 14:07métrica que, por sus siglas en inglés,
  316. 14:09se llama RSS, que es simplemente la suma
  317. 14:13de los residuos al cuadrado. Recuerden,
  318. 14:15¿qué es un residuo? Este es un residuo,
  319. 14:17este es un residuo, este es un residuo.
  320. 14:18Lo sumamos, pero cada uno lo elevamos al
  321. 14:22cuadrado. Okay, entonces, ya tenemos una
  322. 14:24manera de determinar el error. ¿Por qué
  323. 14:27estoy hablando muchísimo del error?
  324. 14:29Porque con el error nosotros podemos
  325. 14:32construir nuestra zona montañosa.
  326. 14:34Podemos construir el error y donde esté
  327. 14:37más al fondo, donde esté el valor mínimo
  328. 14:40de la función del error, quiere decir
  329. 14:42que hemos encontrado el mejor parámetro
  330. 14:45de nuestro modelo de regresión, en este
  331. 14:48caso de nuestro modelo de regresión
  332. 14:49lineal que estamos utilizando
  333. 14:51simplemente como cualquier otro ejemplo.
  334. 14:54Bien, pudimos haber utilizado
  335. 14:56el perceptrón, una red neuronal. Okay,
  336. 14:59entonces, ¿qué más tenemos aquí dentro
  337. 15:02de nuestros datos? Tenemos
  338. 15:04dos parámetros en el modelo de regresión
  339. 15:06lineal. Tenemos la pendiente, ¿no? ¿Qué
  340. 15:08tan
  341. 15:09acostada
  342. 15:11está nuestra línea? Podría estar así,
  343. 15:14así, así. Esta es
  344. 15:16una pendiente M en este punto. Y de
  345. 15:19hecho, esta pendiente es de 2.10.
  346. 15:23Ya esto es un valor óptimo.
  347. 15:26Y otro parámetro que tenemos en un
  348. 15:28modelo de regresión lineal es esta
  349. 15:30línea,
  350. 15:31¿en qué parte cruza el eje de las Y? ¿En
  351. 15:35qué parte la cruza? Aquí yo estoy
  352. 15:38con toda la intención
  353. 15:40haciendo
  354. 15:42un modelo de regresión
  355. 15:44que tenga un cruce en el eje de las Y
  356. 15:47exactamente en el cero.
  357. 15:50Y con eso yo solo me voy a enfocar en un
  358. 15:53solo parámetro, en determinar qué tan
  359. 15:55acostada estará mi línea recta. Estoy
  360. 15:59enfocándome en la optimización del
  361. 16:01parámetro M, de la pendiente de la
  362. 16:05recta.
  363. 16:06Okay, entonces, ya está. Ya determinamos
  364. 16:09un modelo que tiene una B de cero,
  365. 16:12entonces, ese intercepto lo vamos a
  366. 16:14ignorar completamente. Y el valor óptimo
  367. 16:17está en 2.1. Ya lo sabemos, lo vamos a
  368. 16:19utilizar simplemente como referencia. De
  369. 16:21hecho, vamos a llegar a ese valor
  370. 16:23utilizando el gradiente descendiente.
  371. 16:26Además, conocemos la suma de cuadrados
  372. 16:30de los residuos. Es simplemente el error
  373. 16:33que tenemos para este modelo, que es de
  374. 16:3631.42.
  375. 16:38Esto ya lo calculamos nosotros por aquí.
  376. 16:41Recuerden, es el valor conocido, el
  377. 16:44salario, esta es nuestra variable
  378. 16:45objetivo, menos
  379. 16:47lo que nuestro modelo nos está diciendo,
  380. 16:50lo que nuestro modelo está prediciendo.
  381. 16:52Y eso lo elevamos al cuadrado. Es justo
  382. 16:54lo que tenemos aquí. Y lo sumamos
  383. 16:58absolutamente. Esto lo estamos haciendo
  384. 17:00muy fácil a raíz de que lo estamos
  385. 17:03realizando con NumPy, que nos permite
  386. 17:06hacer cálculos vectoriales. Si alguien
  387. 17:09está interesado en NumPy, que de hecho
  388. 17:11debería, aquí arriba les dejo una lista
  389. 17:15a una playlist que ya tenemos en este
  390. 17:17canal. Okay, ahora, ya sabemos cuál es
  391. 17:21el error de un modelo óptimo para estos
  392. 17:24tres datos que nosotros tenemos. Y ya
  393. 17:27tenemos la pendiente óptima que es de
  394. 17:302.10.
  395. 17:32Ahora sí, estamos listos para tratar de
  396. 17:36llegar justo a ese valor utilizando el
  397. 17:40mecanismo del algoritmo del gradiente
  398. 17:43descendiente.
  399. 17:44Entonces, ¿recuerdan esto que les
  400. 17:46comentaba yo?
  401. 17:48Cae la persona,
  402. 17:50pisa hacia adelante, pisa hacia atrás,
  403. 17:52pisa hacia la izquierda, pisa hacia la
  404. 17:54derecha. Esto, ¿cómo nosotros lo podemos
  405. 17:58ver dentro de un modelo de aprendizaje
  406. 18:01de máquina? Eso lo podemos ver nosotros
  407. 18:04variando el parámetro que queremos
  408. 18:06nosotros optimizar. En este caso,
  409. 18:08recuerden, lo simplificamos, solo
  410. 18:10tenemos un parámetro, la pendiente. Qué
  411. 18:13tan acostada va a estar nuestra línea.
  412. 18:17Para eso yo ya aquí preparé una
  413. 18:19visualización
  414. 18:21de diferentes pendientes para los
  415. 18:23diferentes datos que nosotros tenemos.
  416. 18:26Es un rango de interés para que nosotros
  417. 18:28lo podamos ver claramente. Aquí yo ya
  418. 18:32estoy creando un rango de diferentes
  419. 18:34pendientes que van de 2.5 al 1. 6. Y
  420. 18:38simplemente vamos a graficar estas
  421. 18:41pendientes en este rango de interés.
  422. 18:44Okay, aquí tenemos exactamente los
  423. 18:46mismos datos que teníamos, nuestros tres
  424. 18:49puntos, uno, dos y tres. Y tenemos
  425. 18:53múltiples pendientes, múltiples líneas
  426. 18:56con múltiples pendientes. Noten aquí
  427. 18:58cómo todas se están pegando porque todas
  428. 19:02tienen el intercepto de B igual a cero.
  429. 19:06Cruzan el eje de las Y en el cero, por
  430. 19:10eso se van pegando y acá se van
  431. 19:12abriendo. Okay, entonces, aquí tenemos
  432. 19:14diferentes pendientes. La pendiente azul
  433. 19:17de 2.5
  434. 19:20es justo esta, 2.4, 2.3, 2.2, 2.1, 2,
  435. 19:251.9, 1.8 y 1.7.
  436. 19:29Son diferentes pendientes. Obviamente,
  437. 19:31cada una de estas pendientes nos está
  438. 19:34representando un diferente modelo de
  439. 19:36regresión lineal. Son los pasos que les
  440. 19:39comentaba, hacia atrás, hacia adelante,
  441. 19:40hacia la izquierda, hacia la derecha.
  442. 19:42Y
  443. 19:43cada uno de estos pasos, cada una de
  444. 19:45estas pendientes tendrá asociado en sí
  445. 19:48un cierto error. Aquí yo ya me di a la
  446. 19:50tarea de calcular el error el error del
  447. 19:542.5 de la pendiente de 2.5 es 67.31.
  448. 19:59Con esto me refiero al error RSS, esta
  449. 20:02suma de los residuos al cuadrado. Y
  450. 20:06podemos ver que para el modelo de
  451. 20:09pendiente de 2.4 es de 51.44.
  452. 20:14Para el otro es de 40, 33, 31, 33, 41,
  453. 20:1852, 60.
  454. 20:20¿Qué está pasando aquí? Cada una de
  455. 20:22estas pendientes tiene un error
  456. 20:24diferente. Podemos ver cuáles son las
  457. 20:27que tienen los errores más grandes. Los
  458. 20:30errores más grandes es del azul y de
  459. 20:33este verde, la de arriba y la de abajo.
  460. 20:37La azul tiene 67
  461. 20:40y la de abajo tiene 69.
  462. 20:42Aquí nos interesa la magnitud. De hecho,
  463. 20:46ambas tienen errores muy similares
  464. 20:49porque la línea con la pendiente de 2.1,
  465. 20:54que es esta moradita que está por aquí,
  466. 20:56está justo en medio de ella. Es por eso
  467. 21:00que conforme nos vamos acercando a la
  468. 21:02pendiente óptima, el error va
  469. 21:05reduciendo, pero conforme nos vamos
  470. 21:08alejando
  471. 21:09de la pendiente óptima, el error va
  472. 21:12aumentando. Entonces, estos son nuestros
  473. 21:16pasos. ¿Okay? Aquí no ob- sé yo por
  474. 21:20ninguna dirección, simplemente dije,
  475. 21:22bueno, ¿qué pasa si doy múltiples pasos
  476. 21:24en diferentes direcciones? Y aquí
  477. 21:27podemos ver, sí, efectivamente podemos
  478. 21:29construir estos modelos y para cada uno
  479. 21:32de ellos podríamos tener ciertos errores
  480. 21:34y el error nos está dando cierta
  481. 21:36información, ¿no? Qué tanto nos estamos
  482. 21:39alejando. Claro, aquí tenemos la gran
  483. 21:42ventaja de que sabemos cuál es el valor
  484. 21:46óptimo, pero el gradiente descendiente
  485. 21:47funciona aún sin saber el valor óptimo.
  486. 21:52Okay, entonces, vamos viendo todavía un
  487. 21:54poquito más de detalle. Ya graficamos
  488. 21:58los diferentes modelos, vimos los
  489. 22:00errores, pero vamos a graficar estos
  490. 22:03errores para que nos quede todavía más
  491. 22:05claro qué es lo que está pasando.
  492. 22:08Para eso yo aquí tengo código de
  493. 22:10Matplotlib y nos genera esta gráfica.
  494. 22:13¿Qué tenemos aquí? Es el error, el RSS,
  495. 22:17¿no? Esta suma de los residuos al
  496. 22:19cuadrado. Y en el eje de las X tenemos
  497. 22:22la pendiente, que ya sabemos que el
  498. 22:26óptimo está muy cerca de 2.1. Cuando
  499. 22:30utilizamos una pendiente de 2.1, ahí es
  500. 22:34el error más bajo de nuestro modelo.
  501. 22:38Y
  502. 22:39podemos ver que los errores más altos,
  503. 22:42efectivamente,
  504. 22:43se dan cuando tenemos pendientes
  505. 22:45alejadas de este 2.1, el 1.7 y el 2.5.
  506. 22:50Entonces, vean aquí, justo tenemos la
  507. 22:54función de error graficada y la misma
  508. 22:58función de error nos está indicando
  509. 23:01visualmente dónde se encuentra el error
  510. 23:05mínimo, para qué valor de la pendiente
  511. 23:09se encuentra un error mínimo en mi
  512. 23:11modelo de regresión lineal. Sin embargo,
  513. 23:14¿cómo puedo hacer esto vía programación
  514. 23:18automáticamente?
  515. 23:20Para esto requerimos las derivadas.
  516. 23:23Pero en este punto pareciera un concepto
  517. 23:25extremadamente matemático. Bueno, sí lo
  518. 23:28es, sin embargo, tiene una
  519. 23:29interpretación bastante aterrizada. Una
  520. 23:32derivada no es otra cosa más que una
  521. 23:34razón de cambio, qué tanto cambia una
  522. 23:38variable con respecto a otra.
  523. 23:40¿Qué tanto va a cambiar mi error con
  524. 23:43respecto a la pendiente? Vamos a ver
  525. 23:47todavía un poquito más de detalle para
  526. 23:49aterrizar justo este concepto. Entonces,
  527. 23:53para eso nosotros tenemos que preparar
  528. 23:57nuestra función de error. Y una vez que
  529. 23:59nosotros creamos la función de error,
  530. 24:02entonces sí, le sacamos la derivada y
  531. 24:04con eso vamos a obtener la razón de
  532. 24:06cambio para el error en función de la
  533. 24:10pendiente. Okay, vamos a programar
  534. 24:14primero la función de error. Una vez que
  535. 24:17tenemos programada la función de error,
  536. 24:19ahora sí le vamos a poder sacar la
  537. 24:22derivada.
  538. 24:23Afortunadamente aquí es bastante
  539. 24:25sencillo calcular el error, dado que
  540. 24:27estamos utilizando la función de error o
  541. 24:30de pérdida, como se le conoce también
  542. 24:31dentro de este contexto, de la suma de
  543. 24:34los cuadrados de los residuos, que no es
  544. 24:37otra cosa más que el valor real menos el
  545. 24:40valor predicho por nuestro sistema
  546. 24:42elevado al cuadrado. La suma de cada uno
  547. 24:46de esos residuos elevada al cuadrado.
  548. 24:49Entonces, aquí sacamos ventaja de que
  549. 24:52tenemos los datos de tres personas. Esos
  550. 24:55siempre los tendríamos, ¿no? Tenemos una
  551. 24:57persona que gana aproximadamente 6,000
  552. 24:59pesos con 5 años de experiencia, una
  553. 25:01persona que gana aproximadamente 16,000
  554. 25:03pesos con 6 años de experiencia y una
  555. 25:05persona que gana 26,000 pesos con 13
  556. 25:08años de experiencia. Esto ya lo
  557. 25:10conocemos. Estos son los datos que nos
  558. 25:12van a servir para crear nuestro modelo,
  559. 25:15para ajustar los parámetros. Entonces,
  560. 25:17¿cuál sería la función de error a partir
  561. 25:20de estos datos? Para eso yo voy a
  562. 25:21definir aquí simplemente error va a ser
  563. 25:25igual al valor que ya conozco, que es
  564. 25:29efectivamente correcto para la persona
  565. 25:31uno, que en este caso es de 6.85. De
  566. 25:35hecho, permítanme, lo voy a copiar,
  567. 25:366.85. Aquí está.
  568. 25:39Y ahora, ¿qué es lo que tengo que hacer
  569. 25:41para aproximarme a la creación de mi
  570. 25:44función de error, que es la suma de los
  571. 25:46cuadrados de los residuos? Simplemente
  572. 25:48restarle lo que nuestro modelo
  573. 25:52calcularía. Y nuestro modelo lo
  574. 25:53calcularía en función de la pendiente,
  575. 25:55que es el parámetro que nosotros
  576. 25:56queremos ajustar, M, por
  577. 25:59el número de años de experiencia, pero
  578. 26:01ese ya lo tenemos nosotros aquí. Para la
  579. 26:03primer persona es simplemente cinco.
  580. 26:08Y quedamos que lo elevamos al cuadrado.
  581. 26:11Para quitar los signos y para darle
  582. 26:13mayor relevancia a los errores más
  583. 26:15grandes y menor relevancia a los errores
  584. 26:17más pequeños. Entonces, lo elevamos al
  585. 26:20cuadrado.
  586. 26:21Pero este es el error de la primer
  587. 26:24persona. Entonces, ¿qué tenemos que
  588. 26:26hacer?
  589. 26:27Sumarle
  590. 26:28el error de la segunda persona. Y para
  591. 26:31eso, pues, nosotros ya conocemos
  592. 26:34exactamente
  593. 26:36el dato correcto, 16.83.
  594. 26:41Menos
  595. 26:42lo que calculé un modelo dado,
  596. 26:44M,
  597. 26:46por
  598. 26:47los años de experiencia de esa persona,
  599. 26:50que ya los conocemos, seis. Y aplicamos
  600. 26:53justo lo mismo, lo elevamos al cuadrado.
  601. 26:56Y repetimos exactamente lo mismo para la
  602. 26:59tercer persona.
  603. 27:01Entonces, voy a copiar
  604. 27:03esta línea. Aquí está.
  605. 27:06Y le voy a restar el cálculo del modelo
  606. 27:09para una pendiente M dada.
  607. 27:11Y le vamos a decir que es
  608. 27:14de 13 años de experiencia y igual, lo
  609. 27:17elevamos al cuadrado. Ahora ya tenemos,
  610. 27:20así de simple, nuestra función de error.
  611. 27:23Claro, ahora corresponde
  612. 27:26derivada
  613. 27:27para poder obtener esta razón de cambio,
  614. 27:30para que cuando yo le ponga un valor de
  615. 27:33M, nos diga hacia dónde tenemos que
  616. 27:36caminar.
  617. 27:38Y para eso voy a hacer uso de SymPy, que
  618. 27:41es
  619. 27:42Python simbólico. Entonces, tengo que
  620. 27:45definir un símbolo. ¿Qué símbolo voy a
  621. 27:47definir yo? Una M.
  622. 27:50Okay. Entonces, pongo mi M, la defino
  623. 27:53justo utilizando
  624. 27:55Python simbólico, que ya lo importamos
  625. 27:57con el apodo de SymPy, justo en la parte
  626. 28:00inicial del video. Ponemos el símbolo
  627. 28:03que nosotros queremos
  628. 28:06generar. Y en este caso le estamos
  629. 28:08diciendo, vamos a tener una variable M y
  630. 28:10es un símbolo. Sobre esta variable
  631. 28:13nosotros vamos a hacer una operación
  632. 28:15simbólica. ¿Qué operación vamos a hacer?
  633. 28:17La derivada. ¿Okay? Ahora sí,
  634. 28:21ya definimos nuestro símbolo, tenemos
  635. 28:23nuestra función, ya solo corresponde
  636. 28:25sacar la derivada. Claro, esto está
  637. 28:28bastante sencillo, lo podríamos hacer
  638. 28:29manualmente, pero estamos en un canal de
  639. 28:32programación, entonces, vamos viendo
  640. 28:34cómo derivar simbólicamente esta
  641. 28:36función.
  642. 28:38Ya definimos nuestro símbolo, es muy muy
  643. 28:40sencillo. La derivada de la función del
  644. 28:42error nosotros la podemos calcular
  645. 28:44fácilmente utilizando SymPy.
  646. 28:48Y pasándole
  647. 28:49la función que queremos derivar, que en
  648. 28:51este caso es la del error,
  649. 28:54y con respecto a qué, cuál va a ser la
  650. 28:57variable que nosotros vamos a derivar.
  651. 28:58En este caso solo tenemos una variable
  652. 29:00que es la pendiente. Y ya, así está. Con
  653. 29:04eso calculamos nosotros justo
  654. 29:08la derivada de la función del error. Es
  655. 29:10bastante sencillo, ¿no?
  656. 29:11Claro, aquí les recomiendo, si alguien
  657. 29:14no tiene conocimientos de cómo derivar,
  658. 29:16les recomiendo que cheque un libro de
  659. 29:18cálculo, es es algo muy muy importante
  660. 29:20para avanzar en sus conocimientos de
  661. 29:22aprendizaje de máquina. Conocimientos de
  662. 29:24cálculo son muy importantes para poder
  663. 29:28profundizar.
  664. 29:29No obstante, aquí lo importante es que
  665. 29:31conozcamos la interpretación de la
  666. 29:33derivada. ¿Okay?
  667. 29:36Ya tenemos la derivada, vamos a jugar un
  668. 29:38poquito con ella, vamos a evaluar esa
  669. 29:40derivada para diferentes pendientes y
  670. 29:43así nosotros podemos ver si
  671. 29:45efectivamente nos está dando cierta
  672. 29:47información para determinar hacia dónde
  673. 29:49debemos de caminar, e inclusive la
  674. 29:51magnitud de qué tanto podemos caminar en
  675. 29:53esa dirección. Okay, ahora sí, vamos a
  676. 29:56evaluar para las diferentes pendientes.
  677. 29:58Recuerdan, ya tenemos un vector de
  678. 29:59pendientes arriba que inclusive
  679. 30:00graficamos. Entonces, para cada una de
  680. 30:02esas pendientes que tenemos aquí,
  681. 30:05vamos a imprimir
  682. 30:07la derivada que nosotros acabamos justo
  683. 30:09de programar y la vamos a evaluar. Vamos
  684. 30:12a ponerle aquí evaluación, de hecho
  685. 30:14vamos
  686. 30:15vamos a a ponerla formateada con dos
  687. 30:17decimales, aquí está. Y ahora
  688. 30:19simplemente evaluamos la derivada. Para
  689. 30:23evaluar una función en SymPy,
  690. 30:26simplemente hacemos uso del método
  691. 30:28evalf.
  692. 30:30Entonces, ponemos derivada.evalf
  693. 30:34y le decimos que sustituya el valor de M
  694. 30:38por cada una de las pendientes que
  695. 30:39nosotros tenemos en nuestro vector.
  696. 30:42Entonces, escribimos subs
  697. 30:45y
  698. 30:46aquí está. Escribimos la M y le decimos
  699. 30:50que cada una de estas M va a ser
  700. 30:52sustituida por cada una de las
  701. 30:55pendientes que nosotros tenemos. Y ahora
  702. 30:57sí, vamos a ejecutar nuestro código
  703. 31:00y veamos qué resultado nos está dando.
  704. 31:03Vean, bueno, de entrada esta es la
  705. 31:05derivada de la función del error.
  706. 31:07Obviamente lo podemos hacer
  707. 31:09manualmente, pero aquí lo hicimos vía
  708. 31:11programación porque estamos en un canal
  709. 31:14de programación.
  710. 31:15Y aquí tenemos los diferentes valores
  711. 31:20de la derivada evaluada en esta M.
  712. 31:24Noten, todos los de arriba
  713. 31:26son positivos.
  714. 31:28Todos los de abajo son negativos.
  715. 31:31El valor más pequeño
  716. 31:34está
  717. 31:35entre este y este.
  718. 31:37El valor más pequeño ahí es justo
  719. 31:42este que nosotros tenemos por aquí. Es
  720. 31:44cuando la pendiente se acerca justo a
  721. 31:47este valor.
  722. 31:49Okay, pues aquí ya tenemos efectivamente
  723. 31:53un error, la derivada del error lo
  724. 31:55estamos evaluando para un valor de una
  725. 31:58pendiente dada
  726. 32:00y algún tipo de información nos está
  727. 32:02dando con esto de que es positivo y
  728. 32:04negativo. Ahora vamos a graficar esta
  729. 32:07información para ver cómo se ve.
  730. 32:10Okay.
  731. 32:11Aquí tengo yo ya preparado código para
  732. 32:14graficar estas evaluaciones de la
  733. 32:18derivada del error. Y aquí estoy
  734. 32:23presentando exactamente casi la misma
  735. 32:26información que teníamos. Tenemos aquí
  736. 32:28el error
  737. 32:29que está denotado por estos puntos, cada
  738. 32:32uno de ellos en diferentes colores. Y en
  739. 32:34la parte del eje de las X tenemos las
  740. 32:38pendientes.
  741. 32:39Ahora, estas líneas
  742. 32:42¿qué es lo que nos está representando?
  743. 32:45Aquí nosotros estamos graficando
  744. 32:49el gradiente. Nosotros estamos
  745. 32:52graficando la evaluación
  746. 32:55de la derivada del error evaluada en una
  747. 32:59pendiente dada. Por ejemplo, aquí en el
  748. 33:031.7 nosotros tenemos nuestra función del
  749. 33:06error
  750. 33:07y
  751. 33:08la derivamos. Esa derivada la evaluamos
  752. 33:12en 1.7 y después la graficamos. Es esta
  753. 33:17línea, es una tangente a nuestra función
  754. 33:20de error, la podemos ver aquí claramente
  755. 33:22cómo está. No cruza la función, es
  756. 33:24tangente. Okay, ahora tenemos la
  757. 33:28derivada del error evaluada en 1.8 y
  758. 33:31aquí tenemos otra tangente.
  759. 33:34Y acá tenemos la derivada del error
  760. 33:36evaluada en 1.9 y noten, tiene otra vez
  761. 33:41esta tangente que está por ahí y que
  762. 33:43pasa tocando exactamente en este punto a
  763. 33:47la función de error. La toca, es una
  764. 33:50tangente que está por ahí. Y lo mismo
  765. 33:53podemos hacer aquí y lo mismo podemos
  766. 33:54hacer aquí. Noten esta que está aquí,
  767. 33:56tenemos nuestra función de error,
  768. 33:57evaluamos la derivada de la función de
  769. 34:00error justo en ese punto y vean lo que
  770. 34:03nos genera, una línea tangente.
  771. 34:06Pero noten aquí, la pendiente de esta
  772. 34:08línea tangente se está aproximando a
  773. 34:11cero. ¿Eso qué nos está diciendo?
  774. 34:14¿Recuerdan nuestro contexto extraño del
  775. 34:16inicio? Que nosotros estamos muy cerca
  776. 34:19del fondo, que si damos un paso hacia
  777. 34:20adelante, un paso hacia atrás, un paso a
  778. 34:22la izquierda, un paso hacia la derecha,
  779. 34:23nosotros nos damos cuenta que el declive
  780. 34:26de cada uno de esos pasos, qué tanto
  781. 34:28bajamos con cada uno de ellos es muy
  782. 34:30poco. Entonces, aquí estamos viendo para
  783. 34:34qué nos sirve la derivada. Si nosotros
  784. 34:38aventáramos una pelotita acá o una
  785. 34:40pelotita para acá y esa pelotita caería
  786. 34:43obviamente al fondo. Si nosotros la
  787. 34:46aventamos aquí, noten, la pendiente
  788. 34:49va a provocar que esa pelotita caiga más
  789. 34:51rápido. Si nosotros la aventamos aquí,
  790. 34:53la pendiente va a provocar que esa
  791. 34:55pelotita no caiga tan rápido. Entonces,
  792. 34:59estas pendientes de la derivada del
  793. 35:02error nos están diciendo la dirección de
  794. 35:05hacia dónde se va a ir la pelotita. Si
  795. 35:06la soltamos aquí, automáticamente
  796. 35:08sabemos que es hacia la izquierda. Si la
  797. 35:10soltamos aquí, automáticamente sabemos
  798. 35:12que es hacia la derecha. Si la soltamos
  799. 35:14aquí,
  800. 35:15pues por esta pendiente va a provocar
  801. 35:17que baje muy rápido la pelotita. Si la
  802. 35:19aventamos aquí, va a provocar que baje
  803. 35:22muy rápido la pelotita. Caso contrario,
  804. 35:24si la aventamos por aquí, va a provocar
  805. 35:26que baje sí, pero muy lento. Entonces,
  806. 35:30con esto nosotros estamos calculando el
  807. 35:33gradiente, qué tanto cambia nuestra
  808. 35:36función de error en función de una
  809. 35:38pendiente dada. Además, nos está
  810. 35:41diciendo hacia dónde tenemos que
  811. 35:43caminar, la dirección, pero también nos
  812. 35:45está dando la magnitud. Esto es
  813. 35:47verdaderamente una maravilla. Ahora
  814. 35:51vamos a generalizarlo, porque lo que
  815. 35:54tenemos aquí es exclusivamente
  816. 35:57para un parámetro. Pero pues los modelos
  817. 36:00de aprendizaje de máquina, las técnicas
  818. 36:02de aprendizaje de máquina tienen muchos
  819. 36:04parámetros. En este caso inclusive
  820. 36:06estamos con una regresión lineal, la
  821. 36:08regresión lineal pues tiene dos
  822. 36:10parámetros, ¿no? El intercepto, la B,
  823. 36:12dónde cruza la línea con el eje de las
  824. 36:14Y, y sí también la pendiente. Y para
  825. 36:19fines de explicación nosotros asumimos
  826. 36:21que todas las líneas
  827. 36:23cruzaban en cero y eso nos permitió
  828. 36:26ignorar la B. Pero ¿qué pasa si no la
  829. 36:29ignoramos? Si queremos optimizar también
  830. 36:33esa B, ese intercepto. Son dos
  831. 36:35parámetros a considerar. Entonces,
  832. 36:37necesitamos hacer una generalización.
  833. 36:40Sin embargo, esta generalización es
  834. 36:42bastante sencilla.
  835. 36:45¿Por qué? Porque simplemente repetimos
  836. 36:47el mismo proceso, pero con unos pequeños
  837. 36:51cambios.
  838. 36:52Ahora, vamos a suponer que tenemos igual
  839. 36:55un modelo de regresión lineal, pero
  840. 36:57ahora este modelo de regresión lineal lo
  841. 36:59vamos a querer optimizar tomando en
  842. 37:01cuenta dos parámetros.
  843. 37:04Uno es la M, la pendiente, y el otro es
  844. 37:08la B, el intercepto, donde la línea
  845. 37:11cruza el eje de las Y.
  846. 37:15Ahora, si recordamos en el ejemplo
  847. 37:17anterior solo teníamos la M. Yo me
  848. 37:21encargué de que la B fuera igual a cero
  849. 37:25para poderlo explicar de una forma más
  850. 37:28sencilla. Sin embargo, comúnmente las
  851. 37:31técnicas de aprendizaje de máquina
  852. 37:34tienen dos o más parámetros a optimizar.
  853. 37:37Entonces, en este caso vamos a repetir
  854. 37:39exactamente el mismo proceso, pero
  855. 37:41tomando en cuenta los dos parámetros.
  856. 37:43Para eso, yo aquí tengo datos muy
  857. 37:46similares a los que teníamos
  858. 37:48anteriormente. Sin embargo, yo los varié
  859. 37:51un poco para que tuviéramos un
  860. 37:52intercepto diferente de cero y una
  861. 37:56pendiente diferente de cero. Ahora,
  862. 37:59permítanme ejecutar este código para
  863. 38:01visualizar el modelo y los datos.
  864. 38:05Aquí lo podemos ver.
  865. 38:07Igual tenemos en color amarillo los
  866. 38:10datos reales, en color azul los datos
  867. 38:13predichos y en rosa tenemos nuestro
  868. 38:17modelo.
  869. 38:18Y ahora, ¿qué es lo importante aquí?
  870. 38:21Tenemos el valor del intercepto, donde
  871. 38:23el modelo, donde la línea cruza el eje
  872. 38:27de las Y, y es igual a -4.38.
  873. 38:32Y la pendiente en este caso es de 2.45.
  874. 38:36E igual tenemos un error, un error de la
  875. 38:40suma de los cuadrados de los residuos de
  876. 38:434.03.
  877. 38:45Y obviamente, nosotros queremos que al
  878. 38:49momento de que optimicemos
  879. 38:51nuestro modelo a través
  880. 38:54de el algoritmo del gradiente
  881. 38:56descendiente, pues nos dé estos valores,
  882. 39:002.45 para la pendiente y -4.38
  883. 39:04para el intercepto.
  884. 39:06Y
  885. 39:07repetimos nuevamente el mismo
  886. 39:10procedimiento. Tenemos que calcular el
  887. 39:13error.
  888. 39:14En el otro nosotros hicimos la fórmula
  889. 39:17del error exclusivamente
  890. 39:19en función de la M. Y este término que
  891. 39:24está aquí, el + B de cada uno de ellos
  892. 39:27no estaba. ¿Por qué? Porque era igual a
  893. 39:30cero. Yo así lo definí explícitamente.
  894. 39:33Ahora, tenemos dos parámetros, por
  895. 39:36tanto, la predicción involucra tanto la
  896. 39:39M, la pendiente, como el intercepto. Y
  897. 39:42por tal razón tenemos que definir así
  898. 39:44nuestra función de error.
  899. 39:47Ahora tenemos dos variables. ¿Qué pasa
  900. 39:50cuando graficamos la función de error?
  901. 39:52En el otro se veía
  902. 39:54una función convexa.
  903. 39:57En este caso,
  904. 39:59¿cómo se verá? Igual, convexa,
  905. 40:02pero de una forma
  906. 40:04tridimensional.
  907. 40:06Ahora, ¿qué es lo que tenemos aquí? Cada
  908. 40:08uno de estos puntos en moradito es la
  909. 40:12evaluación de la función de error para
  910. 40:15una pendiente dada y para un intercepto
  911. 40:18dado. Aquí podemos ver un punto del
  912. 40:21error que tendría ese modelo para una
  913. 40:24pendiente igual a cero y para un
  914. 40:26intercepto de -10. Eso es justo lo que
  915. 40:31tenemos aquí graficado. ¿Cuál es el
  916. 40:34error
  917. 40:35para esos valores de los parámetros? Y
  918. 40:39igual como hicimos en el ejemplo
  919. 40:41anterior, yo aquí estoy graficando el
  920. 40:43rango de interés, donde yo ya sé dónde
  921. 40:47se encuentra el valor óptimo. Claro,
  922. 40:50esto lo estoy haciendo exclusivamente
  923. 40:53por razones didácticas, para que sepamos
  924. 40:56qué es lo que estamos haciendo, hacia
  925. 40:58dónde vamos. Sin embargo, esto no es un
  926. 41:02requisito del algoritmo del gradiente
  927. 41:04descendiente. Y lo que estoy graficando
  928. 41:07aquí en color azul claro es justo donde
  929. 41:10se encuentra el valor óptimo, que fue
  930. 41:13igual calculado con la librería de
  931. 41:16scikit-learn utilizando el método de
  932. 41:18mínimos cuadrados, que es el método que
  933. 41:21ya viene por defecto para crear los
  934. 41:23modelos de regresión lineal. Okay,
  935. 41:26entonces, así lo podemos ver nosotros
  936. 41:29tridimensionalmente para cuando tenemos
  937. 41:32dos parámetros.
  938. 41:33Vamos avanzando en el procedimiento.
  939. 41:36¿Recuerdan? Una vez que nosotros
  940. 41:38definimos una función de error, ¿qué fue
  941. 41:40lo que hicimos?
  942. 41:41Sacamos la derivada de esa función de
  943. 41:44error. ¿Y para qué sacamos la derivada
  944. 41:46de la función del error? Para poder
  945. 41:48calcular el gradiente y que ahora nos
  946. 41:51diga hacia dónde tenemos que avanzar,
  947. 41:54porque justo cuando esa derivada de la
  948. 41:57función del error es igual a cero, es
  949. 42:01cuando hemos encontrado nosotros ese
  950. 42:04valor mínimo. Y recuerdan, en el caso
  951. 42:07anterior nos decía igual la magnitud y
  952. 42:10la dirección de hacia dónde avanzar. Acá
  953. 42:13es exactamente lo mismo. La única
  954. 42:16diferencia que nosotros tenemos aquí es
  955. 42:17que ahora involucramos dos variables y
  956. 42:20por tanto definimos dos símbolos
  957. 42:23utilizando la librería de sympy para
  958. 42:25cálculo simbólico dentro de Python y
  959. 42:28poder calcular de una forma muy sencilla
  960. 42:31las derivadas. En este caso, y este es
  961. 42:34un concepto de cálculo, no podemos sacar
  962. 42:36la derivada explícitamente porque la
  963. 42:39derivada solo se puede hacer cuando
  964. 42:42tenemos una sola variable. Aquí tenemos
  965. 42:46dos variables.
  966. 42:48Entonces, ¿qué es lo que tenemos que
  967. 42:49hacer? La derivada parcial.
  968. 42:52Recuerden, la derivada es simplemente
  969. 42:55una razón de cambio. ¿Cómo se comporta
  970. 42:58la función del error? ¿Cómo se comporta
  971. 43:00el error cuando yo altero la pendiente,
  972. 43:03cuando yo altero el intercepto?
  973. 43:06¿Cómo se comportaría el error? Para eso
  974. 43:08nosotros igual sacamos la derivada, pero
  975. 43:11la derivada parcial. Esto va a implicar
  976. 43:15que cuando yo derive, por ejemplo, con
  977. 43:16respecto a la pendiente,
  978. 43:19se toma como constante el intercepto. Y
  979. 43:23cuando yo derive con respecto
  980. 43:25al intercepto, se toma como constante la
  981. 43:28pendiente. Y así tengo yo una derivada
  982. 43:32del error con respecto al intercepto y
  983. 43:36tengo yo una derivada del error con
  984. 43:38respecto a la pendiente. Pero estas son
  985. 43:40derivadas parciales porque estamos
  986. 43:44involucrando dos variables. Aquí, como
  987. 43:47es exactamente el mismo código, yo ya lo
  988. 43:49dejé preparado
  989. 43:52y lo vamos a ejecutar. Y podemos ver que
  990. 43:55la derivada del error, la derivada
  991. 43:58parcial
  992. 43:59con respecto a m de la función del error
  993. 44:02involucra efectivamente tanto b como m.
  994. 44:06Y tenemos exactamente lo mismo para la
  995. 44:09derivada parcial de la función de error
  996. 44:12con respecto a b.
  997. 44:14Cada una de estas derivadas nos da el
  998. 44:17gradiente, pero en función de uno de los
  999. 44:19parámetros de nuestro modelo.
  1000. 44:21En uno es la pendiente y en otro es
  1001. 44:24justamente el intercepto. Es exactamente
  1002. 44:28la misma interpretación que teníamos en
  1003. 44:30el ejemplo más sencillo. Nada más que
  1004. 44:32aquí tenemos la derivada parcial porque
  1005. 44:36involucramos dos variables.
  1006. 44:39Okay, entonces, ya tenemos esta derivada
  1007. 44:41parcial. Ahora sí estamos listos para
  1008. 44:45ver el pseudocódigo del gradiente
  1009. 44:48descendiente. Tenemos toda la parte
  1010. 44:50matemática resuelta.
  1011. 44:53¿Cómo funciona este algoritmo? Ya hasta
  1012. 44:55cierto punto lo definimos en la parte
  1013. 44:58inicial de este video. Sin embargo,
  1014. 45:00vamos definiéndolo un poquito más
  1015. 45:02formal.
  1016. 45:04Cuando llegaba el paracaidista y caía en
  1017. 45:07esa zona montañosa, yo les hablé de que
  1018. 45:10daba ciertos pasos.
  1019. 45:12Pero, ¿cuántos pasos va a dar?
  1020. 45:15A lo mejor alguien podría decir, "No,
  1021. 45:16pues yo nomás doy 10 pasos." Otra
  1022. 45:18persona podría decir, "Yo doy 20 pasos."
  1023. 45:20¿Cuántos pasos requerimos nosotros para
  1024. 45:22llegar al arroyo? Para llegar al mínimo,
  1025. 45:26para optimizar nuestro modelo.
  1026. 45:29Pues, en muchos casos no lo sabemos. Por
  1027. 45:32lo tanto, se define una constante, la
  1028. 45:34cual normalmente se ajusta de forma
  1029. 45:37experimental,
  1030. 45:38en función de los mínimos que vamos
  1031. 45:41detectando.
  1032. 45:42En este caso, simplemente definimos un
  1033. 45:45máximo de pasos, un máximo de
  1034. 45:46iteraciones de este algoritmo, en este
  1035. 45:49caso de 10,000, podría ser un buen
  1036. 45:52valor.
  1037. 45:53Y obviamente vamos a necesitar una
  1038. 45:55variable que nos va a ir contando
  1039. 45:57cuántos pasos ha dado nuestro
  1040. 45:59paracaidista. Y para eso tenemos esta
  1041. 46:02variable llamada iteración.
  1042. 46:05Ahora, tenemos esta tasa de aprendizaje.
  1043. 46:10¿Qué será esto?
  1044. 46:11¿Qué significado tiene con respecto a
  1045. 46:15este ejemplo ficticio que planteamos
  1046. 46:17inicialmente? Okay, con iteraciones
  1047. 46:19máximas sabemos cuántos pasos dar, pero
  1048. 46:22¿de qué tamaño va a ser cada paso? ¿Va a
  1049. 46:24ser un pasote?
  1050. 46:25¿Va a ser un pasito? ¿Va a ser un paso
  1051. 46:27normal?
  1052. 46:29Eso es justo lo que nos está definiendo
  1053. 46:30la tasa de aprendizaje. ¿Qué tamaño va a
  1054. 46:34tener ese paso? Obviamente nosotros
  1055. 46:36podríamos decir, "No, yo quiero aprender
  1056. 46:39muy rápido." De hecho, lo podríamos
  1057. 46:42hacer así. Sin embargo, recuerden,
  1058. 46:45nosotros vamos dando pasitos, pasitos,
  1059. 46:46pasitos, pasitos, pasitos, pasitos hasta
  1060. 46:48que llegamos
  1061. 46:50al óptimo, al mínimo. Sin embargo,
  1062. 46:53imagínense que arrancamos aquí arriba y
  1063. 46:55decimos, "No, yo no voy a dar pasos, yo
  1064. 46:57voy a dar brincos." Entonces, ¿qué pasa?
  1065. 46:59De aquí yo puedo brincar para acá.
  1066. 47:01Un pasotote. ¿Qué pasó? Me brinqué.
  1067. 47:05Me brinqué el mínimo.
  1068. 47:07Y digo, "Bueno, pues regreso." Pues
  1069. 47:09vuelvo a brincar. Regreso, brincar,
  1070. 47:11brincar, brincar, brincar. Y así voy. Y
  1071. 47:14cada vez que voy brincando, me voy
  1072. 47:16brincando el mínimo de mi función de
  1073. 47:18error. Eso no lo quieres. A raíz de eso
  1074. 47:21se define una tasa de aprendizaje
  1075. 47:23relativamente pequeña. Igual que en el
  1076. 47:26caso de las iteraciones máximas, la tasa
  1077. 47:28de aprendizaje es un valor que se ajusta
  1078. 47:31en función de experimentación. En este
  1079. 47:34caso nosotros vamos a utilizar
  1080. 47:35simplemente 0.001.
  1081. 47:37Yo ya hice algunas pruebas y estos
  1082. 47:39parámetros realmente nos dan buenos
  1083. 47:41resultados.
  1084. 47:42Ahora,
  1085. 47:44en nuestro ejemplo anterior teníamos un
  1086. 47:45paracaidista que pudo haber caído
  1087. 47:48en la montaña de la izquierda, en la
  1088. 47:49montaña de la derecha, un poquito más
  1089. 47:51para acá, un poquito más para allá.
  1090. 47:52Igual aquí, ¿dónde vamos a arrancar a
  1091. 47:55explorar?
  1092. 47:56Pues, podríamos arrancar aquí con un
  1093. 47:58valor de una pendiente y de un
  1094. 48:00intercepto, o podríamos arrancar acá con
  1095. 48:03otros valores completamente diferentes o
  1096. 48:05un poquito para acá.
  1097. 48:07Independientemente
  1098. 48:09de los valores que nosotros
  1099. 48:10seleccionemos, este algoritmo nos va a
  1100. 48:13llevar al mínimo. Al menos para el caso
  1101. 48:16de los modelos de regresión lineal, para
  1102. 48:18los cuales se conoce que tienen un solo
  1103. 48:20mínimo global, a raíz de que su función
  1104. 48:22de error es convexa, que tiene esta esta
  1105. 48:25forma. Por eso es que forzosamente vamos
  1106. 48:28a llegar al mínimo si ponemos una tasa
  1107. 48:31de aprendizaje relativamente pequeña y
  1108. 48:33una cierta cantidad de iteraciones
  1109. 48:35máximas.
  1110. 48:37Okay.
  1111. 48:38Entonces, ¿qué es lo que queda aquí?
  1112. 48:40Pues, simplemente empezar a dar pasitos.
  1113. 48:43Entonces, recuerdan, doy paso, pero
  1114. 48:46¿hacia dónde lo doy? ¿En qué magnitud lo
  1115. 48:48doy? Pues, para eso necesito calcular
  1116. 48:50los gradientes en función de la posición
  1117. 48:52donde estoy. Pero eso ya sabemos cómo
  1118. 48:55hacerlo. De hecho, ya calculamos
  1119. 48:56nosotros las derivadas parciales tanto
  1120. 48:59de la función de error con respecto al
  1121. 49:01intercepto como de la función del error
  1122. 49:03con respecto a la pendiente. Nosotros ya
  1123. 49:06calculamos los gradientes, las razones
  1124. 49:09de cambio.
  1125. 49:11Y en función del gradiente, nosotros
  1126. 49:13vamos a actualizar nuestros parámetros.
  1127. 49:17La nueva pendiente
  1128. 49:18y el nuevo intercepto.
  1129. 49:20Aumentamos una iteración más,
  1130. 49:22verificamos si todavía no llegamos al
  1131. 49:24máximo de iteraciones que nosotros
  1132. 49:26definimos. Si no es así, otra vez dimos
  1133. 49:28un paso, calculamos el gradiente,
  1134. 49:31determinamos hacia dónde
  1135. 49:33caminar y con qué magnitud, y otra vez
  1136. 49:36volvemos a actualizar nuestros
  1137. 49:37parámetros, la pendiente y el
  1138. 49:39intercepto.
  1139. 49:40Aumentamos el número de iteraciones y lo
  1140. 49:42repetimos así
  1141. 49:43hasta que eventualmente llegamos al
  1142. 49:46número de iteraciones máximas. Y si
  1143. 49:49seleccionamos apropiadamente una buena
  1144. 49:51tasa de aprendizaje y un cierto número
  1145. 49:54de iteraciones máximas, habremos llegado
  1146. 49:56a nuestro mínimo, al menos para el caso
  1147. 49:59de los modelos de regresión lineal.
  1148. 50:03Okay, este es el algoritmo básico. Ahora
  1149. 50:05vamos simplemente a programarlo. Para
  1150. 50:08eso
  1151. 50:09yo ya tengo aquí un poco de código
  1152. 50:11preparado.
  1153. 50:13Igual, el número máximo de iteraciones
  1154. 50:15está en 10,000, justo lo que teníamos en
  1155. 50:17nuestro pseudocódigo. Definí la tasa de
  1156. 50:20aprendizaje igual a 0.001.
  1157. 50:24Tiene que ser relativamente pequeña y
  1158. 50:26ese es un valor relativamente común que
  1159. 50:30nosotros utilizamos cuando estamos
  1160. 50:31trabajando con este tipo de algoritmos.
  1161. 50:33Y
  1162. 50:35como valores completamente arbitrarios,
  1163. 50:38aleatorios, puse una pendiente de 0 y un
  1164. 50:41intercepto de -10. Lo estoy poniendo
  1165. 50:43exclusivamente en ese valor porque al
  1166. 50:45momento de graficarlo se ve muy claro
  1167. 50:48qué es lo que está pasando. Sin embargo,
  1168. 50:51créanme, pude haber puesto cualquier
  1169. 50:54valor y si no me cree, los invito, por
  1170. 50:56favor, descarguen esta libreta de
  1171. 50:59Jupyter de nuestro sitio de GitHub y
  1172. 51:02jueguen un poquito con el código y vean
  1173. 51:04cómo se comporta este algoritmo. Y lo
  1174. 51:07que tenemos aquí es un arreglo de NumPy
  1175. 51:12que nos va a permitir capturar los
  1176. 51:15diferentes errores conforme vamos
  1177. 51:17ajustando
  1178. 51:19los parámetros de la pendiente y el
  1179. 51:21intercepto.
  1180. 51:22La única razón por la que estoy
  1181. 51:24incluyendo aquí este vector es porque
  1182. 51:26quiero graficar cada uno de los pasitos
  1183. 51:29para que veamos
  1184. 51:31claramente qué pasó, porque
  1185. 51:34efectivamente sí llegamos a los valores
  1186. 51:37óptimos de la pendiente y del
  1187. 51:38intercepto.
  1188. 51:40Y quedamos que teníamos ahí un simple
  1189. 51:42ciclo. En este caso yo voy a utilizar un
  1190. 51:44un for, funciona exactamente igual al
  1191. 51:46pseudocódigo del while que teníamos aquí
  1192. 51:48arriba, entonces no pasa nada y vamos a
  1193. 51:52calcular primero los gradientes en
  1194. 51:54función de las derivadas parciales de la
  1195. 51:56pendiente y del intercepto, que ya
  1196. 51:59nosotros definimos. Y estos gradientes
  1197. 52:02los voy a almacenar en una simple lista
  1198. 52:06que tenga dos elementos, el gradiente de
  1199. 52:09la pendiente y el gradiente del
  1200. 52:11intercepto. Entonces, eso ya quedamos,
  1201. 52:14lo calculamos nosotros con la derivada
  1202. 52:17del error, la derivada parcial del error
  1203. 52:20con respecto a la pendiente, la
  1204. 52:23evaluamos, que ya sabemos que la
  1205. 52:24evaluamos con punto eval f,
  1206. 52:27y sustituimos el valor de m
  1207. 52:31con el valor de la pendiente arbitrario
  1208. 52:33que nosotros definimos, al menos para la
  1209. 52:35primera iteración.
  1210. 52:38Y aquí nuestras derivadas parciales,
  1211. 52:41¿recuerdan? Tienen dos variables, una es
  1212. 52:45la pendiente y la otra es el intercepto.
  1213. 52:47Entonces, metemos el intercepto e igual
  1214. 52:51tenemos que evaluarlo
  1215. 52:53con el valor arbitrario que nosotros
  1216. 52:56definimos, en este caso -10. Intercepto.
  1217. 53:01Ahí está. Eh, aquí es una comita y
  1218. 53:04permítame reajustar
  1219. 53:07el código.
  1220. 53:09Okay, ahora sí, ahí estamos.
  1221. 53:12Aquí está. Ahora, aquí tenemos el
  1222. 53:14gradiente con respecto a la pendiente,
  1223. 53:17pero nos queda con respecto
  1224. 53:20al intercepto. En este caso
  1225. 53:24quedamos que lo íbamos a almacenar en
  1226. 53:26una lista, entonces yo defino ahí mi
  1227. 53:30lista y ahora utilizo la derivada del
  1228. 53:32error, la derivada parcial del error con
  1229. 53:36respecto al intercepto.
  1230. 53:39Lo evalúo con el valor completamente
  1231. 53:43arbitrario que yo definí, aquí está.
  1232. 53:48Pongo la pendiente,
  1233. 53:50de ahí pongo el valor
  1234. 53:53del intercepto,
  1235. 53:55ahí está. Y ahora sí, cierro
  1236. 53:58mi lista del gradiente. Aquí está, ya
  1237. 54:02tengo los gradientes. Estos gradientes
  1238. 54:04me van a decir en qué dirección y con
  1239. 54:07qué magnitud debo yo de avanzar. Ahora,
  1240. 54:11¿qué es lo que queda? Actualizar los
  1241. 54:13valores de mis parámetros poco a poco,
  1242. 54:17poco a poco, paso a paso.
  1243. 54:20Mis parámetros son simplemente la
  1244. 54:23pendiente,
  1245. 54:24la cual se actualiza con el valor que
  1246. 54:28tiene hasta ese punto, pero en función
  1247. 54:31del gradiente que justo nosotros
  1248. 54:33acabamos de calcular.
  1249. 54:34Y quedamos que debemos determinar qué
  1250. 54:37tan grande o qué tan pequeño debemos dar
  1251. 54:39ese paso. Y eso nosotros lo hacemos a
  1252. 54:43través de la tasa de aprendizaje.
  1253. 54:45Entonces,
  1254. 54:47agarramos la tasa de aprendizaje,
  1255. 54:49lo multiplicamos
  1256. 54:51por el gradiente correspondiente, que en
  1257. 54:54este caso es el que se encuentra en la
  1258. 54:56posición cero, el gradiente
  1259. 54:58correspondiente a la pendiente.
  1260. 55:01Entonces, aquí está, lo ponemos en cero.
  1261. 55:04Y con eso ya actualizamos el valor de la
  1262. 55:06pendiente. De hecho, lo vamos a poner
  1263. 55:08aquí abajito, aquí está. Y tengo un
  1264. 55:10error de dedo aquí, pendiente. Listo.
  1265. 55:14Ejecutamos. Y ahora sí, intercepto.
  1266. 55:18Ahí está. Repetimos exactamente
  1267. 55:21la misma fórmula, es el valor anterior
  1268. 55:25menos la tasa de aprendizaje
  1269. 55:29por el gradiente correspondiente, que se
  1270. 55:31encuentra en la posición uno, que es
  1271. 55:35justo este, el correspondiente al
  1272. 55:38intercepto.
  1273. 55:40Ahora sí, ya tenemos nuevos valores para
  1274. 55:43la pendiente y para el intercepto. Aquí
  1275. 55:46yo ya calculé cómo se afectaron mis
  1276. 55:49parámetros una vez que di un paso, ya
  1277. 55:52sea a la derecha, a la izquierda, hacia
  1278. 55:53adelante o hacia atrás.
  1279. 55:54Ahora sé dónde estoy parado. Y como ya
  1280. 55:58sé dónde estoy parado, ¿qué queda?
  1281. 56:00Simplemente repetir, volver a calcular
  1282. 56:04los gradientes y actualizar.
  1283. 56:07Repetir, volver a calcular los
  1284. 56:09gradientes y actualizar los parámetros.
  1285. 56:13Ahora,
  1286. 56:14esto ya es el algoritmo del gradiente
  1287. 56:17descendiente. Es relativamente sencillo
  1288. 56:20una vez que sabemos qué es lo que
  1289. 56:22estamos haciendo.
  1290. 56:24Lo siguiente que voy a hacer es
  1291. 56:25simplemente almacenar el error que voy
  1292. 56:30obteniendo cada vez que doy un solo
  1293. 56:32paso. Entonces, para eso voy a utilizar
  1294. 56:35el arreglo de NumPy que justo definí ahí
  1295. 56:37arriba.
  1296. 56:38Se llama errores
  1297. 56:41y lo vamos a almacenar para el paso i.
  1298. 56:44Obviamente necesitamos guardar
  1299. 56:47el valor de la pendiente y del
  1300. 56:49intercepto para poderlo asociar al error
  1301. 56:52de ambos, ¿no? Entonces, guardamos aquí
  1302. 56:56la pendiente
  1303. 56:58y ahora
  1304. 57:00guardamos
  1305. 57:02el intercepto.
  1306. 57:05Y posteriormente, aquí es un uno, y
  1307. 57:08posteriormente
  1308. 57:10lo que hacemos es agarrar la función del
  1309. 57:14error que está definida aquí arriba y
  1310. 57:17que ya quedamos que es la suma de los
  1311. 57:19residuos al cuadrado.
  1312. 57:22Y pues, con esta función simplemente le
  1313. 57:25paso la pendiente y le paso el
  1314. 57:27intercepto y ahora sí, ya voy a tener yo
  1315. 57:31el error correspondiente
  1316. 57:34en ese paso.
  1317. 57:36Y cada vez que haga una iteración voy a
  1318. 57:38guardar el error y cada vez que haga una
  1319. 57:40iteración voy a guardar el error y así
  1320. 57:43sucesivamente hasta que haya terminado
  1321. 57:46con el número de iteraciones.
  1322. 57:49Y ya con eso terminamos. Permítanme
  1323. 57:52ejecutar este código y para eso yo aquí
  1324. 57:55tengo código complementario.
  1325. 57:57Aquí está. Que simplemente nos va a
  1326. 58:01imprimir los valores finales de los
  1327. 58:03gradientes, tanto para la pendiente como
  1328. 58:05para el intercepto, y nos va a imprimir
  1329. 58:09el valor de la pendiente y el valor del
  1330. 58:11intercepto. Este ya es el calculado con
  1331. 58:14el método del gradiente descendiente.
  1332. 58:18Y para que podamos tener una referencia
  1333. 58:21de qué tan bueno o qué tan malo fue
  1334. 58:24nuestro algoritmo, yo aquí tengo los
  1335. 58:26valores de la pendiente y del intercepto
  1336. 58:28que fueron calculados con el método de
  1337. 58:31mínimos cuadrados que viene implementado
  1338. 58:33dentro de scikit-learn. Entonces, ya
  1339. 58:36tenemos una muy buena referencia de qué
  1340. 58:38valores efectivamente debería de dar.
  1341. 58:40Ahora, antes de ejecutar, permítanme
  1342. 58:43revisar rápidamente el código para ver
  1343. 58:45si no tengo algún errorcito. Ah, aquí
  1344. 58:48tenemos un errorcito.
  1345. 58:50Tenemos que agregar la n.
  1346. 58:53Y
  1347. 58:54parece que todo ya está perfecto.
  1348. 58:56Entonces sí, ejecutamos.
  1349. 58:59Y noten aquí, está tardando un poquito,
  1350. 59:02es porque está dando cada uno de los
  1351. 59:05pasos que nosotros le dijimos que diera.
  1352. 59:08En este caso, nosotros le dijimos que
  1353. 59:11diera 10,000 pasos y está actualizando
  1354. 59:15nuestros valores para la pendiente y
  1355. 59:18para el intercepto. Okay, ya terminó.
  1356. 59:21Aquí tenemos los resultados. Vean,
  1357. 59:25primero los valores de los gradientes, 0
  1358. 59:29y -0.002
  1359. 59:32para el caso del intercepto.
  1360. 59:35Noten, están muy cercanos
  1361. 59:38a 0. ¿Qué implica eso? Que las
  1362. 59:41pendientes están prácticamente planas.
  1363. 59:44¿Y qué pasa cuando están prácticamente
  1364. 59:46planas? Estamos cerca o en el mínimo de
  1365. 59:52nuestra función de error. Eso lo podemos
  1366. 59:55ver aquí muy claramente
  1367. 59:58con esta pendiente.
  1368. 1:00:00Esta pendiente aquí es muy cercana a 0.
  1369. 1:00:04Y lo mismo nos va a aplicar para cuando
  1370. 1:00:08tenemos la forma tridimensional
  1371. 1:00:11involucrando los dos parámetros. De
  1372. 1:00:14hecho, aquí podría ser un poco extraño
  1373. 1:00:18como lo estamos nosotros viendo. A lo
  1374. 1:00:20mejor alguien dice, "Oye, ese no es el
  1375. 1:00:22verdadero mínimo." Pues
  1376. 1:00:24déjenlo vemos así. Ahora sí, aquí está.
  1377. 1:00:28Se ve claramente cómo es este el mínimo.
  1378. 1:00:30Y aquí tendríamos nosotros las
  1379. 1:00:33pendientes. Y estas pendientes estarían
  1380. 1:00:36prácticamente acostadas. Eso es la
  1381. 1:00:40representación del gradiente. Tendríamos
  1382. 1:00:44el gradiente del intercepto y el
  1383. 1:00:46gradiente correspondiente a la pendiente
  1384. 1:00:49prácticamente acostados, lo que nos
  1385. 1:00:52indica que estamos en un mínimo de la
  1386. 1:00:55función del error. Y por tanto, hemos
  1387. 1:00:58encontrado un valor óptimo para los
  1388. 1:01:00parámetros de nuestro modelo. Y ahora
  1389. 1:01:04vamos a ver qué valores nos dio para la
  1390. 1:01:07pendiente y qué valores nos dio para el
  1391. 1:01:09intercepto. Primero, de hecho, veamos el
  1392. 1:01:12de la pendiente. Nos dio 2.44.
  1393. 1:01:16Vean, 2.44.
  1394. 1:01:18Obviamente, hay algunas variaciones con
  1395. 1:01:21respecto a los decimales. Es
  1396. 1:01:23perfectamente normal. Estamos dando
  1397. 1:01:25pequeños pasos. Estamos ajustando poco a
  1398. 1:01:28poco a partir de una posición que fue
  1399. 1:01:31definida aleatoriamente o
  1400. 1:01:33arbitrariamente en este caso.
  1401. 1:01:35Ahora veamos el valor del intercepto,
  1402. 1:01:38-4.37,
  1403. 1:01:41que es muy similar a -4.38,
  1404. 1:01:45que es el valor que fue calculado con el
  1405. 1:01:47método de mínimos cuadrados. Y con eso
  1406. 1:01:50ya estamos nosotros optimizando nuestro
  1407. 1:01:54modelo de regresión lineal.
  1408. 1:01:57Ahora, un último detalle para aumentar
  1409. 1:02:00el entendimiento
  1410. 1:02:02de esta técnica. Vamos graficando los
  1411. 1:02:05errores. Estos errores que nosotros
  1412. 1:02:08almacenamos aquí. Entonces, yo ya aquí
  1413. 1:02:11tengo el código preparado para graficar
  1414. 1:02:14justo ese error. Simplemente lo vamos a
  1415. 1:02:18ejecutar y vean, arrancamos nosotros por
  1416. 1:02:21acá.
  1417. 1:02:22Pero nosotros arrancamos aquí y dimos un
  1418. 1:02:26primer paso. ¿Recuerdan cuando les dije
  1419. 1:02:28que el gradiente, además de darnos la
  1420. 1:02:32dirección hacia dónde tenemos que
  1421. 1:02:34avanzar, también nos daba la magnitud?
  1422. 1:02:36De aquí, que fue nuestro valor inicial
  1423. 1:02:38de 0 y -10, ¿recuerdan? Pues dimos un
  1424. 1:02:42brincotote. ¿Hasta dónde? Hasta acá. Y
  1425. 1:02:45como aquí ya nos empezamos a acercar al
  1426. 1:02:49valor mínimo, ya empezamos a dar pasos
  1427. 1:02:52más pequeños. Y obviamente aquí estamos
  1428. 1:02:54más cerca. Empezamos a dar pasos más
  1429. 1:02:56pequeños, más pequeños, más pequeños,
  1430. 1:02:58más pequeños, más pequeños, hasta que
  1431. 1:03:01eventualmente llegamos al mínimo de la
  1432. 1:03:05función del error, donde el valor de la
  1433. 1:03:08pendiente y del intercepto podrían ser
  1434. 1:03:12óptimos. Okay, aquí debo mencionar,
  1435. 1:03:15estamos nosotros optimizando a partir de
  1436. 1:03:18una función de error que es convexa, que
  1437. 1:03:21es el caso de los modelos de regresión
  1438. 1:03:24lineal. Sin embargo, no siempre es el
  1439. 1:03:28caso. Y tenemos nosotros mínimos locales
  1440. 1:03:31y mínimos globales. Sin embargo, ese es
  1441. 1:03:35tema de otro video. Si encontraron valor
  1442. 1:03:38en este video, por favor, denle un like.
  1443. 1:03:41Y si aún no se han suscrito, por favor,
  1444. 1:03:44consideren hacerlo. Mi nombre es Octavio
  1445. 1:03:46Gutiérrez. Hasta el próximo video.
  1446. 1:03:49Pa pa pa ra pa pa pa ra ra. Pa ra pa pa
  1447. 1:03:54pa ra pa ra ra ram.

About this transcript

This page contains the full transcript of Gradiente Descendente Paso a Paso con Python: Un Algoritmo de Optimización para Machine Learning by Codigo Maquina, generated from the public captions YouTube serves with the video. The transcript has 8,428 words across 1,447 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.