IA en la Justicia. Módulo 1. Lección 4 — Transcript

Full transcript

1. 0:01¿Cómo aprende una máquina?
2. 0:03Sobre el entrenamiento y la inferencia.
3. 0:07Quizá esta es la lección más técnica de
4. 0:09todo el módulo,
5. 0:10pero también es la más importante para
6. 0:13lo que viene después.
7. 0:15Porque si queremos analizar la
8. 0:17responsabilidad por un error de un
9. 0:18sistema de inteligencia artificial,
10. 0:21si queremos auditar un algoritmo o si
11. 0:23queremos impugnar una decisión
12. 0:25automatizada, es muy importante entender
13. 0:28el ciclo de vida de un modelo.
14. 0:31Todo comienza con datos.
15. 0:33Un modelo de aprendizaje automático
16. 0:35aprende a partir de un corpus de
17. 0:37entrenamiento,
18. 0:39que esto es un conjunto de datos que
19. 0:42puede ser enorme.
20. 0:43Los modelos de lenguaje más grandes se
21. 0:45entrenaron con cientos de miles de
22. 0:47millones de palabras,
23. 0:49texto de internet, libros, artículos
24. 0:51científicos, código de programación,
25. 0:54incluso documentos jurídicos.
26. 0:57Y aquí está la primera implicación
27. 0:59jurídica fundamental.
28. 1:01El modelo aprende los patrones que
29. 1:03existen en ese corpus.
30. 1:06Si el corpus refleja discriminación
31. 1:08histórica, el modelo va a aprender esa
32. 1:11discriminación.
33. 1:13No es un error
34. 1:14para el propio modelo, sino que es un
35. 1:16patrón que encontró y que para el modelo
36. 1:19es válido.
37. 1:20El ejemplo real más claro de esto es la
38. 1:23herramienta de reclutamiento de Amazon
39. 1:25que se desarrolló a partir de 2014.
40. 1:29La idea era buena,
41. 1:30un sistema que revisara los currículums
42. 1:33recibidos y calificara a los candidatos
43. 1:35de una a cinco estrellas para filtrar
44. 1:38automáticamente a los mejores.
45. 1:41Lo entrenaron con 10 años de currículums
46. 1:43que la empresa había recibido.
47. 1:45Y ahí estaba el problema.
48. 1:47Como la industria tecnológica está
49. 1:49dominada por hombres, la enorme mayoría
50. 1:52de sus currículums eran de hombres.
51. 1:54El sistema aprendió ese patrón y
52. 1:56concluyó que ser hombre era un factor de
53. 1:59éxito.
54. 2:00Empezó a penalizar los currículums que
55. 2:02incluían la palabra mujeres, por
56. 2:04ejemplo, capitana del equipo de fútbol
57. 2:06de mujeres,
58. 2:07y a degradar a las egresadas de
59. 2:10universidades exclusivamente femeninas.
60. 2:13Nadie programó esa discriminación.
61. 2:15El sistema la aprendió del corpus,
62. 2:18porque el corpus reflejaba un mundo
63. 2:21laboral ya desigual.
64. 2:23Amazon intentó corregir estos sesgos,
65. 2:26pero no lo logró de forma confiable y
66. 2:28terminó abandonando el proyecto.
67. 2:31Algo muy importante que tenemos que
68. 2:33tomar en cuenta
69. 2:34es que el corpus de entrenamiento no es
70. 2:37neutral y nunca lo será.
71. 2:39Fue recopilado por alguien con algún
72. 2:41criterio de selección en algún momento
73. 2:43histórico.
74. 2:44Esas decisiones de diseño tienen
75. 2:46consecuencias que se propagan a todo lo
76. 2:49que el modelo haga después.
77. 2:51Ahora hablemos sobre el proceso de
78. 2:52entrenamiento.
79. 2:55Una vez que tienes el corpus, el
80. 2:56entrenamiento funciona de la siguiente
81. 2:58forma, en términos muy esquemáticos.
82. 3:02El modelo empieza con parámetros
83. 3:04aleatorios,
84. 3:05millones de ellos en el caso de modelos
85. 3:08pequeños,
86. 3:09miles de millones en el caso de los
87. 3:11modelos más grandes.
88. 3:13Estos parámetros son los que determinan
89. 3:15cómo el modelo transforma un input en un
90. 3:18output.
91. 3:20El modelo procesa datos del corpus,
92. 3:22genera una predicción
93. 3:25y compara esa predicción con el
94. 3:26resultado correcto.
95. 3:29Una vez entrenado,
96. 3:31el modelo entra en lo que se llama fase
97. 3:33de inferencia.
98. 3:35En la inferencia, el modelo ya no
99. 3:36aprende,
100. 3:37aplica lo que aprendió a datos nuevos
101. 3:39que nunca había visto.
102. 3:41Recibes un input, el modelo procesa ese
103. 3:43input usando sus parámetros fijos y
104. 3:46genera un output.
105. 3:48Esta distinción entre entrenamiento e
106. 3:50inferencia es jurídicamente crucial,
107. 3:53porque el entrenamiento ocurre en el
108. 3:54pasado, usando datos históricos con
109. 3:57decisiones de diseño que alguien tomó
110. 3:59bajo ciertas condiciones técnicas y
111. 4:00normativas. Una vez que el modelo esté
112. 4:03entrenado, ese pasado está fijo.
113. 4:05La inferencia ocurre en el presente, con
114. 4:08consecuencias reales sobre personas
115. 4:10reales en tiempo real.
116. 4:13El daño ocurre en la inferencia,
117. 4:15pero la causa del daño puede estar en el
118. 4:17entrenamiento,
119. 4:18en el corpus sesgado,
120. 4:20en la función de pérdida mal definida,
121. 4:23en la decisión de incluir o excluir
122. 4:25ciertos datos,
123. 4:26en la elección de qué optimizar.
124. 4:29Eso significa que los actores
125. 4:30responsables del daño pueden ser
126. 4:32distintos de los actores que tomaron las
127. 4:34decisiones que lo causaron.
128. 4:36Y esas decisiones se tomaron meses o
129. 4:38años antes de que el daño ocurriera.
130. 4:43Pensemos por un momento en un ejemplo
131. 4:45muy concreto.
132. 4:47Un sistema que predice el riesgo de
133. 4:49incumplimiento en los contratos de
134. 4:51arrendamiento,
135. 4:52desarrollado por una inmobiliaria para
136. 4:55decidir a quién se le debe de alquilar
137. 4:57un departamento o una casa.
138. 5:01¿Quiénes intervienen en el ciclo de vida
139. 5:03de este sistema?
140. 5:05En primer lugar, la empresa que
141. 5:06desarrolló el modelo base.
142. 5:08Tomó decisiones sobre qué arquitectura
143. 5:11usar, cómo construir el corpus de
144. 5:13entrenamiento y qué métricas optimizar.
145. 5:16Luego tenemos a la empresa que adaptó
146. 5:19ese modelo base para la industria
147. 5:21inmobiliaria.
148. 5:23Utilizó ciertas técnicas con datos
149. 5:26específicos del sector y decidió qué
150. 5:28variables incluir.
151. 5:31Tercero, la inmobiliaria que lo
152. 5:33despliega.
153. 5:35Quién decidió usar ese sistema para
154. 5:38tomar decisiones de arrendamiento y
155. 5:40configuró los umbrales de decisión,
156. 5:43para al final determinar a quién sí y a
157. 5:45quién no rentarle.
158. 5:48Y cuarto, finalmente, el regulador que
159. 5:50supervisa o que decide no supervisar,
160. 5:54pues define el marco dentro del cual
161. 5:56todos los anteriores operan. Esto
162. 5:58también es una decisión de política
163. 6:01pública.
164. 6:03Cada actor en esta cadena tiene una
165. 6:05exposición jurídica diferente.
166. 6:07El desarrollador del modelo base podría
167. 6:10ser responsable si el corpus tenía
168. 6:12sesgos conocidos,
169. 6:14la empresa que lo adoptó si eligió
170. 6:16variables que funcionan como proxies
171. 6:18discriminatorios,
172. 6:20la inmobiliaria si usó el sistema sin la
173. 6:22debida diligencia,
174. 6:24y finalmente, el regulador, dependiendo
175. 6:27del marco normativo aplicable.
176. 6:30Este análisis de cadena de
177. 6:31responsabilidad es uno de los problemas
178. 6:34más interesantes y más difíciles del
179. 6:37derecho de la inteligencia artificial,
180. 6:40y todavía no tiene una solución simple.
181. 6:44Antes de pasar a la siguiente lección,
182. 6:46quiero que te quedes con tres ideas
183. 6:47concretas de todo esto.
184. 6:50Primera,
185. 6:51los errores de un sistema de
186. 6:53inteligencia artificial no son
187. 6:55aleatorios,
188. 6:56tienen causas que están en decisiones de
189. 6:58diseño, en los datos de entrenamiento,
190. 7:01en las métricas que se optimizaron, y
191. 7:03eso los hace analizables y, en
192. 7:05principio, atribuibles.
193. 7:10Segunda,
194. 7:11el momento del daño y el momento de la
195. 7:13causa pueden estar muy separados en el
196. 7:15tiempo.
197. 7:16Un modelo entrenado hace 2 años puede
198. 7:18estar causando daños el día de hoy con
199. 7:20decisiones basadas en datos que
200. 7:22reflejaban el mundo de hace 2 años.
201. 7:25Y tercera, la cadena de actores que
202. 7:27intervienen en un sistema de
203. 7:28inteligencia artificial es larga.
204. 7:31Identificar quién es responsable de qué
205. 7:33requiere entender qué decisiones tomó
206. 7:35cada actor, en qué etapa del proceso.
207. 7:39Y bueno, ahora que ya entiendes cómo
208. 7:41funcionan los modelos de inteligencia
209. 7:43artificial, vamos a ver para qué sirven
210. 7:46realmente en nuestra siguiente lección.