Big Data Juan Zaffaroni — Transcript

Full transcript

1. 0:00Hola, soy Ezequiel Díaz, ingeniero en
2. 0:03sistemas de información y ayudante de
3. 0:05cátedra de la materia sistemas y
4. 0:07procesos de negocio de la UTN, Facultad
5. 0:10Regional Buenos Aires. Sean todos
6. 0:12bienvenidos a un nuevo video de la serie
7. 0:14sobre tecnologías disruptivas. En el día
8. 0:17de hoy contamos con la presencia de Juan
9. 0:19Safaroni, ingeniero en sistemas de
10. 0:21información de la UTN, Facultad Regional
11. 0:23Buenos Aires y CEO, fundador de Deandit,
12. 0:28empresa especializada en manejo de
13. 0:29datos. Esperamos que lo disfruten.
14. 0:34Bueno, bienvenido, Juan, muchas gracias
15. 0:36por sumarte. Primero que nada, queremos
16. 0:39que te presentes y nos cuentes cuál es
17. 0:42tu relación con Big Data de manera
18. 0:45profesional y académica también.
19. 0:48Dale. Bueno, mi nombre es Juan Safaroni.
20. 0:50Yo soy
21. 0:52docente de UTN desde hace 34 años de
22. 0:55gestión de datos, desde hace ya unos 15
23. 0:58casi o 13 de bases de datos no sequel y
24. 1:02fui docente un tiempo de diseño de
25. 1:04sistemas. Director de la diplomatura en
26. 1:07arquitecturas de big data en UTN de hace
27. 1:09ya 6 7 años. Y desde el año 2013 fundé
28. 1:12una empresa que se llama Devandit, que
29. 1:14se dedica exclusivamente a lo que es Big
30. 1:16Data Analytics. Empezamos allá en el
31. 1:192013 cuando muy pocas empresas hablaban
32. 1:22del tema y bueno, nosotros nos dedicamos
33. 1:23exclusivamente a eso. Así que desde ahí
34. 1:26a la fecha que vengo viendo tendencias y
35. 1:29todo lo que pasa en el mercado, venimos
36. 1:31trabajando.
37. 1:33Genial, o sea, empapadísimo de Big Data.
38. 1:36Vamos entonces directamente con las
39. 1:38preguntas. ¿Cómo describires el estado
40. 1:40actual de Big Data?
41. 1:42Bien, si nosotros vemos estos últimos
42. 1:4513, 14, 15 años, ha evolucionado mucho.
43. 1:48En este momento está en un estado,
44. 1:50digamos, de transformación debido a que
45. 1:52las empresas que originariamente lo que
46. 1:54hacían solamente era capturar datos y
47. 1:58llevarlos a un data leake, o sea, un
48. 2:00gran lago de datos. Imaginemos una gran
49. 2:02base de datos que contiene información
50. 2:04de distinto tipo de color. eh esas
51. 2:07empresas empezaron con esa con esos
52. 2:09datos que que almacenaron a procesarlos
53. 2:12y dar resultados y dar servicios
54. 2:14empresas. Entonces de ahí que digamos
55. 2:17actualmente en la industria hay muchos
56. 2:18servicios y muchas herramientas que
57. 2:20están pensadas y basadas en eh la
58. 2:24captura y después posterior análisis de
59. 2:26estos datos.
60. 2:27Dejando de lado eso, las herramientas
61. 2:29que se crearon en la industria para
62. 2:31manejar big data se fueron llevando a
63. 2:34través de las nubes a empresas que no
64. 2:36tienen problemas de big data. Digamos,
65. 2:38si vamos a la definición de big data son
66. 2:39datos que vienen a mucho volumen, mucha
67. 2:41mucha velocidad, son muy variados y son
68. 2:44difíciles de procesar con bases de datos
69. 2:46y sistemas tradicionales. Eso es lo que
70. 2:48es big data. Entonces, eh llevar
71. 2:51tecnologías que están pensadas para
72. 2:52procesar big data, empresas que no
73. 2:54tienen bigata, lo que hacen es que
74. 2:56puedan procesar más rápido los datos que
75. 2:59ellos tienen normalmente o tener una
76. 3:02herramienta que permita manejar historia
77. 3:04de su empresa en volumen cuando no lo
78. 3:06pudieran hacer de otra manera.
79. 3:09Clarísimo. Y bueno, acá ya ya
80. 3:12mencionaste un par de cosas de de las
81. 3:14bondades de big data. Si tuvieras que
82. 3:17destacar uno, ¿cuál dirías que es el
83. 3:19mayor beneficio de Big Data?
84. 3:22Bien, obviamente que dependiendo el
85. 3:25grado de madurez de la empresa, eh
86. 3:28dependiendo el el nivel de madurez que
87. 3:30tengan, obviamente todo lo que es el
88. 3:31procesamiento de grandes volúmenes de
89. 3:33datos para eh lo que es un análisis
90. 3:36predictivo, prescriptivo es un poco a lo
91. 3:38que uno apunta, digamos, ¿no? Pero
92. 3:41también hay muchas empresas que lo usan
93. 3:43para sus sistemas legas históricos,
94. 3:45poder llevarlos a una plataforma, los
95. 3:47puedan consultar habitualmente y no
96. 3:49tener que tenerlos por ahí en backups o
97. 3:51en datos que no los consultan, no los
98. 3:53pueden consultar casi nunca. Entonces,
99. 3:55digamos, como beneficio yo veo todo lo
100. 3:57que es la las posibilidades de analítica
101. 4:00avanzada, llamémosle así, y eh todo lo
102. 4:03que es el tratamiento de datos
103. 4:04históricos, que de otra manera los
104. 4:06tenían guardados, almacenados en backups
105. 4:08y nunca los podían consumir porque no
106. 4:09tenían dónde guardarlos.
107. 4:12Buenísimo. Vamos entonces ahora con algo
108. 4:15del libro. Yo acá tengo anotado que
109. 4:17nosotros mencionamos tres dimensiones de
110. 4:19análisis. el análisis descriptivo, el
111. 4:21análisis predictivo y el análisis
112. 4:23prescriptivo. ¿Cuál es la dimensión que
113. 4:25consideras que puede aportarle más valor
114. 4:28a una organización?
115. 4:30Bien, volviendo un poco a lo que te
116. 4:31decía antes, eh cuando uno analiza en
117. 4:34una empresa el nivel de madurez que
118. 4:37tiene la misma con respecto a la
119. 4:39analítica de datos, dependiendo el
120. 4:42estadío que esté la empresa, le va a
121. 4:43convenir una analítica descriptiva
122. 4:45tradicional, o sea, la analítica
123. 4:47descriptiva es que la cual me plantea lo
124. 4:50que está pasando o lo que pasó. Eh, y
125. 4:52después puede ser una una predictiva eh
126. 4:55si está en un estadido de madurez mayor
127. 4:57y una prescriptiva ya cuando ya viene
128. 4:59trabajando con predictivo hace tiempo,
129. 5:01porque básicamente se basa en la
130. 5:03predicción para decirte qué es lo que la
131. 5:04empresa debería hacer en función a lo
132. 5:06que eh va a ocurrir. Entonces, si vos me
133. 5:10decís depende el estado de madurez de la
134. 5:12empresa o le va a salir mucho más la
135. 5:15descriptiva, hay empresas que uno dice,
136. 5:17"Qué raro, que todavía no tiene
137. 5:18tableros, todavía y muchas empresas que
138. 5:20les pasa que tienen un Excel y van
139. 5:22tomando datos de donde pueden." Eh, y
140. 5:25hay otras que ya están mucho más
141. 5:26avanzado porque tienen muchos años de
142. 5:28business intelligence, para lo cual la
143. 5:29capa descriptiva la tienen cubierta y
144. 5:32ahí es donde la predictiva entra fuerte
145. 5:35y la prescriptiva, obviamente, los que
146. 5:36ya venían más avanzados aún.
147. 5:39Buenísimo. Ahora ya hablamos de que,
148. 5:42bueno, Big Data tiene que ver con altos
149. 5:45volúmenes de datos. ¿Te enfrentaste
150. 5:46alguna vez alguna complejidad propia de
151. 5:50tener que manejar de manejar volúmenes
152. 5:52excesivamente altos de datos e
153. 5:54información?
154. 5:56Y mira, nosotros cuando empezamos, y yo
155. 5:58te comentaba año 2013, 2014, las pocas
156. 6:01empresas que nos podían contratar eran
157. 6:02hotelcos, eh, o algo de gobierno
158. 6:06puntualmente. Nosotros empezamos
159. 6:07trabajando con la telco más importante
160. 6:09del país y con algunos gobiernos
161. 6:11latinoamericanos haciendo trabajos
162. 6:13puntuales. Eh, ahora de los problemas
163. 6:16más comunes, uno se uno cuando se van a
164. 6:19la nube es el costo, digamos, cuando uno
165. 6:21va a cualquier nube. La nube es un taxi
166. 6:24en definitiva, que cuando vos estás
167. 6:26diciendo, "Ah, mira, pero está bueno
168. 6:28irme a la nube X, no importa, eh, me
169. 6:31sale tanto." Bueno, eso multiplicarlo
170. 6:33por petabyte de información y vas a ver
171. 6:35el costo cómo se te va a multiplicar.
172. 6:37Eso por un lado. Otro lado es la calidad
173. 6:39del dato, la calidad que se tiene en
174. 6:41función a los volúmenes que vas
175. 6:43teniendo, que es muy difícil poder
176. 6:45ingestar y validar calidad a la vez,
177. 6:47para lo cual tenés que hacer trabajos de
178. 6:49que eh en distintos pipelines jugar, por
179. 6:52un lado, con la calidad cuando vas
180. 6:53jugando con la ingesta en tiempos,
181. 6:55digamos, asincrónicos, ¿no? O sea, estás
182. 6:58moviéndote como en líneas distintas. Eh,
183. 7:01después obviamente también el
184. 7:03almacenamiento, sobre todo las empresas
185. 7:04que estaban Prem. Cuando vos decís eh
186. 7:07tienen sus plataformas de manejo de big
187. 7:09data un PREM, eh, bueno, en algún
188. 7:11momento esas plataformas van a tener que
189. 7:12escalar. Cuando escala tenés que
190. 7:15requerir compra de hardware o evaluar
191. 7:17plataformas que te permitan escalar
192. 7:20horizontalmente, también crecer mayor
193. 7:22cantidad de servidores, digamos,
194. 7:24presumiendo costos en función a la nube
195. 7:27y también el ombre cuando vos tenés que
196. 7:28comprar escalamiento horizontal, que es
197. 7:30crecer en uno o más servidores y no
198. 7:33crecer solamente verticalmente en un
199. 7:34servidor. Y tercero, todo lo que hace a
200. 7:38los tiempos de ingesta, sobre todo
201. 7:40cuando es línea real time y la validez
202. 7:43de la calidad del dato.
203. 7:46Clarísimo. Y me gustó que ya lo
204. 7:48mencionaste un poco, el la complejidad
205. 7:50sobre la calidad de los datos. ¿Alguna
206. 7:52vez te enfrentaste a problemas de
207. 7:55veracidad o validez de los datos?
208. 7:58Y cuando uno trabaja en el mundo de data
209. 8:01sabe que uno de los puntos clave es
210. 8:03asegurar la calidad del dato. Acá en
211. 8:07estos últimos 10 años fue tomando mucha
212. 8:10más fuerza toda la parte de governance,
213. 8:12de data governance, que hace no
214. 8:14solamente a poder evaluar la calidad del
215. 8:16dato, sino también a evaluar y a conocer
216. 8:20el dato en sí de qué estás tratando y lo
217. 8:23que sería eh el linaje este dato, de
218. 8:26dónde viene, hacia dónde va. Eh,
219. 8:28obviamente que a nivel de calidad de
220. 8:29datos continuamente estamos viendo y
221. 8:31estamos teniendo problemas desde
222. 8:33desajustes por eh ingestas de datos que
223. 8:36se cortan, desde que te vienen mal de la
224. 8:39fuente, para lo cual a veces que la
225. 8:42calidad del dato no es inherente a big
226. 8:44data, no es inherente al data lake, eh
227. 8:46sino que es inherente a la fuente de
228. 8:48datos. Entonces, eh sinceramente, es un
229. 8:51tema que que afecta mucho, sobre todo
230. 8:53cuando eh el tipo de datos que estás
231. 8:57almacenando posteriormente va a ser
232. 8:59producto de un reporte eh gerencial o un
233. 9:03informe de repente para un desregulador
234. 9:04en el caso de alguna utilities. Bueno,
235. 9:06en ese tipo de cosas son clave. Entonces
236. 9:09eh ahí es donde nosotros tenemos que
237. 9:11trabajar muy fuertemente. Es o con
238. 9:13herramientas de mercado, los cuales se
239. 9:15permiten manejar y saber de esta calidad
240. 9:17del dato continua. eh y con procesos
241. 9:19adoc desarrollados para asegurar que
242. 9:22este dato eh sea sea correcto y
243. 9:25coherente. No sé, te puede decir un caso
244. 9:26una telcoco, en la cual los volumes de
245. 9:29datos estás hablando de 12,000 millones
246. 9:31de filas por día, por ejemplo, en
247. 9:32algunas tablas. Eh, imagínate cómo
248. 9:35aseguras la calidad de un dato en ese
249. 9:37volumen de datos. Y ahí, por ejemplo,
250. 9:38tenés que hacer a veces eh hablar de
251. 9:40porcentajes. Decí, bueno, si el
252. 9:42porcentaje de datos da más menos esto,
253. 9:45dalo como bueno. Eh, y estamos hablando,
254. 9:47por ejemplo, de decir si la cantidad de
255. 9:49de filas que tenías que cargar son las
256. 9:51correctas. Estás hablando de 12,000
257. 9:53millones. Bueno, eh, depende el día a la
258. 9:55semana. Entonces, se hace se hace
259. 9:57digamos eh un trabajo estadístico para
260. 10:00hacer un análisis por muestreo o por
261. 10:03volumen, por porcentaje, ¿no?
262. 10:07Clarísimo. Suena muy muy complejo, sin
263. 10:10dudas. Para ir cerrando y como última
264. 10:13pregunta, ya hablamos de, nos contaste,
265. 10:16bueno, de tu amplia experiencia,
266. 10:18hablamos del presente, ¿qué se viene?
267. 10:20¿Cuáles son las tendencias emergentes
268. 10:21que ves en el campo de la big data?
269. 10:24Bien. Eh, en mi caso, yo me recibí
270. 10:27ingeniero en el año 90 y mi última
271. 10:29materia fue inteligencia artificial,
272. 10:31pero en ese en esa época se veía
273. 10:32inteligencia artificial como algo eh que
274. 10:35vos veías en la eh por ahí o escuchabas
275. 10:38que IBM tenía una mega supercutadora que
276. 10:42le ganaba al campeón de ajedrez. veías
277. 10:44esas cosas en ese momento. Eh, creo que
278. 10:47la inteligencia artificial claramente eh
279. 10:49eh en el día de hoy está eh con muchas
280. 10:53más aplicaciones y se está dando eh la
281. 10:57posibilidad de tener respuestas a a
282. 10:59problemas reales de industrias. Eh y
283. 11:01creo que el camino va por ese lado, por
284. 11:03más que como todo como todo en en
285. 11:06sistema y en la vida hay modas, hay
286. 11:08modas y hay tendencias. Bueno,
287. 11:10claramente inteligente ref es una
288. 11:12tendencia que está para que vino para
289. 11:14quedarse. No sé, casos de nosotros
290. 11:16hicimos una aplicación que sacándole
291. 11:18fotografías a una a una herida te hace
292. 11:21eh la sugerencia diagnóstica, por
293. 11:23ejemplo, eh heridas heridas de la piel,
294. 11:25lesiones por presiones, caras, eh
295. 11:27úlceras eh venosas, arteriales, eh por
296. 11:30ejemplo, o tuvimos que analizar
297. 11:33documentos escritos para sacar
298. 11:34información y de eso poblar una base de
299. 11:36datos con indicadores que salían de esos
300. 11:38documentos. ese tipo de trabajos cada
301. 11:41vez se hace más o analizar las bases de
302. 11:43datos de la empresa y tomar información
303. 11:45para después con algún motor del LM como
304. 11:47puede ser CH GPT eh llama o o Mistral eh
305. 11:51poder ante preguntas que una persona de
306. 11:54la empresa hace bucear en bases de datos
307. 11:56vectoriales y tener la información, o
308. 11:58sea, cada vez más eh lo que es eh la
309. 12:02inteligencia artificial está dando
310. 12:04respuestas a problemas que tienen las
311. 12:06empresas diariamente. Entonces, creo que
312. 12:08por ese lado eh viene más toda la
313. 12:11tendencia, dejando de lado que lo que es
314. 12:13la captura, almacenamiento,
315. 12:15procesamiento más tradicional está muy
316. 12:18fuerte y las nubes están muy fuertes,
317. 12:20por más que en este último tiempo ya
318. 12:22empieza a haber un mix entre el
319. 12:25procesamiento en nube versus el
320. 12:27presentamiento a un premis como un
321. 12:29trabajo mixto. Así como hace 5 o 6 años,
322. 12:32todos estaban yendo a las nubes, eh, y y
323. 12:35y muchas empresas estaban llevando todo
324. 12:38su su área de data a la nube. Todavía se
325. 12:41está viendo que empresas, sobre todo más
326. 12:43grandes, por lo que hablamos al
327. 12:44principio, los costos, están empezando a
328. 12:46eh a tener parte un premio y parte en la
329. 12:49nube jugando con depende qué es lo que
330. 12:51yo necesito hacia mis clientes finales o
331. 12:54qué necesito que crezca por ahí por un
332. 12:56producto o proyecto nuevo que yo no sé
333. 12:58cómo va a escalar. Entonces, juego en la
334. 13:00nube y cuando ya lo tengo eh más maduro,
335. 13:03lo bajo un premio. O sea, tenés está
336. 13:05viendo eh de las dos opciones. Con esto
337. 13:08un poco eh creo yo que son los dos
338. 13:10puntos que que más tenemos, todo lo que
339. 13:12es inteligencia artificial, sobre todo
340. 13:14con inteligencia artificial generativa y
341. 13:17la ya el posicionamiento del
342. 13:19procesamiento de big data en las
343. 13:21empresas medianas y grandes.
344. 13:25Buenísimo. Y la verdad que muy
345. 13:27interesante que hayan mencionado justo
346. 13:29inteligencia artificial y tanto hincapié
347. 13:32en lo que es la nube cloud computing,
348. 13:34porque son invitaciones también para
349. 13:37todos a ver los videos de la serie sobre
350. 13:40esos temas. Así que todo todo está
351. 13:42conectado y está buenísimo. Juan,
352. 13:44agradecerte muchísimo por tu
353. 13:47participación, por tu tiempo y te cedo
354. 13:50unos últimos instantes para el cierre
355. 13:52que quieras hacer y últimos comentarios.
356. 13:56Bueno, bien. Eh, yo digamos lo que
357. 13:58nosotros tratamos siempre de hablar
358. 14:00cuando hablamos sobre todo con empresas
359. 14:01y obviamente en el mundo académico
360. 14:03también es es el hecho de entender de
361. 14:07las tecnologías que necesitamos para
362. 14:09digamos para nuestro caso puntual. O
363. 14:11sea, poder eh no ir a a lo que es el
364. 14:14genérico o o o lo el estándar, sino ver
365. 14:18qué casos tenemos, qué casos de negocio
366. 14:20tenemos y a partir del caso de negocio o
367. 14:22el caso de uso que yo tenga ver cuál es
368. 14:24la mejor solución. O sea, pasa muchas
369. 14:27veces que siempre hay empresas que van,
370. 14:29ah, bueno, esto es lo que está usando
371. 14:31todo el mundo, ¿no? Creo que está bueno
372. 14:33y cada vez más está pasando que viendo
373. 14:36nuestros casos de negocio, por eso hay
374. 14:38que trabajar primero en eso, a partir de
375. 14:40ahí veas cuál es la mejor tecnología que
376. 14:41te lo va a resolver y puede ser
377. 14:43tecnologías pensadas para big data o no,
378. 14:45no todo, no todo, eh, no todas las
379. 14:48empresas requieren de tecnologías
380. 14:50orientadas a Big Data.
381. 14:52Buenísimo. Gracias, Juan, una vez más.
382. 14:55Gracias a todos los que están del otro
383. 14:56lado. Esperamos que les haya gustado el
384. 14:58video y los invitamos a seguir viendo
385. 15:01los videos de la serie. Gracias a todos.