donnée immobilier 1 — Transcript

Full transcript

1. 0:00Imagine-toi, tu veux vendre ton bien
2. 0:01immobilier, tu te rends sur une page en
3. 0:04ligne, tu donnes la superficie, tu
4. 0:06donnes le nombre de pièces, l'état du
5. 0:09bien, la distance au centreville et puis
6. 0:13l'outil qui est basé sur l'intelligence
7. 0:15artificielle te donne un prix par
8. 0:17exemple 42000, ça donne par exemple 4200
9. 0:20€ tu es tout content mais quand tu vas
10. 0:22en réalité en fait le bien vaut
11. 0:24peut-être 3200 € ou alors le bien vaut
12. 0:27500000 €. On voit bien que euh le
13. 0:30décalage est énorme. Alors, la question
14. 0:32qu'on peut se poser ici, c'est que
15. 0:34est-ce que on peut faire confiance à
16. 0:37l'intelligence artificielle pour estimer
17. 0:40le prix d'un bien ? Moi, c'est William,
18. 0:43ingénieur logiciel BAS en Allemagne. Je
19. 0:45suis le fondateur de cette chaîne GM
20. 0:47coach. Cette chaîne, on parle de
21. 0:49l'école, on parle d'éducation, on parle
22. 0:51de l'intelligence artificielle et de
23. 0:54tous les métiers qui touchent au
24. 0:56numérique. Je dis déjà merci. Merci à
25. 0:59personnes qui s'abonnent. OK, on a
26. 1:00commencé à faire des vidéos, deux vidéos
27. 1:03par semaine, ce qui est super. Le nombre
28. 1:05d'abonnés a déjà triplé. Je dis vraiment
29. 1:08merci de tout cœur à toutes les
30. 1:10personnes qui nous suivent. Je m'adresse
31. 1:12ici aux parents, je m'adresse aux
32. 1:13jeunes, je m'adresse aux personnes
33. 1:15curieuses, à des personnes qui veulent
34. 1:17apprendre à coder. Je dis vraiment
35. 1:18merci. Aujourd'hui, on revient parce que
36. 1:21tous les mardis, on a commencé mardi
37. 1:23passé, on va ensemble mettre en place un
38. 1:27modèle IR qu'on va entraîner. OK ? On va
39. 1:29voir un peu étape par étape des
40. 1:31processus comment entraîner une IA et
41. 1:33rendre vraiment les données que l'IA va
42. 1:36prédire vraiment intéressante. Ça c'est
43. 1:38notre défi qu'on qu'on s'est lancé.
44. 1:41Alors si vraiment ça t'intéresse, écris
45. 1:43en commentaire. Ça m'intéresse. Je veux
46. 1:46participer activement à ce défi. Mettre
47. 1:48en place avec Python une IA qui qu'on va
48. 1:51entraîner ensemble et puis lui demander
49. 1:55de nous donner le prix d'un appartement
50. 1:57et puis voir confronter avec la réalité
51. 1:59si vraiment Monia dit la vérité, fait
52. 2:03des belles prédictions. La dernière
53. 2:05fois, la dernière vidéo, on a utilisé,
54. 2:07on avait cinq entrées. On avait la
55. 2:09superficie, on avait la localisation, le
56. 2:13nombre d'étages rien le bien est soutié
57. 2:16sur quel étage. On a aussi le kilomètre,
58. 2:18le nombre de kilomètres, la position du
59. 2:21bien par rapport au centre-ville. On
60. 2:23avait aussi l'état du bien. Est-ce que
61. 2:25c'est rénové ou pas ? Et forcément, on
62. 2:27avait le prix le prix du bien. Basé avec
63. 2:30ça, on a essayé de faire une première
64. 2:31estimation. Aujourd'hui, on ne fera pas
65. 2:33de code, il n'y aura pas de code à
66. 2:35présenter et on verra l'importance des
67. 2:38dataset, l'importance des données. Ce
68. 2:41qui m'amène à parler de la phrase
69. 2:44centrale. Vraiment, quand on parle de
70. 2:46machine learning, en fait ce qui est
71. 2:47plus important, ce n'est pas
72. 2:49l'algorithme qu'on va utiliser. Que tu
73. 2:51utiliser le py ou bien ton of flow ou
74. 2:55bien système neuronal, c'est pas ce qui
75. 2:58est plus important. C'est vraiment ce
76. 2:59qui est important de mon point de vue,
77. 3:01c'est la qualité des données. Parce que
78. 3:03si tu utilises des mauvaises données,
79. 3:05des données fausses et aujourd'hui, on
80. 3:07va voir à quoi ressemble une mauvaise
81. 3:09donnée. Si tu utilises les mauvaises
82. 3:11données pour entraîner ton modèle, ne
83. 3:13t'inquiète pas, c'est que à la fin tu
84. 3:15auras tu auras une intelligence
85. 3:18artificielle qui va donner aussi des
86. 3:19jolis chiffres, mais ces chiffres ne
87. 3:22seront malheureusement pas corrects.
88. 3:24D'où l'importance de cette vidéo la
89. 3:27prendre vraiment son temps, même s'il
90. 3:29faut prendre 2 jours, 3 jours, une
91. 3:31semaine, un mois pour vraiment passer au
92. 3:34painf tes données, les épurer avant de
93. 3:37passer au codes, c'està-dire à
94. 3:39l'entraînement de ton système. Parce que
95. 3:40il n'y a rien de mauvais d'avoir une qui
96. 3:44est entraîné sur des valeurs fausses. Ça
97. 3:47vraiment c'est le point central. C'est
98. 3:49vraiment j'insiste dessus la qualité de
99. 3:51tes données vraiment du tout. Du coup,
100. 3:54ça m'amène au prochain point qui est à
101. 3:56quoi ressemble un mauvais dataset ?
102. 4:00J'espère que quand je parle de dataset,
103. 4:02on sait ce que je vais dire. En
104. 4:04commentaire, s'il vous plaît, écrivez en
105. 4:06commentaire écrivez en commentaire c'est
106. 4:08quoi un dataset ? Qui peut me dire en
107. 4:10commentaire ce qui veut dire un dataset
108. 4:13? Alors, on va regarder ensemble un
109. 4:15mauvais dataset. Par exemple, tu as par
110. 4:17exemple le bien 1, un appartement OK de
111. 4:2160 m², le prix le lieu la ville Berlin,
112. 4:24le prix tu dis par exemple 300000 €. Un
113. 4:272è appartement tu dis 60 m², le lieu
114. 4:31Berlin tu donnes 900000 €. Un 3e bien,
115. 4:34tu dis Munique, il n'y a pas de prix.
116. 4:37OK, on peut prendre un 4e bien 60 m² en
117. 4:40bour, tu dis 1200. Voilà. Donc voilà par
118. 4:44exemple un exemple de dataset avec des
119. 4:47données vraiment erronées. Et je vais
120. 4:49dire pourquoi ces données sont
121. 4:50mauvaises. Parce que quand on va la
122. 4:52définition de la machine learning,
123. 4:53comment ça se passe ? Dans les précées
124. 4:55vidéos, j'ai expliqué c'est quoi la
125. 4:57différence entre la programmation
126. 5:00classique et la machine learning. La
127. 5:02programmation classique, les règles sont
128. 5:03claires. C'est toi le développeur qui
129. 5:06tes règles. OK ? Donc quand tu donnes
130. 5:07les inputs, quand tu donnes les entrées,
131. 5:09ça suit seulement ton algorithme, ça
132. 5:11suit seulement tes règles et puis ça
133. 5:13donne output clair. Mais le foncement de
134. 5:16la machine learning est complètement
135. 5:17différente. La machine s'entraîne à
136. 5:20partir de tes données. Donc quand tu
137. 5:22vois un dataset pareil ou tu donnes la
138. 5:24superficie, tu donnes la ville et tu
139. 5:26donnes le prix, la machine va apprendre
140. 5:28comme ça. La machine va se dire "En fait
141. 5:29le prix ici varie seulement à partir de
142. 5:32deux critères, la ville et le mètre
143. 5:34carr." Donc la machine, elle ne peut pas
144. 5:37se dire qu'OK, le bien aussi peut le
145. 5:39prix du bien peut varier en fonction par
146. 5:41exemple de la rénovation. Ça veut dire
147. 5:43que la machine elle ignore la
148. 5:44rénovation. Donc ton bien soit pourri,
149. 5:47que ton bien soit neuf, c'est pas
150. 5:49important cette entrée. Ou bien la
151. 5:51position, ou bien même la ville, bien le
152. 5:53quartier par exemple. Parce que quand
153. 5:55une grande ville comme Berlin ou bien
154. 5:57comme Muni, je pense que en fonction du
155. 5:59quartier, le prix du bien est aussi
156. 6:01différent. Mais tu ne mentionnes pas ça
157. 6:04dans tes dataset. Donc la machine aussi,
158. 6:06bon ta machine que tu as entraîné ne
159. 6:08sera pas également. Et surtout ce qui
160. 6:10est encore très grave, c'est ici par
161. 6:12exemple où tu as un 60 m² et tu as
162. 6:15munique et tu n'as pas de prix. La
163. 6:17machine aussi va dire "OK, la machine va
164. 6:19aussi apprendre comme ça." Donc voilà un
165. 6:21exemple de logo, c'est vraiment un logo.
166. 6:24C'est vraiment un logo vraiment avoir
167. 6:26des données pareil ou bien des doublons
168. 6:28ou bien des données où il n'y a pas de
169. 6:29prix. Ça n'a c'est même pas la peine de
170. 6:31commencer à entraîner ta machine avec de
171. 6:34telles données. Ce qui m'amène à
172. 6:37maintenant à voir c'est à quoi
173. 6:39ressemblent des bonnes données parce
174. 6:46immobilière ? Une bonne linée
175. 6:47immobilière comme on dit, elle doit
176. 6:49avoir un minimum. OK ? Surtout quand on
177. 6:52parle de des immobiliers, il faut
178. 6:55absolument qu'il ait d'abord la ville.
179. 6:58OK ? Parce que ça dépend des villes. Vo
180. 6:59dans les villes, il y a encore des
181. 7:00quartiers. Donc il y a des quartiers à
182. 7:03Berlin. Berlin qui est une très grande
183. 7:04ville, la capitale. Il y a N, il y a
184. 7:06Nicol, il y a plein de plein plein de
185. 7:08quartiers. OK ? Donc la ville, elle est
186. 7:10[raclement de gorge] importante. OK. Le
187. 7:12quartier, comme je dis, la superficie
188. 7:14qui est importante, ça doit être là. Il
189. 7:16faut que ce soit donné la superficie, le
190. 7:18nombre d'étages. OK, ça peut jouer aussi
191. 7:21sur le prix, l'état du bien. Est-ce que
192. 7:22ça a été rénové et quand donc par ça
193. 7:25peut jouer aussi sur le prix. OK, c'est
194. 7:27très important. OK, le type est-ce que
195. 7:29c'est un appartement ? Est-ce que c'est
196. 7:31une maison mitoyenne ? Est-ce que est-ce
197. 7:34que ça c'est important, ça joue sur le
198. 7:36prix et effectivement le prix donc au
199. 7:38moins avec c'est une 2 3 4 5 6 7 input
200. 7:43information. Donc c'est de cette valeur
201. 7:45là déjà est déjà une très bonne base
202. 7:48pour entraîner ton modèle. D'où
203. 7:51l'importance de la qualité des données.
204. 7:53OK donc ce qui m'amène alors à parler à
205. 7:56passer sur au prochain point qui sont
206. 7:58quelles sont les erreurs les erreurs du
207. 8:00débutant bien les erreurs récurrentes.
208. 8:02OK ça me permet de d'introduire le
209. 8:04prochain point. C'est quoi les données
210. 8:05récurrentes ? OK. Quand on se lance dans
211. 8:08ce dans ce domaine, ouais, on va prendre
212. 8:11on va prendre Elia et tout ça, c'est
213. 8:13qu'on ce qu'on veut faire, ce qu'on va
214. 8:15apprendre. On fait ses premiers pas.
215. 8:16Donc parfois on invente des données, on
216. 8:19dit par exemple intelligent artificiel
217. 8:21donne-moi les données comme ça là. OK,
218. 8:23c'est bien mais c'est bon juste de
219. 8:25manière pédagogique pour commencer. Mais
220. 8:26si tu veux vraiment entraîner ton
221. 8:28modèle, non, je te déconseille
222. 8:30d'inventer les données. Comme j'ai dit,
223. 8:32en fonction de ce que tu lui donnes, lui
224. 8:34il va juste prendre de tes inputs, hein.
225. 8:36Et ne sois pas étonné que après ça te
226. 8:39donne juste voilà quelque chose juste
227. 8:40pour apprendre, hein, pour essayer, mais
228. 8:43tu ne pourras rien faire avec. Oui. Donc
229. 8:45avant d'entraîner ton modèle, il faut
230. 8:48d'abord traiter tes dataset, donc tes
231. 8:51données. Donc la première erreur c'est
232. 8:54inventer des données. La deuxième erreur
233. 8:56c'est bon, il y a plein de sites hein.
234. 8:57Tu peux aller à IMO 24, tu peux aller
235. 9:01dans plan de données là où tu peux faire
236. 9:03ce qu'on appelle sur un grap. tu vas, tu
237. 9:05récupères les données, tu mets dans un
238. 9:07tableau Excel, tu ne regardes même pas
239. 9:09trop et puis tu commences à dire "OK,
240. 9:11moi j'ai à peut-être 1000 ou bien 2000
241. 9:15[raclement de gorge] données donc je
242. 9:16peux commencer à entraîner mon modèle."
243. 9:17Non, aussi il faut faire attention avec
244. 9:19des annonces parce que parfois c'est
245. 9:21tout le monde qui peut faire une annonce
246. 9:22hein. Rien ne te rien ne te fait ne peut
247. 9:25te dire que l'annonce que tu as vu
248. 9:27là-bas est vraiment bonne. Non, rien du
249. 9:29tout. Donc peut-être c'est mieux d'aller
250. 9:31par au cadastre, dans les sites où il y
251. 9:33a des statistiques. Il y a certains
252. 9:35sites bien précis où on peut vraiment
253. 9:37avoir des meilleures données. OK d'aller
254. 9:39juste sur le net et drape et puis se
255. 9:42dire que tu vas entraîner ton modèle
256. 9:44avec. C'est pas la bonne faute. Et puis
257. 9:46la troisème erreur, c'est justement ça,
258. 9:48c'est vraiment ce qu'on fait souvent,
259. 9:49c'est que on fait une moyenne globale.
260. 9:51On se dit bon voilà pour la ville de
261. 9:53Berlin euh en mètre carré à peu près le
262. 9:58prix est de voilà, on fait de manière
263. 10:00globale. Donc la grosse ville de Berlin,
264. 10:02on se dit que le mètre carré en moyen
265. 10:04des appartements euh c'est à peu près
266. 10:07des appartements d'un certain âge. Voilà
267. 10:09à peu près le prix. C'est avec ça qu'on
268. 10:11travaille. Vous voyez que si là c'est
269. 10:13pas bon du tout. C'est pas bon du tout.
270. 10:16Alors ce qui me pousse maintenant à
271. 10:17introduire la bonne voilà la bonne
272. 10:20démarche. Quelle est la bonne démarche ?
273. 10:22Bon selon moi, la bonne démarche
274. 10:23vraiment c'est simple hein, c'est de
275. 10:25commencer petit. Je veux pas commencer
276. 10:27par Munich, je veux pas commencer par
277. 10:28Berlin, je veux pas commencer par
278. 10:30Ambourg, je veux commencer par une
279. 10:31petite ville parce qu'en fait comme je
280. 10:33dis l'IA c'est pas la margie.
281. 10:35L'intelligence artifice c'est pas la
282. 10:36margie. Commencer par une petite ville.
283. 10:38OK, ça peut une petite ville même de
284. 10:401000 habitants ou tu peux vraiment
285. 10:42sectionner OK petite ville. Je veux le
286. 10:45les quartiers de ma petite ville, la
287. 10:47superficie. OK. L'état du bien, le
288. 10:50nombre d'étages, l'ignement à au
289. 10:53centreville. Je commence d'abord petit
290. 10:55comme ça là. Après autour là autour de
291. 10:57cette ville qu'on appelle en allemand
292. 10:59les crise. OK, je regarde maintenant en
293. 11:02fait après je l'étends un peu et en
294. 11:04faisant ça franchement je donne d'abord
295. 11:06les meilleures données, les meilleurs
296. 11:07dataset à mon modèle. Je commence
297. 11:09d'abord petit. Je veux pas commencer par
298. 11:11quelque chose de grand, je commence
299. 11:12d'abord petit parce que la qualité des
300. 11:14données aussi que j'utilise pour
301. 11:16entraîner mon modèle après me donne
302. 11:18aussi une meilleure estimation. Donc
303. 11:21c'est pour ça que l'approche la
304. 11:22meilleure approche selon moi est de
305. 11:23commencer toujours vraiment petit par
306. 11:25des petites villes. OK ? Ensuite je
307. 11:28progresse. OK, ça c'est vraiment très
308. 11:30important. Alors du coup allons au
309. 11:32prochain point où on va faire par
310. 11:33exemple pour résumer tout ce que j'ai
311. 11:35dit là, on va faire une sorte de
312. 11:36checklist. On checklist. Alors quand tu
313. 11:39collectionnes tes données chose que tu
314. 11:40vas regarder, tu regardes d'abord s'il y
315. 11:42a un prix parce que comme je dis c'est
316. 11:44très important parce que tu es en train
317. 11:45on est en train de vouloir construire
318. 11:46une IA qui prédit les prix d'un bien
319. 11:50immobilier. Le prix de vente immobilier.
320. 11:52Alors, tu ne peux pas avoir un dataset
321. 11:53avec des prix qui n'existent pas. OK ?
322. 11:56Tu as peut-être un mètre carré, tu as le
323. 11:58quartier, tu as le la superficie, tu as
324. 12:00le nombre d'étages, tu as est-ce que
325. 12:02c'est un balcon ou pas, l'éloignement du
326. 12:04centre-ville,
327. 12:06est-ce que c'est quel type d'appartement
328. 12:07? Est-ce que c'est une maison ? Est-ce
329. 12:09que c'est un appartement ? Et puis tu
330. 12:11n'as pas de prix. Donc c'est un logo.
331. 12:12Donc là déjà quand tu vois ça, tu
332. 12:14supprimes [raclement de gorge] ou bien
333. 12:15ça n'a pas le mètre carré. Comment
334. 12:16est-ce que tu peux vendre un appartement
335. 12:18où le l'entrée mètre carr n'existe pas ?
336. 12:21Ou bien tu as les données comme par
337. 12:23exemple 0 m² ou 1 m² ou 5 m² avec un
338. 12:27prix. Je ne sais pas où c'est si c'est
339. 12:29possible de vendre 5 m² un appartement
340. 12:31de 5 m² et il y a un prix dessus, je
341. 12:33sais pas, peut-être ça existe mais un
342. 12:35appartement de 5 m². Donc déjà les
343. 12:37données triviales là un peu fausses tu
344. 12:40dois carrément l'enlever. Ça doit pas
345. 12:42être là. Donc il y a les données qui
346. 12:44sont aux yeux ou bien par exemple tu as
347. 12:46les données où il n'y a pas les
348. 12:47localisations où on ne sait pas où ça se
349. 12:49trouve. Voilà, on ne sait pas, il n'y a
350. 12:51pas le nom de la ville ni le quartier.
351. 12:52Donc ça aussi tu supprimes. Et très
352. 12:54important, il ne doit pas avoir les
353. 12:56doublons. Et ça arrive voir ça arrive
354. 12:58très facilement les doublons. Ça aussi
355. 12:59il faut les enlever. Il faut
356. 13:01complètement supprimer les doublons. Et
357. 13:03aussi parfois parfois c'est ça parce que
358. 13:05quand tu as une grande quantité de
359. 13:06données si tu as peut-être 1 million de
360. 13:08données parfois ça peut te échapper.
361. 13:09Est-ce qu'il s'agit d'un appartement à
362. 13:12vendre ou un bien locatif ? Généralement
363. 13:15si d'erreurs glissent facilement. Tu ne
364. 13:17t'en rends pas compte qu'en fait en fait
365. 13:18c'était pas un bien à vendre, c'était
366. 13:20plutôt pour louer et tu n'as pas fait
367. 13:22attention. Et là tu entré, tu as tu mets
368. 13:24ça à ton dat pour entraîner ta machine,
369. 13:26tu vois ? Et ça crée des gros problèmes.
370. 13:29Si on me pose la question, OK, est-ce
371. 13:32que la question centrale, est-ce que je
372. 13:34peux utiliser l'IA pour prédire mon bien
373. 13:38immobilier, pour prédire le prix de
374. 13:40vendre mon bien immobilié ? À cette
375. 13:41question, je peux répondre par un oui si
376. 13:44et seulement si. OK, j'ai pris le temps
377. 13:47d'analyser toutes mes données. Il faut
378. 13:49que mes données valident un monster.
379. 13:53Valider un temple bien précis. OK ?
380. 13:55Puisque j'ai parlé ici par exemple des
381. 13:58bonnes dataset. OK ? Et il faut que ça
382. 14:00respecte les bonnes dataset. Donc aussi
383. 14:02comme j'ai dit que je commence petit, je
384. 14:04veux pas prendre carrément mon dataset
385. 14:07de toute l'Allemagne et commencer à
386. 14:08travailler avec. Ça n'a pas de sens. Je
387. 14:10veux commencer vraiment par une petite
388. 14:12ville. Ensuite, j'agrandis, ainsi de
389. 14:14suite, ainsi de suite. Justement, je me
390. 14:16rassure où est-ce que je vais chercher
391. 14:17ces données ? Je dois chercher dans les
392. 14:19endroits, on connaît les endroit
393. 14:21stratégique dont la fiabilité de nez ne
394. 14:23pose qu'un doute par exemple. Du coup,
395. 14:25j'annonce à la prochaine séance hein.
396. 14:27Cette séance aujourd'hui, on a dit qu'on
397. 14:28on monte, je ne monte pas de côte. OK ?
398. 14:30Il n'y a pas de côte. Aujourd'hui, on
399. 14:32parlait juste d'un point central qui est
400. 14:35tout simplement la qualité des données.
401. 14:37J'insiste sur moi du coup, je te pose
402. 14:39une question toi qui me regarde. OK ?
403. 14:41N'oubliez pas de vous abonner. Toi qui
404. 14:43me regardes, je te pose la question.
405. 14:45Toi, tu dirais quoi ? Est-ce que c'est
406. 14:47possible de faire confiance à
407. 14:49l'intelligent artificiel juste avec le
408. 14:52nez ? Ça peut ça te permet de prédire de
409. 14:54prédire le prix d'un appartement. Mets
410. 14:56ta réponse en commentaire.