Como Tratar Dados Ausentes com Pandas — Transcript

Full transcript

1. 0:00fala galera que é o carlos melo do blog
2. 0:02sigmóide ponteia que não conhecem no
3. 0:04site é um blog o que eu falo muito sobre
4. 0:06plano deitassem se machine learning
5. 0:08então artigo muita coisa técnica com um
6. 0:10código com muito projeto de deitar site
7. 0:13também muita informação interessante
8. 0:14para quem é é quer saber mais dessa área
9. 0:17quer ser um cientista de dados por quer
10. 0:19saber mais sobre inteligência artificial
11. 0:21no vídeo de hoje é a gente vai tratar
12. 0:24desse tema como tratar dados ausentes
13. 0:27com bandas que está no posto também
14. 0:29estão aqui no vídeo vou dar um overview
15. 0:31uma visão mais geral quem quiser mais
16. 0:33detalhes por aqui no blog tá bem
17. 0:34explicadinho você tem todo o
18. 0:36código-fonte passo a passo
19. 0:38você tem um notebook dentro do beach
20. 0:40rami que você pode colar e executar no
21. 0:43seu próprio computador também ficou com
22. 0:45alguma dúvida ainda o manda uma mensagem
23. 0:46pra mim seja no instagram seja aqui pelo
24. 0:50comentário do vídeo mesmo entrando em
25. 0:52contato pelo formulário no site
26. 0:53tranquilo então aqui o pônei exatamente
27. 0:57aquele notebook está no beach rugby e o
28. 1:00que se tratam da dos ausentes é
29. 1:04inevitável você vai pegar um conjunto de
30. 1:06dados do mundo real vai tá faltando
31. 1:08informação em célula vai ter aquele
32. 1:10valor em a eni povo está incompleto e
33. 1:12vai ter que tratar
34. 1:13não adianta construir um modelo super
35. 1:15bom pra predição identificação por
36. 1:18qualquer coisa
37. 1:19se você não fizer um tratamento na fase
38. 1:20anterior e uma das dificuldades que
39. 1:23muita gente que está começando tempo é o
40. 1:26que eu faço com essas células eu elimino
41. 1:28eu preenchi o que eu faço
42. 1:30e aqui eu trouxe duas técnicas que por
43. 1:35funcionam bem pra caramba você vai
44. 1:37gostar ver que elas são fáceis e diretos
45. 1:38de aplicar e pra mostrar como é que faz
46. 1:42eu peguei esse conjunto de dados do
47. 1:43quero house press avança 2 bresh
48. 1:46technics e pela pm e do próprio quero e
49. 1:51importei aqui o conjunto de treino a
50. 1:54gente enquanto pandas a gente só vai
51. 1:56trabalhar com bandas colocar toda a
52. 1:57informação é um baita frame ea gente vai
53. 2:00ver que as primeiras entradas cada linha
54. 2:02uma entrada a gente tem quando as
55. 2:04colunas 81 colunas e aqui você pode ver
56. 2:07o com informações de de garagem se tem
57. 2:10piscina sendo tem piscina informação da
58. 2:12ce
59. 2:13casa da rua pavimentada ou não e a gente
60. 2:16já de para aqui o valor em a n
61. 2:19se você jogar o seu modelo é se você
62. 2:21jogar esses dados dentro do modelo desse
63. 2:23jeito ele vai lhe dá erro porque ele não
64. 2:26sabe trabalhar o site liniers aquilani
65. 2:29ele não trabalha com o valor ea eni
66. 2:31então a gente tem que fazer alguma coisa
67. 2:32em relação a eles é a primeira coisa que
68. 2:34a gente faz um projeto é identificar os
69. 2:36dados ausentes depois que a gente
70. 2:38importou ele como que a gente identifica
71. 2:40coloque o bacon a frame que a gente tem
72. 2:42que a gente importou ssv aqui em cima
73. 2:46chama o método isso não somos valores
74. 2:49para ele da informação por coluna e aqui
75. 2:51eu tô andando eles em ordem decrescente
76. 2:53só pra gente vê aqui eu tenho então as
77. 2:57colunas as variáveis que tem mais
78. 2:59valores ausentes de todas e o que eu vou
79. 3:02fazer como que eu vou lhe dar uma
80. 3:05primeira abordagem que eu posso ter é
81. 3:06excluir
82. 3:07só que quando eu escolhi um valor
83. 3:09ausente não excluo ele somente ou eu vou
84. 3:11excluir a linha inteira eu vou excluir a
85. 3:13coluna inteira e você tem que tomar
86. 3:15cuidado porque foi uma técnica uma
87. 3:17técnica mas se você você vai aplicar
88. 3:20quando se o seu conjunto de dados é
89. 3:22grande ea porcentagem de valores que
90. 3:25estão faltando é pequena
91. 3:27isso aqui pode ser uma coisa que você
92. 3:29vai fazer agora se ele tem um peso muito
93. 3:31grande no seu modelo uma correlação com
94. 3:33outras variáveis
95. 3:35se ele é uma porcentagem significativa
96. 3:38não é legal como eu excluo é as linhas
97. 3:42então que contém valores ausentes
98. 3:46eu vou chamar esse método drop n a então
99. 3:48é meu da prefeita frame ponto drop knee
100. 3:50a vou especificar dentro de subir 7
101. 3:53qualquer coluna que eu quero analisar e
102. 3:55o inglês é igual a outro significa que
103. 3:57eu tô substituiu too executando no lugar
104. 4:01mesmo não tenho que declarar uma
105. 4:02variável é igual a isso não eu fiz isso
106. 4:05pronto modificou
107. 4:06quando a gente chama e executa aqui
108. 4:09antes a gente tinha 1460 linhas agora a
109. 4:11gente tem 1.379 linhas
110. 4:14eu não estou mais com valor ausente pra
111. 4:15essa variável aqui qualquer outra
112. 4:18técnica que o que eu consigo fazer eu
113. 4:20consigo preencher os valores ausentes e
114. 4:23essa é mais recomendado é e atingir uma
115. 4:25outra dura
116. 4:26vou preencher com o que é um você pode
117. 4:29preencher com a média mediana freqüência
118. 4:32alguma outra informação que você queira
119. 4:34mas uma coisa que é muito adotada é a
120. 4:37mediana a mediana ela cai muito bem no
121. 4:39modelo acaba representando muito bem
122. 4:41aquela população que a gente pegou como
123. 4:44eu preenchi é da mesma maneira que eu
124. 4:46vou chamar o df ao deitar frame ponto
125. 4:49filme a e eu vou passar como argumento a
126. 4:52minha mediana então aqui o estréia
127. 4:55mediana df ponto coluna o nome da
128. 4:57variável ponto mediana
129. 5:00fechei parentes aqui eu chame places 4
130. 5:02novamente quando eu executo para checar
131. 5:05ó não tem nenhum valor ausente todos os
132. 5:08valores que estavam ausentes foram
133. 5:09substituídos pela mediana da queda
134. 5:10coluna beleza funcional com dado
135. 5:14numérico isso a minha coluna fosse
136. 5:16categórica que é categórica por exemplo
137. 5:18tem uma variável chamado sexo e eu tenho
138. 5:21as opções masculinos e é masculino e
139. 5:23feminino
140. 5:24elas não são numéricas como eu vou
141. 5:28substituir uma variável categórica eu
142. 5:31vou pegar os valores mais freqüentes
143. 5:33então como não perde valor mais
144. 5:34freqüente eu vou chamar o deitar frame
145. 5:37quando a coluna que eu quero a variável
146. 5:39ponto o velho counts é um método que ele
147. 5:41vai nos falar quantos em é quantas
148. 5:45entradas foram achados para aquela
149. 5:46variável
150. 5:47quando eu chamo aqui zero significa que
151. 5:49eu quero aqui apareceu mais
152. 5:51então beleza aqui eu tenho qualquer
153. 5:54variável que apareceu mais
154. 5:56eu uso de novo filme i a passo era
155. 5:58inglês iguatu e quando a gente vai ver
156. 6:01aqui ó
157. 6:01ok bacana a variável que apareceu mais é
158. 6:04o valor foi tea então todos os valores
159. 6:07que estavam ausentes agente substituiu o
160. 6:09substituiu com ela
161. 6:11então é o que eu falei no começo tem
162. 6:13muitos outros métodos muita coisa mais
163. 6:15avançada mas é isso daqui cai bem
164. 6:17principalmente no começo é muito feeling
165. 6:21é muita experiência muito conhecimento
166. 6:22intrínseco que você vai ganhando
167. 6:24conforme você vai fazendo um projeto de
168. 6:26libertar essas e eu passei aqui só a
169. 6:29noção para você saber que existe como
170. 6:32aplicar esse ficou muito rápidos são
171. 6:35conceitos muito novos para você
172. 6:37o recomendo você ir lá no blog procurar
173. 6:39esse ativo
174. 6:40falo aqui vai estar por cento cento e
175. 6:42detalhado vai ter a explicação do que é
176. 6:44cada coisa e você ainda pode piorar o
177. 6:46hit run me executar na sua máquina
178. 6:48tranqüilo é a última coisa eo público e
179. 6:52esse mês no primeiro e book 100%
180. 6:54gratuito falar na página inicial do site
181. 6:56você rodar para baixo como se tornar um
182. 6:59cientista de dados clicando aqui para
183. 7:01baixar o tenho certeza que vai ajudar
184. 7:03muitas informações que eu coloquei ali
185. 7:05informação de salários carreira como
186. 7:08você comece por onde você estuda com
187. 7:10algumas dicas de cursos gratuítos
188. 7:11tranquilo um abraço então até o próximo
189. 7:14vídeo valeu