Delineamento Experimental - Parte 3: Vieses na Ciência — Transcript
Full transcript
- 0:00continuando com a parte 3 agora a parte
- 0:03mais subjetiva
- 0:04estão os viésis a partir de descrição
- 0:09dos resultados a gente já cobriu o Rive
- 0:12resolve uma boa parte disso se as
- 0:15pessoas seguirem essas recomendações ou
- 0:18o máximo possível
- 0:20mas ainda a gente precisa que os nossos
- 0:23resultados sejam robustos e
- 0:25generalizáveis quais são os problemas da
- 0:29e reprodutibilidade a gente tem um uso
- 0:31inapropriado de animais gasto de verba
- 0:35perda de tempo e frustrações em
- 0:37perspectivas de tratamento tem um
- 0:40tratamento para alguma doença que parece
- 0:42muito promissora em modelos animais e aí
- 0:44a gente vai testar em humanos não tem
- 0:49efeito a gente vai testar em outros
- 0:50modelos animais não tem efeito então é
- 0:53importante que os nossos resultados
- 0:54sejam já de início bastante robustos e
- 0:57generalizáveis
- 1:00como resolver esse problema não temos
- 1:03uma solução infalível tem aspectos
- 1:06inerentes aos incentivos de publicação
- 1:09Então a gente tem coisas como status égo
- 1:12mesmo as pessoas querem publicar porque
- 1:14isso acaba sendo uma moeda social
- 1:16inclusive isso tem efeito no currículo e
- 1:20sim o currículo vai envolver o
- 1:21financiamento para o próximo projeto
- 1:23quanto mais você publica é mais provável
- 1:26que você consiga financiamento para
- 1:28publicar mais em muitos locais do mundo
- 1:31o pagamento do próprio salário vem do
- 1:34financiamento do projeto Como assim
- 1:36temos um professor nos Estados Unidos o
- 1:39departamento banca 50% do salário o
- 1:43restante é bancado por Grant de pesquisa
- 1:46como que ele consegue doente de pesquisa
- 1:48tendo publicações então aí a gente tem
- 1:51um incentivo para publicação que pode
- 1:54atrapalhar a gente conseguir ter
- 1:57resultados
- 2:00acaba gerando vieses de publicação por
- 2:04exemplo esse mesmo tipo de incentivo
- 2:07ocorre nas revistas que publicam os
- 2:09artigos científicos as revistas querem
- 2:12que artigos de alta qualidade sejam
- 2:15publicados e artigos que acabem sendo
- 2:18muito citados porque isso vai aumentar o
- 2:21fator de impacto da revista e aumentar o
- 2:23prestígio da revista então isso todos
- 2:26mais chamativos com resultados positivos
- 2:29detecção de efeitos que aconteceram
- 2:32diferenças estatisticamente
- 2:33significativas acabam tendo uma certa
- 2:36prioridade na publicação e resultados
- 2:39com resultados negativos acabam tendo
- 2:42maiores exigências do que os estudos com
- 2:45resultados positivos
- 2:49e aqui a gente tem alguns padrões na
- 2:52nossa análise interpretação de
- 2:55resultados Então a gente tem aqui os
- 2:57dados a gente tem informação
- 2:59conhecimento e teorias da conspiração no
- 3:02final das contas a gente tem uma
- 3:04tendência a ver padrões na aleatoriedade
- 3:08a gente não quer perder informações que
- 3:10eventualmente estejam aqui então a gente
- 3:12torce os dados a gente fica analisando e
- 3:17realizando e criando interpretações para
- 3:19tentar explicar o que que tá acontecendo
- 3:22ali essa de criar explicações a gente
- 3:25chama de Pi harking que é uma hipótese a
- 3:29posteriori você tinha uma hipótese de
- 3:32que após a indução de uma lesão um fator
- 3:37cerebral iria reduzir aí você vê que ele
- 3:41aumenta logo você conclui que foi uma
- 3:44resposta compensatória do organismo ao
- 3:47Insulto que você promoveu
- 3:49Puxa mas é contrário a sua hipóteses
- 3:52Inicial mas na hora de escrever você
- 3:54escreve os dados como se você já tivesse
- 3:57prevendo aquele resultado
- 4:00E aí se uma hipótese é derivada dos
- 4:03dados a capacidade dos dados de suportar
- 4:06hipótese é evidentemente reduzida porque
- 4:10você deveria ter uma hipótese e coletar
- 4:13dados para validar sua hipótese e não
- 4:17você a partir dos dados criar uma
- 4:21hipótese você pode fazer isso em um
- 4:24estudo exploratório o que a gente não
- 4:26pode é dar um viés confirmatório para um
- 4:29estudo que na verdade foi exploratória
- 4:32isso tem que ficar claro em como você
- 4:34descreve os resultados E como você
- 4:37discutir os seus resultados
- 4:40tô novamente Cuidado com dados obtidos
- 4:43de um único experimento especialmente se
- 4:46muitas variáveis foram mensuradas se
- 4:48muitas variáveis foram mensuradas é
- 4:51muito provável que você encontre
- 4:52diferenças em algumas delas talvez elas
- 4:56não sejam tão relevantes assim talvez
- 4:58elas tenham sido ao acaso E aí tá mas
- 5:02Puxa vida não possa analisar muitas
- 5:04coisas não é um bom uso do animal é o
- 5:07coletar vários dados é um ótimo uso
- 5:10desde que fique claro que esse é um
- 5:12estudo exploratório para o estudo ficar
- 5:14mais completo ainda é possível fazer um
- 5:17estudo confirmatório Poxa encontrei
- 5:19diferenças que eu não esperava agora eu
- 5:22vou repetir esse experimento e eu vou
- 5:24analisar só aquela parte que deu
- 5:27diferença para ver se ela se repete para
- 5:29ver se é consistente E aí sim você tá
- 5:32com um estudo confirmatório
- 5:37uma outra coisa que a gente acaba
- 5:39fazendo é negligenciar a variabilidade
- 5:42das amostras então por exemplo se a
- 5:45gente joga uma moeda para cima
- 5:48em metade das vezes vai dar cara outra
- 5:50metade vai dar coroa mas eu posso jogar
- 5:52três vezes seguidas e todas caras assim
- 5:56tem uma variabilidade que é inerente as
- 5:59respostas biológicas a gente tem viés de
- 6:03independência vieste de confirmação viés
- 6:06de análise e isso aqui é importante o
- 6:09que hack é você
- 6:12alterar a forma da análise para que
- 6:14análise diga aquilo que você quer você
- 6:17espera encontrar um efeito Você tem uma
- 6:19barra de dados aqui uma barra de dados
- 6:21um pouquinho aqui mas a estatística diz
- 6:24que não há uma diferença você troca a
- 6:27análise ou remove o outline um animal
- 6:30que tá não tá ajudando a sua hipótese
- 6:32que você
- 6:33posteriori tá achando que não tinha algo
- 6:36de errado com ele e aí a diferença
- 6:38estatística aparece você faz uma nova
- 6:42numa curva dose resposta você encontra
- 6:45que há um efeito mas Aí você faz o teste
- 6:48pós rock para ver qual dose é diferente
- 6:50de quem e nada aparece você troca por um
- 6:54pós rock que é mais permissivo é mais
- 6:57fácil de encontrar diferenças mas tem
- 6:59mais chance de falsos positivos e aí
- 7:02você encontra a diferença que você
- 7:04queria Talvez seja um falso positivo
- 7:07a gente tem viés na escrita quando a
- 7:10gente conta uma história que é o pirrar
- 7:12que quando a gente faz as hipóteses a
- 7:14posteriori e a gente tem um viés da
- 7:17literatura a gente vai selecionar muitas
- 7:20vezes artigo científicos que embasam
- 7:23aquilo que a gente está dizendo porque a
- 7:25gente não vai
- 7:26improvável a gente escolher artigos que
- 7:30vão totalmente contrários ao que a gente
- 7:32está tentando argumentar bom a gente
- 7:35também tem viés de expectativa em
- 7:38análise subjetivas como comportamento
- 7:40animal e a gente tem um efeito de manada
- 7:43que é seguir a moda Como assim se todo
- 7:46mundo tá vendo aqui a nova substância do
- 7:48momento tá tendo efeitos muito bons em
- 7:51tal modelo a tendência é que você busca
- 7:54encontrar aquele efeito também e você
- 7:57repita o experimento até dá certo o que
- 8:00pode ser muito problemático quando esse
- 8:02até dá certo é o controle positivo do
- 8:05seu modelo
- 8:06se o seu modelo precisa que você repita
- 8:10e refine faça pequenas adequações dos
- 8:14procedimentos experimentais para
- 8:15encontrar o efeito do controle positivo
- 8:17Será que o modelo e esse controle é
- 8:20positivo são realmente bons e
- 8:23generalizáveis se você tem que fazer
- 8:26tantas coisas para conseguir encontrar
- 8:29efeitos que são clássicos da literatura
- 8:31Será que não tá todo mundo fazendo a
- 8:34mesma coisa até conseguir encontrar
- 8:35esses efeitos e a gente acaba patinando
- 8:38no gelo e avançando pouco na ciência e
- 8:42avançando um pouco na ciência enquanto
- 8:44utiliza animais de experimentação e que
- 8:47a gente tem que utilizar o mínimo
- 8:48possível e no número adequado para ter
- 8:52conclusões
- 8:55aí vem novamente a questão dos
- 8:58paradigmas se a gente começa a fazer
- 9:02alguns experimentos que deveriam dar
- 9:04certo e não tá dando certo e aí começa a
- 9:08conversas em congresso trocas de e-mail
- 9:10a gente começa a perceber que várias
- 9:12pessoas estão com o mesmo problema
- 9:14eventualmente acaba acontecendo algum
- 9:17tipo de quebra de paradigma isso é muito
- 9:19lento a ciência se corrige de maneira
- 9:23mais lenta do que a gente gostaria
- 9:25Provavelmente por conta dos fiéis
- 9:28inclusive de publicação
- 9:31aqui tem um exemplo que eu acho curioso
- 9:35que saiu na Science Uma pessoa recebeu
- 9:38um artigo para revezar então estava
- 9:41sendo feito teste de tratamento para
- 9:43derrame em um modelo experimental em
- 9:46camundongos como foi feito como estava
- 9:49descrito que foi feito tinham 10
- 9:52camundongos com o modelo de derrame que
- 9:54eles fazem a oclusão aqui de uma
- 9:56carótida e venha o dano cerebral causado
- 9:59também 10 camundongos com derrame
- 10:01controles e 10 camundongos com derrame
- 10:04tratados dois grupos todos com derrame
- 10:08separando controle retratado como os
- 10:11dados foram apresentados 10 camundongos
- 10:13controles e sete
- 10:16camundongos tratados Cadê os outros três
- 10:18eles morreram
- 10:21esses caundongos morreram e não foram
- 10:23relatados no artigo o revisor questionou
- 10:27E aí obteve a resposta que esses animais
- 10:29morreram mas foram três animais do grupo
- 10:33tratado isso vai fazer com que o efeito
- 10:35do tratamento parece ser melhor do que
- 10:38ele é então claramente isso é um viés
- 10:42então aqui três camundongos do grupo
- 10:44tratado tinham morrido
- 10:47outras curiosidades um experimento aqui
- 10:50que foi submetido ao periódico em que
- 10:53foi visto que a diluição excessiva de um
- 10:59composto de uma imunoglobulina levaria a
- 11:03um efeito significativo quando essa alta
- 11:06diluição era administrar em selvas E aí
- 11:11tinham algumas coisas que eram curiosas
- 11:13então claramente chamou atenção como que
- 11:16basicamente água estaria tendo um efeito
- 11:19Será que a água teria memória de uma
- 11:22imunoglobulina é muito improvável que
- 11:26isso aconteça
- 11:28a probabilidade
- 11:30a viabilidade de que isso acontecesse a
- 11:34lógica para que isso acontecesse era
- 11:36muito pequena então é provável que um
- 11:38Resultado positivo quanto a isso possa
- 11:41ser um falso positivo isso despertou um
- 11:45alarme nas pessoas poder receber esse
- 11:48artigo para revisar e foi feito uma
- 11:49vistoria no laboratório para averiguar
- 11:51resultados que deveriam força para
- 11:53homeopatia e alguns vieses foram
- 11:55detectados como conflito financeiro e aí
- 11:58conflito financeiro eu não digo conflito
- 12:01de quem financiou ou estudo Quando eu
- 12:04digo conflito financeiro é quando o
- 12:06dinheiro vai para o bolso da pessoa aí
- 12:09sim a um conflito financeiro mas dentre
- 12:12os viés um deles se destacou as
- 12:15mensurações dos grupos controles eram
- 12:18descartadas quando os valores não eram
- 12:20adequados Digamos que eu esteja fazendo
- 12:22um experimento eu tenho o meu grupo
- 12:25controle meu grupo tratado todo mundo
- 12:28que não responde ao meu tratamento Eu
- 12:30tiro fora e no final das contas eu vou
- 12:32ter que o tratamento funciona se eu faço
- 12:36essa seleção isso tá fazendo com que eu
- 12:40tenho um viés aí eu tô manipulando dados
- 12:42Às vezes quem tá fazendo isso não
- 12:45percebe que está manipulando dado e tá
- 12:48fazendo fraude mas o tema é esse mesmo
- 12:51isso acaba sendo fraude pode ser
- 12:54intencional ou não mas acaba sendo
- 12:56fraude
- 12:58E falando em fraude e comportamento Tem
- 13:02uma enquete que foi realizada pela Nate
- 13:05E aí é um problema porque é uma enquete
- 13:08as pessoas têm que responder o próprio
- 13:10comportamento e foi observado aqui
- 13:13comportamentos distintos que eram feitos
- 13:16por cientistas diferentes eles
- 13:20organizaram aqui os 10 comportamentos
- 13:22que eles julgavam ser os piores
- 13:26possíveis e aqui falsificar dados estava
- 13:29em primeiro e o que tem aqui é a
- 13:32porcentagem de pessoas que já relatou
- 13:35até feito isso nos últimos três anos
- 13:38então
- 13:390,3% dos respondentes alegaram já ter
- 13:43falsificado dados que que a gente vê
- 13:47aqui por exemplo alguns aqui que são
- 13:50mais comuns são esses outros que não
- 13:52foram considerados tão graves assim mas
- 13:55eu acho que o 15
- 13:58ele é muito parecido com o primeiro
- 14:02deixar observações ou deita points de
- 14:05lado tirada análise baseado num feeling
- 14:08de uma sensação de que aquele dado está
- 14:10inapropriado esse valor aqui tá muito
- 14:13alto não faz muito sentido vamos tirar
- 14:15ele fora sem ter tido um critério a
- 14:18priori então 15% dos respondentes
- 14:21alegaram já ter feito isso aqui é o
- 14:25momento em que é meio que fraude mas a
- 14:28pessoa não está percebendo que está
- 14:30fazendo fraude para ela faz muito
- 14:33sentido isso ah mas às vezes tem um
- 14:35valor lá as suas leituras de um
- 14:38equipamento giram entre 10 e 20 você tem
- 14:41um valor que é 700 muito bem se você
- 14:44sabe os valores do seu equipamento Você
- 14:47sabe a priori que dados que tipo de
- 14:51dados que você tem que rejeitar e esses
- 14:53critérios já estão pré-estabelecidos o
- 14:56que não dá é fazer depois
- 14:58depois que você não gosta do dado é que
- 15:01você decide que você vai acabar tirando
- 15:03uma coisa que eu comento muito Às vezes
- 15:06a pessoa tá fazendo um experimento e ela
- 15:09nota que um animal tão um pouquinho
- 15:11diferente ele tá mais acuado ele tá
- 15:16comendo menos ele perdeu peso aí a
- 15:18pessoa anota para decidir o que ela faz
- 15:21depois ela faz o experimento coleto dado
- 15:24e o dado dá ok o dado dentro do que ela
- 15:28espera digamos era um animal controle o
- 15:31controle deu uma resposta parecida com a
- 15:33de um controle mas se não tivesse dado
- 15:36ela iria tirar esse animal depois só
- 15:40depois que ela não gostou do dado o que
- 15:43eu sempre recomendo é se algo te chamou
- 15:45atenção o animal não parece bem retira
- 15:48ele do experimento no momento em que
- 15:50você acha que ele não deve continuar
- 15:53isso faz muito mais sentido do que
- 15:55esperava é o dado E aí você
- 15:58decidir se você gosta ou não desse dado
- 16:00para manter ou não manter Sem falar que
- 16:03nesse caso se o animal está no estado de
- 16:05saúde nesse exemplo que não está
- 16:08adequado dependendo dos seus desfechos
- 16:10humanitários pré-definidos com a
- 16:13aprovação do seu projeto pelo seu você
- 16:15deveria eutanasiar esse animal
- 16:19o outro dado interessante é que a
- 16:21proporção de resultados positivos que
- 16:24favorecem a hipótese do trabalho tem
- 16:27crescido ao longo dos anos
- 16:30potencialmente indicando um viés de
- 16:32publicação em que é mais fácil publicar
- 16:35resultados positivos do que resultados
- 16:38negativos que neguem a sua hipótese
- 16:43agora será que a maioria dos resultados
- 16:45é falsa Tem gente que fala que sim tem
- 16:49gente que tenta argumentar quanto a isso
- 16:51talvez seja uma fala um pouco exagerada
- 16:53agora esse outro artigo aqui ele é um
- 16:56pouquinho mais é no chão menos exagerado
- 16:59e fala que a probabilidade prévia de uma
- 17:02associação ser verdadeira tem relação
- 17:05com a probabilidade de uma associação
- 17:08encontrada a ser falsa ou Verdadeiro
- 17:11Então se algo faz sentido é menos
- 17:15provável são falso positivo se algo não
- 17:19faz sentido como homeopatia é mais
- 17:22provável ser um falso positivo
- 17:26então Conforme você é aumenta a
- 17:31probabilidade prévia você reduz a chance
- 17:35de um falso positivo esse gráfico aqui
- 17:39um pouquinho confuso porque a
- 17:40probabilidade prévia ela tá aumentando a
- 17:44medida que vai para esquerda e no eixo Y
- 17:47A gente tem a probabilidade de um falso
- 17:51positivo então quando o poder do estudo
- 17:55é alto Conforme você aumenta a
- 17:59probabilidade prévia você tá reduzindo a
- 18:03chance de um falso positivo
- 18:07aqui um dado interessante que é a
- 18:10comparação entre academia e Indústria a
- 18:13gente imaginaria que a indústria por
- 18:16conta do interesse financeiro teria uma
- 18:18chance maior de reportar que os
- 18:21tratamentos funcionam porque ela quer
- 18:22vender esse tratamento mas vejam É muito
- 18:26problemático a indústria vendeu um
- 18:28tratamento que não funciona então nos
- 18:31estudos feitos pela indústria Na verdade
- 18:34é um Rigor muito grande porque eles têm
- 18:36que ter certeza que funcione antes de
- 18:40adiante com os estudos daqui é o efeito
- 18:42pré-clínico em modelos animais de drogas
- 18:45para tratamento da esclerose lateral
- 18:47amiotrófica comparando artigos
- 18:49publicados versos Instituto de Pesquisa
- 18:53quando a Barrinha tá para direita é
- 18:56porque houve aqui um aumento da chance
- 19:00de sobrevivência dos Camundongos no
- 19:02estudo os estudos publicados para vários
- 19:05tratamentos
- 19:07Barrinha Vai um monte para direita mas
- 19:09num estudo da indústria nenhum
- 19:13tratamento teve efeito e alguns
- 19:14ameaçaram até ir ao contrário reduzir a
- 19:17chance de sobrevivência porque será essa
- 19:20diferença Será que tem vieses diferentes
- 19:23aqui por um lado a indústria precisa ter
- 19:25certeza que o tratamento funciona antes
- 19:28de seguir com estudos clínicos e por
- 19:31outro lado a academia precisa
- 19:33simplesmente publicar estudos para se
- 19:36manter publicando E aí de onde vem esses
- 19:39vieses né incentivos de publicação
- 19:41principalmente e indo na mesma linha a
- 19:45gente tem aqui uma comparação entre
- 19:46estudos que são financiados ou não
- 19:49financiados pela indústria Quando eu
- 19:51digo financiado se refere a ter verba
- 19:55para realização do estudo e não para
- 19:58salário do pesquisador aqui a gente tem
- 20:01uma comparação entre efeito Nistatina
- 20:03sobre a terra esclerose os efeitos em
- 20:06estudos não financiados por indústria
- 20:08eram aproximadamente três vezes maiores
- 20:11do que financiados por indústria o que
- 20:14nos faz nos perguntar porque os efeitos
- 20:16vindo da academia são mais inflados
- 20:20porque estudos que vem por exemplo de
- 20:23universidades acabam sendo com o tamanho
- 20:25de efeitos maiores Será que a gente faz
- 20:29Os experimentos melhor ou será que a
- 20:32gente tem mais viésias é algo a se
- 20:35pensar a gente tem uma série de vieses
- 20:37em biologia experimental o pi harking o
- 20:40pieking a gente tem a descrição
- 20:42incorreta da unidade experimental a
- 20:46gente tem pseudo replicações como por
- 20:48exemplo se a unidade experimental é uma
- 20:51rata prenha mas a gente usa os filhotes
- 20:55todos e aí cada um dá um ND 1 2 3 4 5
- 20:58para cada filhote versus um de apenas
- 21:02uma rata a gente tem fatores de confusão
- 21:05entre as balança a gente tem
- 21:08desproporções entre sexos gaiolas dia do
- 21:12experimento dia do experimento Eu já vi
- 21:15gente falando hoje eu vou fazer os meus
- 21:18controles
- 21:20idealmente o experimento ele é feito com
- 21:23controles para você controlar as
- 21:25condições do ambiente ter um parâmetro
- 21:28de comparação se você faz controles em
- 21:30um dia e o grupo experimental em outro
- 21:32você perde o parâmetro de comparação
- 21:35então eles devem correr juntos na
- 21:37verdade
- 21:40agora novamente né como resolver os
- 21:43problemas da reprodutibilidade que eu
- 21:45posso falar de útil aqui identificar
- 21:48corretamente as unidades experimentais
- 21:50utilizar as unidades apropriadamente eu
- 21:53sei que isso parece que utiliza mais
- 21:56animais faz com que você utilize mais
- 21:58animais mas é o jeito estatisticamente
- 22:00correto é conhecer os efeitos que
- 22:04influenciam os desfechos ou as variáveis
- 22:07Independentes minimizando as fontes de
- 22:10erro onde que você pode ter problemas
- 22:14que gerem erros nos experimentos E você
- 22:16tem a dados que estejam contaminados é
- 22:20importante fazer isso a priori e não a
- 22:22posteriori depois de Não Gostar de um
- 22:24dado você refina o seu método para ter
- 22:28poucos dados poluídos ao invés de você
- 22:31ver dados poluídos e resolver tirar eles
- 22:34arbitrariamente
- 22:36e fazer coisas que aumentem a capacidade
- 22:39de generalização dos dados como por
- 22:42exemplo a utilização de machos e fêmeas
- 22:45para ter uma amostra mais representativa
- 22:48bom e como a gente pode reduzir os erros
- 22:51a gente vai falar isso no próximo vídeo
- 22:53falando de fontes de erro randomização
- 22:56cegamento fator do tempo e o fator do
- 22:59experimentador também e algo que não tá
- 23:02aqui mas é o fator de introdução
- 23:05intencional de variabilidade como forma
- 23:07de aumentar robustez dos dados
About this transcript
This page contains the full transcript of Delineamento Experimental - Parte 3: Vieses na Ciência by Bruno Martynhak, generated from the public captions YouTube serves with the video. The transcript has 3,129 words across 491 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.