UOL - O melhor conteúdo
Lupa
Em teste, ChatGPT falha em duas a cada cinco respostas sobre posts falsos
06.03.2023 - 09h00
Rio de Janeiro - RJ
Desde que foi anunciado oficialmente, em novembro, o ChatGPT tem despertado enorme interesse na internet. A ferramenta pode responder a qualquer tipo de pergunta em linguagem natural, ou seja, como se estivesse conversando, e também consegue executar tarefas que incluem criar códigos de programação, compor letras de música ou até mesmo escrever livros. Todas essas habilidades transformaram o chatbot em uma espécie de “guru” digital. Quando confrontado com conteúdos desinformativos, no entanto, o ChatGPT não é confiável. Um teste feito pela Lupa mostrou que duas em cada cinco respostas dadas sobre posts enganosos vieram sem quaisquer esclarecimentos, imprecisas ou erradas.
Para medir a capacidade de reconhecimento de notícias falsas, a ferramenta foi submetida a um teste com 51 perguntas. Todas as questões tiveram como base verificações de posts que circularam na internet e foram desmentidos entre janeiro de 2020 e setembro de 2021. A maioria tratava da pandemia da Covid-19 ou de política. O período foi escolhido porque a base de dados do ChatGPT vai apenas até setembro de 2021 – ou seja, ele não tem informações sobre fatos ocorridos depois disso, mas deveria saber responder sobre quaisquer assuntos anteriores. 
Com o objetivo de testar diferentes possibilidades de perguntas, o formato das questões variou conforme o tema abordado. O chatbot teve de responder “quando”, “por que” ou se “é verdade” que algo aconteceu. Como resultado, 30 das 51 respostas (59%) foram classificadas como corretas. A ferramenta, contudo, não soube responder a 11 questionamentos (21%), deu informações imprecisas em seis deles (12%) e cometeu erros em quatro (8%).
Duas das quatro respostas erradas estão relacionadas ao processo eleitoral brasileiro. Na primeira delas, o chatbot afirmou que mesários teriam acesso aos sistemas das urnas eletrônicas por um suposto “Cartão do Mesário” – o que é falso. A pergunta foi feita com base em um post enganoso que circulou em novembro de 2020, dizendo que os mesários poderiam inserir votos para um determinado candidato nos equipamentos. O Tribunal Superior Eleitoral (TSE) esclareceu, em nota, que além de o suposto cartão sequer existir, não há nenhum mecanismo que permita que os mesários façam login e tenham acesso aos sistemas das urnas eletrônicas.
Em outra resposta enganosa, o chatbot afirmou que o TSE teria recusado uma oferta do Instituto Tecnológico da Aeronáutica (ITA) e do Instituto Militar de Engenharia (IME) para criar protótipos de urnas eletrônicas com voto impresso. Só que as duas instituições nunca fizeram esse tipo de oferecimento para o tribunal. A desinformação foi desmentida pela Lupa em 2021 e pelo próprio TSE em 2020
O terceiro erro cometido pelo ChatGPT foi dizer que ministros do Supremo Tribunal Federal (STF) recebem R$ 90 mil por mês como auxílio-alimentação. Isso também é falso, como a Lupa mostrou e o órgão confirmou, em nota. Como no caso anterior, o boato já havia sido desmentido pelo STF antes, em abril de 2021
Por fim, o chatbot enganou-se ao afirmar que o ex-prefeito de São Paulo, Bruno Covas, teria tomado cloroquina como parte de seu tratamento para Covid-19. A desinformação, também desmentida pela Lupa, viralizou na internet após o político publicar um vídeo no Instagram depois de contrair Covid-19 em junho de 2020. Na ocasião, ele disse que estaria tomando azitromicina, não cloroquina. O antibiótico não tem efeito contra o coronavírus, mas pode auxiliar a combater infecções bacterianas secundárias. Como o remédio era citado nas redes sociais como parte de um "kit de tratamento precoce", isso causou confusão. Pesquisas científicas mostraram que esse conjunto de medicamentos é ineficaz contra a doença. Covas em nenhum momento disse que tomou cloroquina.

Respostas imprecisas

Em outras situações, apesar de não errar completamente ou criar fatos — como ocorreu nos exemplos anteriores —, o ChatGPT deu respostas imprecisas. Algumas vieram com dados desatualizados, “vendidos” como atuais.
Em março de 2020, por exemplo, a Lupa desmentiu um conteúdo que falava que o número de infecções e mortes por H1N1 no Brasil em 2009 havia sido maior do que o total de contaminações e óbitos da Covid-19 até aquele momento. Com base nessa desinformação, perguntou-se ao chatbot qual situação teria sido pior. Ele respondeu "Covid-19", o que está correto. O problema, é que sem deixar isso claro, o ChatGPT citou dados desatualizados como se fossem atuais nessa resposta. A ferramenta informou que “o Brasil registrou mais de 11 milhões de casos confirmados de Covid-19 e mais de 270 mil mortes relacionadas à doença até a data desta resposta [9 de fevereiro de 2023]”. Os números são muito menores do que os mais de 36 milhões de casos e 697 mil óbitos registrados até aquela data.
Para entender melhor o que gerou o retorno desatualizado, perguntamos em seguida qual era a fonte das informações citadas. Somente aí o ChatGPT deixou claro que os dados eram de 2021 e recomendou verificar outras fontes para obter informações precisas. Ou seja, sem fazer um segundo questionamento, a pessoa receberia números muito antigos e ficaria sem a referência de quando foram compilados. Essa segunda questão não foi incluída nos resultados do teste da Lupa, pois foi feita apenas em complemento a outra pergunta.
Já nas respostas classificadas como “Não soube informar”, a ferramenta disse não haver informações disponíveis sobre determinado assunto em vez de construir correlações ou utilizar dados. Isso ocorreu, por exemplo, após perguntar se o Centro de Controle e Prevenção de Doenças (CDC, na sigla em inglês), uma agência dos Estados Unidos, teria retirado o exame RT-PCR da lista de possíveis testes utilizados para detectar a Covid-19 em pacientes. Isso não ocorreu e foi desmentido pela Lupa em outubro de 2021. Ou seja, há informações disponíveis, mas o ChatGPT não as encontrou.
Apesar das múltiplas falhas cometidas ao longo do teste, o ChatGPT deu orientações alinhadas com as de órgãos oficiais quando questionado a respeito de tratamentos comprovadamente ineficazes para Covid-19 ou teorias conspiratórias sobre a doença e a vacinação. A ferramenta chegou inclusive a alertar sobre a existência de teorias conspiratórias e sobre a importância de verificar fontes — ainda que o próprio chatbot não diga de onde tira as suas informações.
Isso aconteceu, por exemplo, quando o ChatGPT respondeu sobre umas das falsas teorias compartilhadas na internet a respeito das vacinas contra Covid-19. O conteúdo enganoso afirmava que o imunizante teria potencial de alterar o DNA humano e roubar dados biomédicos, através da transmissão 5G. A ferramenta agiu de forma semelhante ao desmentir que pessoas que já foram contaminadas pela Covid-19 não precisavam se vacinardesinformação também verificada pela Lupa.

Revisão de conteúdos

Atualmente, o ChatGPT segue a política de privacidade e moderação de conteúdo da OpenAI, startup de pesquisa e implantação de inteligência artificial que criou o chatbot. Ela proíbe, por exemplo, discurso de ódio e informações com fins políticos, ilegais ou enganosos, como “grandes conspirações”. Além disso, conforme exposto pela empresa, grupos externos são contratados para revisar os conteúdos e classificá-los. 
Entretanto, a própria OpenAI informa que uma das limitações do chatbot é a possibilidade de fornecer respostas “que parecem plausíveis, mas são incorretas ou sem sentido”. Inclusive, essa informação é reforçada na tela inicial da ferramenta, onde também é enfatizado que sua base de conhecimento vai até 2021.
Em entrevista à Lupa, o especialista em Inteligência Artificial e professor do Centro de Inteligência Artificial da Universidade de São Paulo (USP) Fernando Osório disse ser difícil determinar se as respostas dadas pelo ChatGPT são verdadeiras, atuais, corretas ou desinformativas. Ele chegou inclusive a comparar o chatbot à figura da “tia do WhatsApp”. “Dá palpite sobre tudo, repassa todo tipo de coisa, mas não valida. Não sabe se é verdade ou não e, usualmente, como uma boa fonte de desinformação, não fornece mais informações sobre as ‘fontes’ de seu conhecimento”, disse.
Na opinião do especialista, o ChatGPT é útil para gerar textos. Ele alertou, porém, ser importante que a pessoa tenha algum domínio prévio sobre o tema questionado e que seja crítica às respostas. Osório ressaltou ainda que é essencial checar as informações fornecidas pela inteligência artificial, mesmo quando parecerem verdadeiras e convincentes.
Essa medida é reforçada pelo próprio ChatGPT. Ao ser questionado sobre o quanto os usuários devem confiar em suas respostas, o chatbot afirmou que “é importante que os usuários mantenham o senso crítico e verifiquem as informações fornecidas pelo ChatGPT com outras fontes”. Na resposta, ainda esclareceu que a ferramenta não tem capacidade de julgamento como os seres humanos e, por isso, pode gerar informações prejudiciais, enganosas ou tendenciosas.
Após os testes, a Lupa pediu esclarecimentos à OpenAI sobre os resultados do experimento. Em nota, a empresa informou que ainda irá analisar as questões enviadas, mas compartilhou notas (1 e 2) que expõem o risco de desinformação ou de respostas prejudiciais. A startup também listou algumas medidas que tem tomado para tornar o ChatGPT mais seguro e confiável, como investimento em pesquisa e engenharia. 






Clique aqui para ver como a Lupa faz suas checagens e acessar a política de transparência
A Lupa faz parte do
The trust project
International Fact-Checking Network
A Agência Lupa é membro verificado da International Fact-checking Network (IFCN). Cumpre os cinco princípios éticos estabelecidos pela rede de checadores e passa por auditorias independentes todos os anos.
A Lupa está infringindo esse código? FALE COM A IFCN
Tipo de Conteúdo: Reportagem
Conteúdo investigativo que aborda temas diversos relacionados a desinformação com o objetivo de manter os leitores informados.
Copyright Lupa. Todos os direitos reservados. É proibida a reprodução do conteúdo desta página em qualquer meio de comunicação, eletrônico ou impresso, sem autorização.

Leia também


04.04.2025 - 12h05
Redes sociais
Kwai usa criadores de conteúdos para manipular o que será notícia na rede

Kwai adota uma estratégia ativa para ampliar a visibilidade de temas específicos, incentivando criadores a produzirem vídeos sobre assuntos selecionados pela rede em troca de benefícios como tráfego e prêmios em dinheiro. A tática inclui mensagens diretas e competições no WhatsApp, com isso, influenciando a circulação de notícias na plataforma.

Gabriela Soares
03.04.2025 - 12h05
Meio ambiente
Brasil teve uma infração ambiental a cada 27 minutos nos últimos 25 anos

Uma infração ambiental a cada 27 minutos. Essa foi a média de autuações registradas pelo Ibama no país entre 2000 e 2025. Entre os casos com conduta identificada, 90,1% foram classificados como intencionais. Os dados fazem parte de uma análise exclusiva da Lupa sobre as multas aplicadas pelo Ibama nos últimos 25 anos.

Francisco Amorim
02.04.2025 - 12h47
Meio ambiente
Amazônia: 96% das infrações com motivação identificada pelo Ibama foram intencionais

A Amazônia é o bioma mais pressionado por violações ambientais nos últimos 25 anos. Mais de 88 mil multas foram aplicadas a empresas e pessoas físicas pelo Ibama por desrespeitar a legislação ambiental na região. Foram, em média, dez infrações por dia. E o mais alarmante: 96% das infrações ambientais com motivação identificada foram classificadas como intencionais.

Francisco Amorim
01.04.2025 - 07h00
Meio ambiente
Petrobras lidera ranking de infrações ambientais no Brasil nos últimos 25 anos

A Petrobras, maior empresa brasileira em valor de mercado, lidera o ranking de infrações ambientais em âmbito federal cometidas nos últimos 25 anos. A estatal recebeu 2,7 mil multas do Ibama entre 2000 e 2025, o que representa uma média de uma autuação a cada três dias. Os dados foram revelados em uma análise exclusiva da Lupa.

Francisco Amorim
26.03.2025 - 14h17
Justiça
Bolsonaro réu no STF; para Moraes, notícias falsas e mentiras digitais incitaram tentativa de golpe

Jair Bolsonaro é réu por tentativa de golpe de Estado. A decisão foi tomada por unanimidade pela 1ª Turma do STF, nesta quarta (26), que aceitou o recebimento da denúncia da PGR. O relator do caso, ministro Alexandre de Moraes, expôs que notícias fraudulentas e mentiras digitais foram usadas para criar uma narrativa que justificasse o golpe.

Maiquel Rosauro
Women Owned
Assine nossa newsletter
sobre desinformação
Acompanhe nossas redes
Lupa © 2025 Todos os direitos reservados
Feito por
Dex01
Meza Digital