Combating disinformation with explainable and efficient fact-checking

Abstract

A Internet tornou-se uma parte integrante de nossas vidas, conectando quase todos globalmente. Essa vasta conectividade permite que informações falsas se espalhem rapidamente, potencialmente prejudicando a reputação de indivíduos, empresas e até mesmo nações. Dado o impacto significativo da desinformação, a verificação automatizada de fatos tornou-se uma área crítica de pesquisa. No entanto, as soluções de verificação automatizada de fatos têm gerado preocupações entre verificadores humanos, que geralmente não confiam nas decisões baseadas em máquinas. Além disso, muitos algoritmos apresentaram problemas comuns à inteligência artificial: eles não são explicáveis, podem aprender características espúrias e, às vezes, não conseguem generalizar. Apesar desses desafios, os verificadores humanos de fatos, sozinhos, não conseguem acompanhar o volume cada vez maior de dados gerados diariamente, tornando a assistência da máquina essencial. Portanto, esta tese visa preencher a lacuna entre verificadores humanos de fatos e algoritmos automatizados, para que possam se complementar e alcançar eficiência e explicabilidade. Em termos de eficiência, desenvolvemos métodos para a detecção de desinformação com agrupamento e sumarização de textos, reduzindo drasticamente a redundância de dados brutos de redes sociais. Também exploramos o uso eficiente de dados selecionando poucos dados anotados ou gerando dados sintéticos com poucas amostras para ajuste fino do modelo. No campo da explicabilidade, introduzimos a resposta a perguntas no processo de verificação de fatos, o que pode identificar o local do erro de uma alegação. Além disso, para lidar com a falta de dados anotados de explicação, realizamos um estudo em larga escala sobre auto-racionalização (a tarefa de gerar uma previsão de rótulo e uma explicação em texto livre juntas) em cenários fora de distribuição (OOD). Para a falta de explicações de referência, propusemos uma métrica independente de referência para a avaliação da explicação. No estudo, mostramos que os modelos podem aprender a partir de um subconjunto muito pequeno de dados e generalizar de forma comparável aos modelos ajustados em todos os dados de treinamento. Também mostramos que, para a geração de explicações, a qualidade dos dados é um fator-chave para obter melhores explicações fora de distribuição. Avançando ainda mais na explicabilidade, investigamos a melhoria da auto-racionalização para conjuntos de dados de verificação de fatos do mundo real. Ao encontrar um conjunto de dados com mais de três classes, a auto-racionalização falha em novas classes. Assim, propusemos um novo método adaptativo de rótulo em duas etapas, que superou os métodos de ponta (como o GPT-4) em dois conjuntos de dados realistas de verificação de fatos. Esperamos que o trabalho desenvolvido nesta tese tenha um impacto positivo na implementação da verificação automatizada de fatos no mundo real.