Multimodal Test-Time Adaptation for Fake News Detection

Abstract

现有的多数意识形态新闻检测方法主要通过多模态信息的融合或交互来利用语义特征，但往往忽视了社交媒体数据间的关联性与分布差异，且默认训练集与测试集数据同分布。为解决这些问题，我们提出T³FND框架——一种基于测试时训练（TTT）的多模态新闻自检测方法。该框架通过掩码编码器（MAE）增增强模型对多模态数据细粒度的关系捕捉能力，并创新性地采用测试时训练策略，利用MAE从测试数据中获取的特征提升模型泛化性。针对测试时训练中启发新闻图文对不匹配的问题，我们设计了多模态掩码转换器模块（M3-Transformer）。在吸取主流数据集上的实验表明，本方法能显着着提升检测性能。