安排数据标签咨询

为您的 AI 项目解锁高质量数据
满足您的特定需求的个性化工作流程
具有领域知识的专家注释者
可靠的 QA 可获得准确的结果
立即预约咨询以优化您的 AI 数据标签 >
预约咨询
返回博客
/
Text Link
This is some text inside of a div block.
/
使用微调的 LLM 打击错误信息和虚假新闻

使用微调的 LLM 打击错误信息和虚假新闻

3.14.2024

近年来,错误信息和虚假新闻已成为主要的社会问题。社交媒体的兴起使虚假或误导性内容得以迅速传播,有时会带来危险的后果。像 GPT-3 这样的大型语言模型 (LLM) 已显示出有望帮助打击错误信息,但如果不经过深思熟虑,也会带来风险。以下是如何运用 LLM 来检测和减少错误信息,同时考虑这个具有挑战性的问题的细微差别。

使用 LLM 进行事实核查和循证推理

法学硕士表现出令人印象深刻的推理事实和证据的能力。来自Anthropic、艾伦人工智能研究所等机构的研究表明,LLM可以识别事实上的不一致之处,根据证据评估主张的真实性,并为其结论提供依据。这种能力源于LLM对海量数据集的培训,为他们提供了丰富的世界知识。

具体而言,LLM 可以通过以下几种关键方式帮助自动化和改善事实核查:

  • 索赔验证 -假定索赔,通过从可信来源寻找矛盾或确证的证据来确定其真实性。
  • 引用消息来源 -对索赔做出判断时,提供相关引文以证明结论的合理性。这提高了透明度。
  • 识别不一致之处 -识别单独的陈述或证据何时包含矛盾的信息。
  • 评估证据质量 -根据作者专业知识和数据新近性等特征判断不同来源和事实的可信度。
  • 概率推理 -与其得出二元真假结论,不如给出可信度分数,根据证据评估索赔成真的可能性。

研究人员必须继续开发技术,使法学硕士成为法学家、诚实和乐于助人的事实核查伙伴。但是他们先进的推理能力在打击互联网虚假的祸害方面显示了希望。

缓解错误信息的放大

社交媒体加剧的另一个主要问题是错误信息的放大。即使虚假声明浮出水面,平台的算法通常会在事实核查限制其传播之前广泛推荐它们。这会导致错误信息传达给大量受众。

LLM 可以通过以下几种方式帮助减少放大:

  • 对潜在伤害进行评级 -假定一项索赔,估计如果它在被揭穿之前传播开来,可能产生的负面社会影响。然后,可以禁用或举报被认定为虚假且具有高度病毒性的声明。
  • 传播速度放缓 -暂时限制被视为可能的错误信息的索赔的覆盖范围和病毒传播程度,直到可以对其进行适当的事实核查为止。这会 “减慢” 放大。
  • 审查方向 -通过举报可能的错误信息,更快地将可疑内容引起人类事实核查人员的注意。
  • 平衡建议 -平台的推荐引擎还可以建议相关的事实核查或经过验证的信息来减少偏见的观点,从而平衡虚假的说法。

深思熟虑地将这些功能构建到社交平台中可以显著减少错误信息的转移,同时仍然允许言论自由。

挑战和注意事项

尽管法学硕士具有打击假新闻的巨大潜力,但我们必须承认所涉及的困难和细微差别:

  • 偏见 -像人类一样,LLM 可以传播偏见。为了最大限度地提高公平性,需要进行仔细的培训、审计和监督。
  • 真理的本质不断演变 -事实和证据不断变化。LLM 必须相应地更新信念,而不是根深蒂固。
  • 知识有限 -有无限的索赔,但是LLM的培训有限。他们的能力将受到限制。
  • 军备竞赛 -随着LLM的发展,那些产生错误信息的人将制定出新的策略。持续的进展和研究至关重要。
  • 过度依赖 -LLM 应该增强而不是取代人工事实核查人员。我们必须了解它们的局限性。

训练数据集以进行错误信息检测

高质量的训练数据对于建立准确的错误信息检测模型至关重要。一些有前途的可以利用的数据集包括:

发烧 -根据从维基百科提取的证据,事实提取和验证数据集包含手动标记为 “支持”、“已驳回” 或 “NoteNoughInfo” 的185,000份索赔。

Multifc -Multi-FC数据集包含30万份由专业事实核查人员标记的索赔,并与来自Snopes和PolitiFact等网站的事实核查相关联。

FakeNewsNet -该数据集包含有关社交媒体上虚假新闻与真实新闻传播网络的数据,有助于了解病毒式传播。

研究人员可以利用这些不同的数据集来训练模型识别虚假声明中的文本模式,搜索经过验证的来源以寻找驳斥的证据,以及预测索赔的传播方式。不断扩展和多样化训练数据将提高模型的稳健性。

概率事实核查的算法方法

由于事实核查通常既复杂又细致入微,因此二元真假结论可能会出现问题。概率方法可以实现更细致的分析:

贝叶斯推断 -通过对声明进行预处理以提取有意义的语义特征,模型可以将新的声明与观察到的证据进行比较,并输出概率真实性分数。

注意力机制 -注意力层允许模型强调关键词和短语,这些关键词和短语可以根据索赔与其他经过验证或伪造的索赔的相似性来深入了解索赔的事实性。

众包 -汇总不同的人类评估员的判断可以产生强大的群众智慧真实性概率。

置信度校准 -Platt Scaling 等各种技术可以将神经网络输出校准为格式正确的概率估计值,从而准确反映模型的确定性。

输出经过校准的概率而不是二进制预测可以让下游消费者对证据进行更周到的权重和深思熟虑的决策。

优化社交平台算法以减少放大

主要平台经常被指责优化参与度而不是真实性。但是存在算法杠杆来减少放大:

速率限制共享 -暂时阻止重新共享可能会减缓病毒传播的速度,足以进行事实核查,特别是对于不确定的说法。

禁用病毒式预测 -不要仅仅因为模型预测会被高度共享就推荐可能的错误信息。

惩罚不可信的消息来源 -降低有共享错误信息历史的账号中的内容排名。

奖励透明度 -增加引用原始来源和详细方法论的内容。

多样化推荐 -除了可疑的说法外,还建议其他观点和高质量的信息。

重点检查事实 -主动提供事实核查以及当前流行的可疑说法。

在优化算法时平衡开放性、言论自由和公共安全是一项挑战。但是,平台在减轻危害方面并非无能为力。

负责任地利用LLM的优势来打击错误信息将需要持续的研究、透明度和周到的监管。但是,不追求进展的风险太高了。凭借勤奋和智慧,我们可以建立更公正、更明智的信息生态系统。

使用 Sapien 让 LLM 充分发挥潜力

正如我们所探讨的那样,利用 LLM 具有识别错误信息和改善在线话语的巨大潜力。然而,实现这种潜力需要细致、公正的数据标签和模型训练。那就是那里 Sapien 进来了。Sapien提供端到端服务,用于创建针对特定用例量身定制的优化、合乎道德的LLM。我们的全球领域专家网络确保您的模型获得完美标记的数据,以最小的偏差实现最大功能。无论你是希望以合乎道德的方式部署LLM的社交平台,还是突破可能性界限的研究人员,Sapien都有数据标签专业知识来推动你的成功。因此,让我们共同努力,创造一个让法学硕士增强智慧、公平和真理的未来。 向 Sapien 伸出援手 今天来了解更多信息并预订演示。

查看我们的数据标签的工作原理

安排咨询我们的团队,了解 Sapien 的数据标签和数据收集服务如何推进您的语音转文本 AI 模型