GLTR:识别AI生成文本的可靠统计工具
自然语言处理领域近十年见证越来越大、越来越聪明的语言模型增长。哈佛大学和IBM研究院开发统计方法检测计算机生成文本。他们构建交互式工具(公开可用)区分自然人类语言和机器生成文本。目标是给人们更多信息,以便判断真伪。AI模型通常在海量网络文本训练,预测最常跟随的词模仿人类语言。如"You"统计最可能后接"were"、"have"、"are"。研究者据此构建工具,检测“过于可预测”的文本(而非标记错误),让AI和人类协作识别机器生成语言。
工作原理
新技术——巨型语言模型测试室(GLTR)——基于约4500万网络文本训练模型,访问最大公开模型GPT-2之一。因此能观察GPT-2在任何文本输入各位置的预测,对GPT-2和许多其他模型高效。GLTR提供视觉取证工具识别自动生成文本。显示三个直方图聚合全文信息。输入段落,工具用四色高亮单词,表示单词在上下文中可预测性:紫=不可预测,红=略可预测,黄=中等可预测,绿=高度可预测。机器生成段落呈现大量绿/黄;人类撰写摘要(如EAGLE星系研究)不确定性高,颜色分布更均。研究者用计算机科学毕业生测试:无工具检出率50%,有工具提升至72%,经少量训练可更高。
参考文献:The Harvard Gazette | GitHub
延伸阅读:AI从神经活动生成语音
工业技术