AI逼近语义理解:NLP下一个前沿
AI常被视为误称。第一词“人工”尚可,第二词“智能”却名不副实。以语义为例,人工技术理解句子、段落、书籍含义一向极差,毫无智能可言。
但这会改变吗?近期我们采访了法律科技公司InCloudCounsel机器学习总监Hadayat Seddiqi。他判断AI接近达到语义理解,作为进化下一步。我们问:“何时可能达成此里程碑?”
SEO痛点
若你以写作为傲,善用词汇表达观点避免重复,你大概恨SEO。若你擅长构建复杂论证,需跨句、章、文、书表达,SEO因将论证压缩为两三四词(如“AI理解语义”)成敌人。(看,我们就这么做了!)
若搜索利用AI理解语义(又来了),基于更复杂——智能的——理解生成结果,省去繁琐重复,那该多好!
自然语言处理市场预计2025年达223亿美元,彰显技术进步,尤其是沟通和商业领域。目前技术用于品牌声誉监测情感分析、关键词匹配或词义消歧指导广告投放、监管合规确保产品不成负债等。AI真正革命行业和决定关键业务洞察的力量,在于其读文本理解语义(词间关系)能力,助组织进一步规避风险、发掘责任,从而在NLP创造巨大价值。
那么,AI实现语义理解故事中,进化下一步是什么?何时达成?
Seddiqi称:“达成AI语义理解需几个关键里程碑。用迭代进展框架思考有助理解每个里程碑含义。”
“前一里程碑,”Seddiqi说是词向量:“用常见用例框架:电脑搜索功能。大家用Ctrl+F/Command+F精确匹配关键词搜索。Google等搜索引擎含拼写纠错组件处理潜在拼写错误。但外观差异大但含义相近的词呢?2013年前后,AI界找到高效建模方法叫‘词向量’。能做有趣词代数:King + Woman = Queen。实际中,可扩展搜索包含语义相关词。”
AI理解语义的即将到来的里程碑
“词向量改变游戏规则,但仍需用一或几关键词表达观点。若观点需整句表达?这是下一里程碑,得益于去年研究大推进。思想是:将句子编码为句子(或思想)向量,再寻找相似句子向量。编码良好时,搜索功能能找到外观迥异但表达相同观点的句子。基于当前研究进展,说这技术将在未来几年成熟不为过。”
未来里程碑:超越句子的AI理解
“清晰层级模式浮现于技术进程。我们接近用词级相似技术扩展至句级理解AI。这开启AI理解需段落、整文档、甚至整书观点的激动人心应用。AI从词到句理解的飞跃非微不足道,长期受数据集规模和算力制约。处理更大问题的建模能力迄今取决于这两个资源约束。随AI硬件进步成本下降,我们将更接近理解更大文本集合的模型。OpenAI的GPT-2模型已部分验证:用相同句子编码模型设计配海量数据,产生的模型已跨多句理解高层概念。例如GPT-2能以惊人连贯性撰写完整新闻文章。”
自动化控制系统