词嵌入技术发现新热电材料：AI加速材料科学

今人谈AI，无不称其为下一个风口——人人想分一杯羹却无人能嚼动这烫手山芋。

大多数人也会说，所谓AI多半是炒作——披着PPT外衣的旧机器学习与数学。大体上说得没错。

但自然语言处理（NLP）是深度学习等AI工具应用堪称革命性的领域之一。

网站客服聊天机器人即例证。其运行于相对复杂的深度学习架构——长短期记忆（LSTM）神经网络。这些算法能“理解”我们的输入，拼凑出连贯可读的回复。虽非苏格拉底，但绝非随机乱语，确有某种低级智能的暗示。

词嵌入

深度学习在语言处理的现代纪元，始于2013年Tomas Mikolov的word2vec论文。其突破在于用神经网络开发出计算可行的词嵌入或词向量生成方法。

以man（男）、woman（女）、king（王）、queen（后）为例。若让你分组，有多种常识选择。我倾向[man, woman]与[king, queen]。你可能见[man, king]与[woman, queen]。

我也知king与man的关系，恰如woman与queen。

man:king = woman:queen

即使从未听过这些词，我亦可通过观察遇到的句子学会这些关系。“This man is a king”，“The queen was a godly woman”，“She reigned as the queen of the silver screen”，“His kingdom will come”。这些句子仅凭词语邻近性暗示king多为man，queen多为woman。

词嵌入做同类事，但规模达数百万词、数千文档。关键在于词从上下文学习。现代计算能力与深度学习魔法成就此数学类比游戏。

深度学习词嵌入

假设我们要找《哈利·波特》中所有词的嵌入。

先建个数学仓库——足以容纳所有所需词的超维巨兽。这就是向量空间。

目标是逐词遍历《哈利·波特》，将每词放入仓库某仓位。相似词如Dress（裙）与Cloak（袍）同仓。Quidditch（魁地奇）与Snitch（金嗅器）相邻仓。Car（车）与Centaur（半人马）距离堪比Banana（香蕉）与Voldemort（伏地魔）。

词嵌入即词所在仓位地址。数学上，这使它成为向量空间中的向量。

没人愿干这活——词太多、搬运太累。

神经网络却擅长此道。靠、靠魔法。

深度神经网是数百万齿轮杠杆的庞大机器。初始混乱无序虽有洗牌。慢慢齿轮咬合、杠杆就位——秩序从混沌涌现。机器运转。弗兰肯斯坦活了！

此处语言刻意模糊。我欲带你至词嵌入应用而非推导。虽说根本层面我们不清神经网络如何运作。实验中得摆弄层数、激活函数、各层神经元数等才入正题。那是另一天话题。

热电材料

2019年一篇论文中，劳伦斯伯克利实验室团队生成约330万篇、跨1000期刊发表论文摘要的词嵌入。此列表显然庞大，覆盖过去几十年材料科学几乎所有发表主题。

科学文本中化学式与符号也是“词”。故LiCoO₂（常见电池正极）有词向量。可问：最接近LiCoO₂的词向量是什么？

知LiCoO₂为向量空间中一向量，只需找临近向量。

答案出炉：LiMn₂O₄、LiNi₀.₅Mn₁.₅O₄、LiNi₀.₈Co₀.₂O₂、LiNi₀.₈Co₀.₁₅Al₀.₀₅O₂、LiNiO₂——全为锂离子正极材料。

选定化合物与“热电”一词关系路径。Li₂CuSb不直接关联“热电”，但靠近“间接带隙”、“光电子学”等指示该性质的词。来源[2]

看我们做了什么？

我们实则在探索与最爱正极相似的其他材料。不用读千文、记笔记、列锂化合物清单，词嵌入几秒搞定。

这是词嵌入威力。将语义询问转为数学向量运算，此法让我们更高效、更好地查询理解大规模文本数据库。

进一步例证：研究者统计化学化合物在“热电”向量附近出现频率（热电材料可互转电能与热能）。

可通过点积这一直接向量运算实现。相似向量点积趋近1，不相似趋近0。

对数据库化学化合物与“热电”一词做同操作，作者找出所有可能具热电性质的化学品。

摘要数据库词嵌入可答此类问：若Zr为六方，铬为…？（体心立方）来源[2]

作者进而展示晶体结构、铁电性等多种材料性质存在类似关系。且证实用此技术可从现有文献提前数年预测出当前多种热电材料。

此分析是对“人类研究的所有材料中，哪些可能是热电材料？”这一问题极其优雅、简洁却欺骗性简单的表达。

材料数据库迫在眉睫

你会假设我们已有此清单——分明有人记录我们所有工作？编纂材料手册与电子数据库？

令人惊讶的答案是：没有。多年积累的海量知识锁在书籍、期刊、论文等文本中。数量之巨使人工扫描不可能。

这正是词嵌入及本文演示技术堪称革命性的原因。
它们有望改变我们与文本交互方式，飞速扩充材料数据库。

哪些材料被研究用于压电性？文献中是否遗漏超导体？是否有治愈阿尔茨海默症的新药？
问词嵌入。它们知道。