微软发布对话式AI突破：先进多任务神经网络
鲁棒通用的语言表征对各类NLP任务取得良好结果至关重要。集成学习是增强模型泛化的高效方法，已在机器阅读理解、问答等自然语言理解（NLU）任务中取得最先进结果。但集成模型包含数百个深度神经网络（DNN），部署昂贵。预训练模型如GPT（48层Transformer，15亿参数）和BERT（24层Transformer，3.44亿参数）部署成本也高。2019年微软推出自研NLP算法Multi-Task DNN，现更新算法取得显著成果。
扩展知识蒸馏
研究团队用知识蒸馏将多个集成模型压缩为单一Multi-Task DNN。离线用集成模型为训练集每个任务生成软目标，比硬目标提供更多有用训练信息。例句“我昨晚和John愉快聊天”情感不太可能为负；“我们昨晚进行了有趣的交谈”根据语境可正可负。研究者用正确目标和软目标跨任务训练单一MT-DNN，用cuDNN加速PyTorch框架在NVIDIA Tesla V100 GPU上训练测试。
参考文献：arXiv:1904.09482 | Microsoft Research Blog
结果
蒸馏MT-DNN在通用语言理解评估（GLUE）基准总分上显著超越普通MT-DNN和BERT。GLUE含9项NLU任务（文本相似度、文本蕴含、情感分析、问答），数据来自学术、百科、新闻、社交媒体等数百句对。所有实验表明蒸馏MT-DNN学到的语言表征比普通MT-DNN和BERT更通用鲁棒。未来将探索更好结合硬软目标的多任务学习方式，及利用知识蒸馏提升模型性能而非仅压缩模型。
GLUE基准分数
延伸阅读：Bosque：微软新编程语言无循环
工业技术