微软发布170亿参数T-NLG:全球最大语言模型重塑NLP应用
微软推出Turing自然语言生成模型(T-NLG),170亿参数刷新世界纪录。在LAMBADA次词预测与WikiText-103困度测试双榜单夺冠,问答与摘要生成媲美人类流畅度,采用生成式而非抽取式回答,直接产出完整句子。
训练工程突破
单GPU无法承载百亿参数。团队利用NVIDIA DGX-2 + 张量切片将模型拆分至4张V100,配合DeepSpeed库与ZeRO优化器,实现少卡高效训练,为超大模型训练提供工程范本。
多任务零样本泛化能力
文档摘要:覆盖Word/邮件/PPT/Excel等多格式,ROUGE指标超越PEGASUS等SOTA模型。
问答系统:人工标注验证语法/事实正确性显著优于LSTM基线。
写作助手:补全句子、生成摘要、直接回答问题,交互体验接近人类协作者。
落地规划
将集成Office套件:邮件/文档自动摘要、写作辅助、内容问答。赋能新一代数字助理与客服机器人,提升销售与CRM效率。标志对话式AI从“检索式”向“生成式”质变。
工业技术