AI从文本食谱生成逼真菜肴图片:Stacked GAN跨模态嵌入新突破
无视觉信息的长文本→高保真图像生成
特拉维夫大学团队构建深度学习模型,输入纯文本食谱(无标题、含食材与步骤),从零生成成品菜肴图片。采用条件生成对抗网络(cGAN)结合跨模态嵌入:语义正则化与非语义正则化两种技术,三步完成——食材/步骤初始嵌入→整体食谱神经嵌入→引入高层分类目标的语义正则化损失整合。
训练与人工评估
模型在5.2万对食谱-图片上训练(NVIDIA TITAN X GPU + cuDNN)。生成图片经30人打分(1-5分)评估:非语义正则化法优于语义法,生成图像更生动逼真,甚至难辨真伪。两方法均擅长生成粥/沙拉/饭类“糊状”食物,但难以生成鸡肉/汉堡/饮料等定型食物。
参考文献:arXiv:1901.02404 | Tel-Aviv University
工业技术