基于深度学习的分环谐振器超材料设计预测网络

摘要

“超材料”的引入对电磁学等多个领域产生深远影响。然而按需设计超材料结构仍是极其耗时过程。作为高效机器学习方法，深度学习近年广泛用于数据分类和回归，并展现良好泛化性能。我们构建深度神经网络用于按需设计：以所需反射率为输入，自动计算输出结构参数，实现按需设计目的。网络在训练集和测试集上均达到0.005的低均方误差（MSE）。结果表明利用深度学习训练数据，训练模型能更准确指导结构设计，从而加速设计过程。与传统设计流程相比，深度学习指导超材料设计可实现更快、更准确、更便捷的目的。

引言

纳米光学是纳米技术和光学的交叉学科。近年来，通过不断设计不同亚波长尺寸结构以实现与入射光特殊相互作用，科学家成功操控光的特定传输特性[1-3]。超材料提出以来吸引众多学者关注，其相关理论[4, 5]、工艺[6, 7]、应用[8]研究同步快速推进。已实现多种奇特功能，包括全息成像、完美吸收[9]、平透镜[10]。因太赫兹技术快速发展及其独特特性，近年也成为超材料领域热门研究课题[11-13]。

尽管超材料应用广泛，传统设计方法要求设计师对被设计结构反复进行复杂数值计算，消耗巨大时间和计算资源。因此亟需寻找新途径简化甚至替代传统设计方法。

作为交叉学科，机器学习涵盖生命科学、计算机科学、心理学等学科，致力于用计算机模拟实现人类学习过程以获取新知识或技能。机器学习基本原理可简述为：利用计算机算法从大量数据中获取相关性或预测相似数据间规律，最终实现分类或回归目的。至今多种机器学习算法已应用于超材料设计并取得显著成果，包括遗传算法[14]、线性回归算法[15]、浅层神经网络。随着结构日益复杂、变化多样，问题求解需更多时间。同时问题高度非线性使简单机器学习算法难以获得准确预测。此外，为特定电磁效应设计匹配超材料结构要求设计师尝试并进行复杂数值计算，这些过程将消耗巨大时间和计算资源。

作为机器学习领域最杰出算法之一，深度学习在计算机视觉[16]、特征提取[17]、自然语言处理[18]等相关领域取得世界声誉成就。同时在非计算机相关领域也有众多成功，包括生命科学、化学[19]、物理[20, 21]等基础学科。因此将深度学习应用于超材料设计也是当前热门研究方向，涌现许多优秀工作[22-24]。

受深度学习启发，本文报道基于深度神经网络的机器学习算法预测分环谐振器（SRR）结构以实现按需设计。此外创新性地分别训练正向网络和反向网络，不仅能提高网络精度，还能通过灵活组合实现不同功能。结果显示该方法在训练集和验证集上分别达到0.0058和0.0055的MSE，显示良好鲁棒性和泛化性。训练模型指导超材料结构设计可将设计周期缩短至天甚至小时，效率提升明显。此外该方法扩展性好，仅需更改训练集数据即可按需设计不同输入或不同结构。

理论与方法

COMSOL模型构建

为展示深度学习可应用于超材料结构反向设计，建模由金环、二氧化硅底层、金底层组成的三层SRR结构，观测其在入射光作用下的电磁响应。如图1所示，金环开口角θ、环内半径r、环线宽d选为结构独立变量。当线偏振光垂直入射超材料时，通过改变结构变量获得不同结构下的波长-反射率曲线。Au环厚度30 nm，SiO₂底层100 nm，Au底层50 nm，超原子尺寸200 nm×200 nm。

深度学习神经网络模型构建

为超材料结构构建反向网络和正向网络。反向网络从给定的两组不同偏振方向波长-反射率曲线预测SRR结构参数。正向网络从给定结构参数预测两偏振方向波长-反射率曲线。反向网络功能为预测主体。正向网络用于验证反向网络预测结果，观察预测结果是否满足所需电磁响应。

开发平台Eclipse 2019，编程语言Python 3.7，开发框架TensorFlow 1.12.0。

两网络分别训练，使各网络训练结果不受另一网络误差影响，确保两网络各自精度。

如图2所示，分别训练两网络另一优势是可通过不同连接序列用于不同目的：(a) 反向网络+正向网络，可用给定波长-反射率曲线计算结构参数、预测并验证预测结果是否满足需求；(b) 单独使用正向网络可简化数值计算过程、减少计算时间。

值得注意的是，使用深度学习方法输入并获取训练模型结果耗时极短。且每当通过仿真或实验获得新数据，模型可进一步训练。研究表明随训练数据持续增加，模型精度越来越高、泛化性能越来越好[26]。

结构参数为多组连续特征值，属回归问题。近年全连接网络在深度学习回归问题上成为焦点，显示高可靠性、大数据吞吐、低延迟特性。对全连接网络适当调整可使网络更好预测结构。

如图3b所示，正向网络为全连接网络，相邻两层所有节点相互连接。输入为结构参数，输出为两偏振方向波长-反射率曲线。如图3a所示，反向网络包含特征提取层（FE层）和全连接层（FC层）。FE层包含两组互不连接的全连接网络，分别处理两方向线偏振光波长-反射率曲线提取输入数据特征。FC层学习提取特征并输出结构参数。因不同偏振态波长-反射率曲线高内聚低耦合特性，分离两组偏振光数据输入可防止数据标准化过程中数据提取受干扰。正向网络不涉及多组输入、无需考虑数据间相互干扰，故无特征提取层。

为确定最优网络结构，用同一数据集训练不同结构网络。图4显示数据经50个epoch（所有数据完整训练一次称一epoch）后不同结构正向网络达到的MSE。由图4左图可见：正向网络含5个隐藏层、每层100节点时达到最低MSE约0.0174，故选用此结构正向网络。

类似地训练不同反向网络，训练量仍设50 epochs。结果见图4右图。FC层数为7、FE层数为3时网络达到最低MSE约0.1756。

发现较大网络层数会产生梯度爆炸现象，导致网络无法收敛、损失无限大，故未列入图中。

数据预处理

为训练更可靠正向网络，重新划分反射率数据，并与各频率对应的Au和SiO₂折射率拼接。整理数据后归一化输入正向网络，可大幅提高正向网络精度。

为确保大数值数据不对网络产生比小数值数据更大影响，输入数据需归一化使每列数据符合标准正态分布（均值0、方差1），处理后数据x表示为：

x = (x₀ - μ) / σ (1)

式中x₀为样本原始数据，μ为样本均值，σ为样本标准差。若输入数据不重新划分，反射率归一化后会失真，降低网络精度。重新划分数据归一化后不影响其分布。

神经网络方法

神经网络原理是模仿人脑工作学习方式构建大量神经元（节点）[27]。神经元相互连接，通过调整连接权重调节输出。第j个节点输出表示为：

yⱼ = Σᵢ f(wᵢxᵢ + bⱼ) / n (2)

f为激活函数，wᵢ为上一层第i节点连接到第j节点的连接权重，xᵢ为上一层第i节点输出，bⱼ为该节点偏置项，n为连接到第j节点的上一层节点数。

激活函数选择

为满足逆问题高非线性，采用ELU函数[28]作为各层神经元激活函数。ELU函数输出f(x)分段表示为：

f(x) = { x (x≥0); α(eˣ-1) (x<0) } (3)

式中x为原始输入，参数α取值0-1。

使用激活函数因其改变网络各层非线性表达能力，提升整体非线性拟合能力。如图5所示，ELU函数结合Sigmoid和ReLU激活函数优势。x<0时有更好软饱和，使网络对输入变化和噪声更鲁棒；x>0时无饱和，有助于缓解网络梯度消失。ELU均值接近1的特性使网络更易拟合。结果证明用ELU作深度学习神经网络激活函数显著提高网络鲁棒性。

权重初始化方案

各层网络权重初始化方法决定网络拟合速度、甚至能否拟合。方差缩放初始化基于各层输入数据量，从以0为中心的截断正态分布提取权重，使方差降至一定范围，使数据能更深传播[29]。本网络结构上使用方差缩放初始化可显著加快网络收敛速度。

过拟合解决

因数据不足网络会产生过拟合。减少过拟合可使网络在训练集外数据有良好泛化性能。使用L2正则化（回归问题中称权重衰减）处理权重w。正则化输出L表示为：

L = L₀ + (λ/2n)Σw² (4)

式(4)中L₀为原始损失函数，在此基础上加正则化项(λ/2n)Σw²，λ为正则化系数，n为数据吞吐量，w为权重。加入正则化项后权重w整体趋于减小，避免过大值出现，故w称权重衰减。L2正则化可减小权重避免拟合曲线斜率过大，有效缓解网络过拟合、帮助收敛。

在此基础上也使用Dropout方法。该方法可视为每次训练“隐藏”一定比例网络节点，每次训练隐藏不同节点，实现训练多个“部分网络”。训练后大部分“部分网络”能准确代表目标，所有“部分网络”结果排序可得目标解。

上述L2正则化和Dropout方法不仅能有效缓解数据不足导致的低泛化性，还能减少数据集中少量错误数据对训练结果影响。本网络结构和数据集上，设Dropout=0.2、L2正则化系数λ=0.0001，网络可在训练集和测试集获得相似精度，实现高泛化性能。

结果与讨论

训练后正向网络达到高拟合度，MSE为0.0015，输出与仿真结果极其相似（图6）。这也确保训练反向网络时能可靠验证反向网络结果。

最终从学习网络生成两模型并连接实现预测功能。预测功能可选图2a组合：反向网络按所需波长-反射率曲线预测对应结构，正向网络验证结构光学响应。如图7所示，对比验证反射率与输入反射率，两偏振方向入射光反射率特性基本一致。虽某些波长值存在微小反射率失配，但总体匹配趋势明确无可辩驳，因误差在可接受范围内。

结论

本文呈现设计的深度学习网络，通过灵活组合网络配置创造各种效果。设计的反向网络可用输入波长-折射率曲线预测所需结构，大幅减少求解逆问题时间并通过灵活组合满足不同需求。结果表明网络实现更高预测精度，进一步暗示按需设计可通过本方法解决。深度学习指导超材料设计可自动获得更准确超材料结构，这是传统设计方法无法达到的结果。