基于深度学习的裂环谐振器超材料预测网络

介绍

纳米光学是纳米技术与光学的交叉学科。近年来，通过不断设计不同亚波长尺寸的结构以实现与入射光的特殊相互作用，科学家们成功地操纵了光的某些传输特性[1,2,3]。超材料自提出以来，引起了该领域众多学者的关注，相关理论研究[4, 5]、工艺[6, 7]和应用研究[8]均在同步推进。实现了许多奇特的功能，包括全息成像、完美吸收[9]和平面透镜[10]。由于太赫兹技术的飞速发展及其独特的特性，近年来也成为超材料领域的热门研究课题[11,12,13]。

尽管超材料的应用非常广泛，但传统的设计方法需要设计师对正在设计的结构进行反复复杂的数值计算。这个过程消耗了大量的时间和计算资源。因此，迫切需要寻找新的方法来简化甚至取代传统的设计方法。

机器学习作为一个跨学科领域，涵盖生命科学、计算机科学、心理学等诸多学科，一直致力于利用计算机来模仿和实现人类的学习过程，以获取新的知识或技能。机器学习的基本原理可以简单地描述为利用计算机算法获得大量数据之间的相关性或预测相似数据之间的规则，最终达到分类或回归的目的。迄今为止，许多机器学习算法已经应用于超材料的指定并取得了显着的成果，包括遗传算法[14]、线性回归算法[15]和浅层神经网络。随着结构变得越来越复杂，结构的变化也越来越多样化，问题将需要更多的时间来解决。同时，问题的高度非线性特性使得简单的机器学习算法难以获得准确的预测。此外，要针对特定​​的电磁效应设计匹配的超材料结构，需要设计人员尝试对结构进行复杂的数值计算。这些过程将消耗大量的时间和计算资源。

作为机器学习领域最杰出的算法之一，深度学习在计算机视觉[16]、特征提取[17]、自然语言处理[18]等各个相关领域都取得了举世瞩目的成就。同时，其他非计算机相关领域的成功案例也很多，包括生命科学、化学[19]、物理学[20][21]等许多基础学科。因此，将深度学习应用于超材料的设计也是目前的一个热门研究方向，涌现了许多优秀的作品[22,23,24]。

受深度学习的启发，本文报道了一项研究，使用基于深度神经网络的机器学习算法来预测裂环谐振器（SRR）的结构，以达到按需设计的目的。此外，前向网络和反向网络创新性地分别训练，不仅可以提高网络的准确率，还可以通过灵活组合实现不同的功能。结果表明，该方法在训练集和验证集上的MSE分别达到0.0058和0.0055，表现出良好的鲁棒性和泛化性。通过训练好的模型指导超材料结构的设计，设计周期可缩短至数天甚至数小时，效率提升明显。此外，该方法还具有良好的可扩展性，只需改变训练集数据即可按需设计不同的输入或不同的结构。

理论与方法

COMSOL 模型构建

为了证明深度学习可以应用于超材料结构的逆向设计，我们模拟了一个由金环、二氧化硅底和金底组成的三层 SRR 结构，以观察其在超材料作用下的电磁响应。入射光。如图1所示，张角θ 金戒指的内半径 r 环的宽度和线宽 d 环被选为该结构的自变量。当一束线偏振光正常进入超材料时，通过改变结构变量得到不同结构下的波长-反射曲线。 Au环的厚度为30 nm，SiO2底部为100 nm，Au底部为50 nm，元原子尺寸为200 nm×200 nm。

结构示意图。整个超表面由在两个方向上重复排列的超原子组成，线偏振光垂直于超表面入射。每个元原子从上到下依次由金环、二氧化硅底、金底组成。最上面的金环包含三个结构参数，即线宽d , 开口角θ , 和内环半径 r

使用COMSOL Multiphysics 5.4 [25]建模，选择三维空间维度，物理场选择光学≥波光学≥电磁波频域（ewfd），研究选择波长域。在几何中创建上述模型。在材料中依次定义各部分的材料及其折射率，并在电磁波频域中添加端口和周期条件。

构建深度学习神经网络模型

我们为超材料结构构建了一个反向网络和一个正向网络。反向网络可以根据给定的两组不同偏振方向的波长-反射曲线预测SRR的结构参数。前向网络可以通过给定的结构参数预测两个偏振方向的波长-反射曲线。反向网络的功能是预测功能的主体。正向网络的作用是验证反向网络的预测结果，观察预测结果是否满足所需的电磁响应。

使用eclipse 2019为开发平台，python3.7为编程语言，TensorFlow 1.12.0为开发框架。

两个网络分别进行训练，使每个网络的训练结果不受另一个网络误差的影响，从而保证了两个网络各自的精度。

如图 2 所示，单独训练两个网络的另一个好处是它们可以通过不同的连接顺序用于不同的目的： (a) 反向网络 + 正向网络，可以使用给定的波长-反射曲线来计算(b) 单独使用前向网络可以简化数值计算方法的计算过程，减少计算时间。

图中FNN指的是正向神经网络，RNN指的是反向神经网络。顶部图 (a )表示可以将两个网络连接起来，达到预测和验证的效果，底部图(b ) 表示可以单独使用前向响应网络来计算光响应

值得注意的是，使用深度学习的方法输入和获取训练模型结果的过程需要极短的时间。每当通过模拟或实验获得新数据时，该模型都可以用于进一步的训练。研究表明，随着训练数据的不断增加，模型的准确率会越来越高，泛化性能也越来越好[26]。

该结构的参数是多组连续特征值，属于回归问题。近年来，全连接网络一直是深度学习网络在回归问题上的重点，并表现出高可靠性、大数据吞吐量和低延迟的特点。对全连接网络进行一些调整，可以让网络更好地预测结构。

如图 3b 所示，前向网络是一种全连接网络，其中相邻两层的所有节点都相互连接。输入数据为结构参数，输出为两个偏振方向的波长-反射曲线。如图 3a 所示，反向网络由特征提取层（FE 层）和全连接层（FC 层）组成。 FE层包括两组互不相连的全连接网络，对两个方向的线偏振光的波长-反射曲线进行处理，提取输入数据的一些特征。 FC 层将学习提取的特征并输出结构参数。由于不同偏振态的波长-反射曲线之间具有高内聚、低耦合的特点，将两组不同方向的偏振光数据的输入分开，可以防止网络在数据提取过程中受到数据标准化的干扰。前向网络不涉及多组输入，也不需要考虑数据之间的相互干扰，所以没有特征提取层。

网络结构示意图。上图为反向网络。反向网络由输入层、特征提取层、全连接层和输出层组成。下图为前向网络，由输入层、隐藏层和输出层组成

为了确定最优的网络结构，使用相同的数据集训练不同结构的网络。如图4所示，数据经过50个epoch后（当所有数据都经过完整的训练后，称为一个epoch），不同结构的前向网络所达到的MSE。从图4的左图中可以看出，当前向网络包含5个隐藏层，每层包含100个节点时，达到的最低MSE约为0.0174，因此将选择这种结构的前向网络。

网络结构的比较。左图中，横轴表示每层节点数，纵轴表示MSE，黑、红、蓝、绿分别表示隐藏层包含5、6、7、 8层，分别。右图中，横轴表示全连接层的层数，纵轴表示MSE，黑、红、蓝线表示FE层包括3、4、5时的情况, 分别

同样，训练不同的反向网络网络，训练量仍然设置为50个epochs。结果如图4右图所示。当FC层数为7，FE层数为3时，网络达到最低MSE，约为0.1756。

我们发现网络层数较多时会产生梯度爆炸现象，导致网络无法收敛，损失无穷大，所以图中没有列出。

数据预处理

为了训练出更可靠的前向网络，反射率数据被重新划分，并与每个频率对应的Au和SiO2的折射率进行拼接。将整理后的数据归一化后输入前向网络，可以大大提高前向网络的准确率。

为了保证数值较大的数据不会比数值较小的数据对网络产生更大的影响，需要对输入数据进行归一化，使每一列数据符合标准正态分布（均值为0，方差为1)，然后是处理后的数据x 可以表示为：

在表达式中，x 0为样本的原始数据，μ 样本的均值和 σ 样本的标准差。如果不对输入数据进行重新划分，归一化后反射率会失真，从而降低网络的精度。由于归一化，重新划分的数据不会影响其分布。

神经网络方法

神经网络的原理是通过模仿人脑的工作和学习方式，构建大量的神经元（节点）[27]。神经元之间相互连接，通过调整连接权重来调整输出。 j 的输出 层的第 th 个节点可以表示为：

f 是激活函数，w 我 是前一层的i的连接权重 连接到 j 的第 th 个节点 第一个节点，x 我 是 i 的输出 上一层的第 th 个节点，b j 是这个节点的偏置项，n 是上一层连接到j的节点数 第一个节点。

激活函数的选择

为了满足逆问题的高度非线性，使用ELU函数[28]作为每层神经元的激活函数[28]。输出 f (x ) 的 ELU 函数可以用分段形式表示如下：

在这个函数中，x 是原始输入，α的参数值 范围从 0 到 1。

使用激活函数的原因是激活函数改变了网络每一层的非线性表达能力，从而提高了网络的整体非线性拟合能力。如图 5 所示，ELU 函数结合了 Sigmoid 和整流线性单元 (ReLU) 激活函数的优点。当 x <0，它具有更好的软饱和度，这使得网络对输入变化和噪声更加鲁棒。当 x> 0，不存在饱和，有助于缓解网络梯度的消失。 ELU 的均值接近 1 的特征可以使网络更容易拟合。结果证明，使用ELU作为深度学习的激活函数，神经网络显着提高了网络的鲁棒性。

指数线性单位 (ELU) 函数曲线。图中，x 表示原始输入，f (x ) 表示函数输出

权重初始化方案

每一层网络权重的初始化方式决定了网络拟合的速度，甚至决定了网络能否拟合。方差缩放初始化是根据每一层的输入数据量，从以0为中心的截断正态分布中提取权重，这样可以将方差减小到一定范围，然后数据可以在整个网络中传播得更深[29 ]。在这种网络结构上，使用方差缩放初始化可以显着加快网络的收敛速度。

过拟合解决方案

由于数据不足，网络会产生一些过拟合。通过减少过拟合，网络可以对训练集之外的数据具有良好的泛化性能。 L2 正则化（在回归问题中也称为权重衰减）用于处理权重 w .正则化输出 L 可以表示为：

在方程式中。 (4)、L 0 表示原始损失函数，在此基础上增加一个正则化项 \( \frac{\lambda }{2n}\sum {w}^2 \)，其中 λ 表示正则化系数，n 数据吞吐量，以及w 重量。加入正则化项后，权重w的值 整体趋于下降，可以避免出现过大的值，所以w 也称为重量衰减。 L2正则化可以降低权重，避免拟合曲线出现较大斜率，从而有效缓解网络过拟合现象，有助于收敛。

在此基础上，也采用了dropout方法。这种方法在视觉上可以看作是每次训练“隐藏”一定规模的网络节点，在每次训练中隐藏不同的节点，达到训练多个“局部网络”的目的。并且通过训练，大部分“部分网络”可以准确表示目标，并且可以对所有“部分网络”的结果进行排序，得到目标的解。

使用上述L2正则化和dropout方法，不仅可以有效缓解数据不足导致泛化率低的问题，还可以降低数据集中少量错误数据对训练结果的影响。

在这个网络结构和数据集上，dropout =0.2 和 L2 正则化系数 λ =0.0001，网络可以在训练集和测试集上获得相似的准确率，从而实现较高的泛化性能。

结果与讨论

训练后，我们的前向网络可以达到很高的拟合度，MSE 为 0.0015，这表明输出与模拟结果非常相似，如图 6 所示。这也保证了在训练反向网络时，可以可靠地验证反向网络的结果。

前向网络训练的结果。对应的结构参数为θ =50°，r =60 nm, 和 d =10 nm。图中横轴表示入射光波长，纵轴表示反射率，红线表示COMSOL仿真结果，蓝线表示网络训练结果。左图为x对应的反射率曲线 -偏振输入，右图为y对应的反射率曲线 -极化输入

最后，我们将从学习到的网络中生成两个模型，并连接两个模型以实现预测功能。

预测函数可以选择图2a所示的组合。反向网络根据所需的波长-反射曲线预测相应的结构，正向网络验证结构的光响应。如图7所示，通过比较验证反射率和输入反射率，入射光在两个偏振方向的反射特性基本一致。尽管对于某些波长值可以观察到轻微的反射率失配，但总体匹配趋势显然是无可辩驳的，因为误差完全在可接受的范围内。

反向网络后接前向网络可以达到预测的目的。图中横轴表示入射光波长，纵轴表示反射率，红线表示COMSOL仿真结果，蓝线表示网络训练结果。左图为x对应的反射率曲线 -偏振输入，右图为y对应的反射率曲线 -极化输入。输入波长-反射曲线的预测结果为θ =1.5°，r =65 nm，和 d =18 nm

结论

在本文中，我们展示了我们设计的深度学习网络，能够通过采用灵活的网络配置组合来创造各种效果。我们设计的反向网络可以使用输入波长-折射曲线预测所需的结构，可以大大减少解决反向问题所需的时间，并通过灵活组合满足不同的需求。结果表明，网络在预测方面取得了更高的准确性，这进一步意味着可以通过我们的方法解决按需设计。使用深度学习指导超材料设计，可以自动获得更精确的超材料结构，这是传统设计方法无法达到的。

数据和材料的可用性

稿件日期来自我们的模拟网，因个人原因无法分享。

缩写

ELU：

指数线性单位

FC 层：

全连接层

FE 层：

特征提取层

FNN：

前向神经网络

MSE：

均方误差

ReLU：

整流线性单元

RNN：

逆向神经网络

SRR：

裂环谐振器