选择神经网络隐藏层数与节点数的实证指南
本文为多层感知机隐藏部分配置提供基于证据的指导原则。
系列前文涵盖感知机网络、多层架构、Python实战。决定隐藏层深度广度前，可回顾下列基础文章：
- 如何用神经网络分类：什么是感知机？
- 如何用简单感知机神经网络示例分类数据
- 如何训练基本感知机神经网络
- 理解简单神经网络训练
- 神经网络训练理论导论
- 理解神经网络学习率
- 多层感知机进阶机器学习
- Sigmoid激活函数：多层感知机激活
- 如何训练多层感知机神经网络
- 理解多层感知机训练公式与反向传播
- Python实现的神经网络架构
- 如何用Python创建多层感知机神经网络
- 神经网络信号处理：神经网络设计验证
- 神经网络训练数据集：如何训练验证Python神经网络
- 选择神经网络隐藏层数与节点数
隐藏层回顾
回顾隐藏节点要点：
- 单层感知机——仅含输入输出节点的网络——局限于线性可分问题。无法建模布尔XOR等复杂关系。
- 引入隐藏层将感知机转为通用逼近器，能学习有限输入输出空间间几乎任意连续映射。
- 隐藏到输出权重间接影响最终误差，使训练更复杂。
- 反向传播为标准训练法：误差反向传播通过网络，允许更新所有非输出权重，无论隐藏层数。
下图展示多层感知机基本结构。
需要多少隐藏层？
无一劳永逸答案。但单隐藏层已赋予网络卓越表达力。若性能不足，考虑调学习率、延长训练轮数、丰富训练集，再考虑加深层。
增加第二隐藏层增代码复杂度和推理时间，并可能加剧过拟合——尤其训练数据有限时。
过拟合指网络记忆训练集特质而非学习泛化映射。下图可视化此现象。
高参数化网络可能"过度思考"问题，产生训练数据表现好但未见样本差的解。后图展示过度容量如何阻碍泛化。
何时额外隐藏层合理？Dr. Jeff Heaton在神经网络训练专著指出：单隐藏层可逼近有限空间间任意连续函数。第二层允许网络以任意精度表示决策边界，但仅当问题复杂度真正需要时。
每层多少隐藏节点？
选择每隐藏层节点数在表达力与过拟合风险间平衡。实验必不可少，但Dr. Heaton提供三实用启发式（p.159）作可靠起点。基于信号处理经验，我建议：
- 单输出节点且映射相对简单：隐藏维度设为输入维度的三分之二。
- 多输出或关系复杂：隐藏规模设为输入输出维度之和——保持在输入维度两倍以下。
- 极复杂映射：隐藏规模设为输入维度两倍减一。
结论
遵循这些原则，可系统配置和细调多层感知机隐藏层以达稳健性能。下文将演示这些规则如何转化为具体Python代码并评估真实数据集影响。
工业机器人