深度学习架构主流速查资料(含强化学习)

提出年份、主要思想、适用领域、原理，发展脉络

感知机与多层感知机（MLP）

• 提出年份：1958（感知机）、1986（多层感知机）

• 主要思想：用神经元和权重模拟非线性映射，通过多层网络拟合复杂函数

• 适用领域：分类、回归、特征提取

• 原理：前馈结构 + 非线性激活函数（ReLU、Sigmoid）、误差反向传播训练

• 发展：基础架构，推动反向传播算法发展，为卷积和循环网络奠定基础

卷积神经网络（CNN）

• 提出年份：1989（LeNet），2012（AlexNet）突破

• 主要思想：局部感受野 + 权重共享，自动提取空间特征

• 适用领域：图像分类、目标检测、分割、视频分析

• 原理：卷积层提取局部特征 → 池化降低维度 → 全连接层输出 → 反向传播更新卷积核

• 发展：LeNet → AlexNet → VGG → ResNet → DenseNet → EfficientNet

循环神经网络（RNN）

• 提出年份：1986（基本 RNN）、1997（LSTM）

• 主要思想：处理序列数据，通过隐藏状态传递历史信息

• 适用领域：序列预测、语言模型、机器翻译、语音识别

• 原理：循环结构，当前输出依赖前一时刻隐藏状态，使用 BPTT（反向传播穿越时间）训练

• 发展：标准 RNN → LSTM（长短期记忆） → GRU（门控循环单元） → 双向 RNN → Transformer

自注意力与 Transformer

• 提出年份：2017（Vaswani et al.）

• 主要思想：用注意力机制捕捉序列中任意位置的依赖关系

• 适用领域：NLP（语言模型、翻译）、图像（ViT）、多模态

• 原理：输入 embedding + 位置编码 → 多头自注意力机制（MHA）计算 token 之间权重 → 前馈网络 + 残差 + LayerNorm

• 发展：GPT 系列（自回归生成） → BERT 系列（双向编码） → ViT、Swin Transformer（视觉任务）

图神经网络（GNN）

• 提出年份：2005（Graph Neural Network）、2017（Graph Convolutional Network）

• 主要思想：处理图结构数据，通过节点间信息传递学习表示

• 适用领域：社交网络分析、知识图谱、分子预测、推荐系统

• 原理：节点聚合邻居信息（Message Passing） → 更新节点 embedding → 可用于分类、预测

• 发展：GCN → GAT（注意力机制） → GraphSAGE（采样邻居） → DGI、Graphormer

自编码器（AE / VAE）

• 提出年份：1987（AE）、2013（VAE）

• 主要思想：学习压缩表示或生成数据分布

• 适用领域：无监督学习、降维、生成模型

• 原理：Encoder → latent space → Decoder 重建输入，VAE 增加 KL 散度约束，实现概率生成

• 发展：AE → Denoising AE → Sparse AE → VAE → β-VAE → Conditional VAE

对抗生成网络（GAN）

• 提出年份：2014（Goodfellow et al.）

• 主要思想：生成器与判别器对抗训练，生成逼真数据

• 适用领域：图像生成、风格迁移、数据增强

• 原理：Generator G → 生成样本，Discriminator D → 判别真假，min-max 对抗优化

• 发展：DCGAN、CGAN、WGAN、StyleGAN、BigGAN

注意力卷积与混合架构

• 提出年份：2017~2021（SE-Net、CBAM、ConvNeXt）

• 主要思想：结合卷积神经网络和注意力机制，既保留了卷积的局部特征提取优势，又引入了全局依赖建模

• 适用领域：图像分类、目标检测、图像分割

• 原理：通过卷积提取局部特征，再利用注意力机制增强重要通道或空间区域的特征

• 发展：SE-Net → CBAM → Bottleneck Attention → ConvNeXt → ConvFormer

深度强化学习（DRL）

• 提出年份：2013（深度Q网络，DQN）

• 主要思想：结合深度学习与强化学习，通过神经网络来逼近值函数和策略函数，从而使智能体在复杂环境中进行决策

• 适用领域：游戏（如AlphaGo）、机器人控制、自动驾驶

• 原理：

• Q学习：通过估计Q值（即在某个状态下执行某个动作的期望回报）来指导决策。

• 深度Q网络（DQN）：使用深度神经网络替代传统Q学习中的查表方法，实现复杂环境中的值函数逼近。

• 策略梯度方法：通过优化策略函数（如REINFORCE、PPO）直接学习动作策略。

• 发展：

• DQN：将Q学习和深度学习结合，实现了端到端的强化学习。

• A3C（异步优势演员-评论家）：引入异步更新机制，提升了学习效率和稳定性。

• PPO（Proximal Policy Optimization）：简化了策略优化过程，增强了算法稳定性和表现。

• AlphaGo：通过深度强化学习取得了围棋比赛的突破，标志着DRL在复杂决策任务中的应用。

• 强化学习的扩展：近年来，强化学习在自动驾驶、智能推荐、机器人操作等领域得到了广泛应用。