1.1 VGG系列#

简介： VGGNet由牛津大学于2014年提出，以其简洁统一的架构设计闻名。

核心特点：

• 结构简单规整，全部使用3×3卷积核
• 统一的网络深度设计（VGG16、VGG19）
• 连续的池化层进行下采样

优点：

• 特征提取能力强
• 架构简洁，易于理解和实现
• 迁移学习效果好，预训练模型泛化能力强

缺点：

• 参数量巨大（VGG16达138M）
• 计算慢，推理效率低
• 深层网络存在梯度消失问题

适用场景：

• 作为教学模型或特征提取器
• 特征提取、迁移学习基础模型
• 学术研究中的基准模型对比

1.2 ResNet系列#

简介： ResNet由微软研究院于2015年提出，通过残差连接（Skip Connection）解决了深层网络训练困难的问题。

核心特点：

• 通过残差连接解决梯度消失，可训练很深的网络
• 深度可扩展：ResNet18、34、50、101、152等变体

优点：

• 精度高、泛化能力强
• 突破网络深度限制，可训练超深层网络
• 梯度传播顺畅，训练稳定性高
• 迁移学习效果极佳，工业界广泛采用

缺点：

• 较深版本（如ResNet-152）计算成本高
• 内存占用较高
• 缺乏全局上下文建模能力

适用场景：

• 医学影像、工业质检等需深层特征的任务
• 图像分类、目标检测、语义分割等多种视觉任务
• 作为其他模型的骨干网络

1.3 Inception系列#

简介： Inception系列由Google提出，通过多尺度卷积核并行处理实现高效特征提取。

核心特点：

• 使用多尺度卷积核（1×1、3×3、5×5）并行处理
• 瓶颈层设计减少计算量

优点：

• 精度高
• 多尺度特征融合，捕捉不同感受野信息
• 计算效率高，参数利用率高

缺点：

• 设计复杂，调优难度大
• 模块设计需要人工经验
• 不如ResNet系列流行

适用场景：

• 需捕捉多尺度信息的任务
• 学术研究中的架构创新参考

1.4 EfficientNet系列#

简介： EfficientNet由Google于2019年提出，通过复合缩放（Compound Scaling）策略实现模型效率与精度的平衡。

核心特点：

• 通过复合缩放平衡深度/宽度/分辨率三个维度
• MBConv（Mobile Inverted Residual Block）结构

优点：

• 极高效率，B0仅5.3M参数即可达到优异精度
• 推理速度快，适合移动端部署
• 模型规模可灵活调整（B0-B7）

缺点：

• 全局感受野有限
• 复杂空间关系建模弱于Transformer
• 架构相对复杂，理解难度较高

适用场景：

• 移动端等资源受限场景
• 需要平衡精度和速度的工业应用

1.5 轻量级模型（MobileNet等）#

简介： 专为移动端设计的轻量级模型，包括MobileNetV1/V2/V3、ShuffleNet、SqueezeNet等。

核心特点：

• 深度可分离卷积（Depthwise Separable Convolution）
• 通道混洗、挤压激发等轻量化技术

优点：

• 速度快、体积小
• 适合资源受限设备部署
• 部署工具链成熟

缺点：

• 绝对精度通常低于大模型
• 特征表达能力有限

适用场景：

• 手机APP、安防摄像头等端侧部署
• IoT设备视觉感知
• 实时性要求高的边缘场景

2.1 ViT（Vision Transformer）#

简介： ViT由Google于2020年提出，首次证明纯Transformer架构可在图像分类任务上达到与CNN相当的性能。

核心特点：

• 图像分块：将图像分割为固定大小的Patches
• 线性投影：每个Patch转换为嵌入向量
• 位置编码：添加可学习的位置信息
• Transformer编码器：多层自注意力机制

优点：

• 全局建模能力强，捕捉长距离依赖关系
• 在大数据上精度极高（ViT-L/16达88.5%）
• 灵活处理不同分辨率
• 架构简洁统一，易于扩展

缺点：

• 极度依赖数据，小数据集易过拟合
• 计算量大，部署成本高于CNN
• 缺乏图像特定的归纳偏置

适用场景：

• 数据充足、追求极致精度、预算宽裕的场景
• 大规模图像分类任务
• 医学影像分析、遥感图像识别

2.2 Swin Transformer#

简介： Swin Transformer由微软亚洲研究院于2021年提出，通过移位窗口机制解决ViT的计算复杂度问题。

核心特点：

• 移位窗口机制：局部窗口内计算注意力，窗口移位实现跨窗口交互
• 层次化设计：四阶段特征提取，类似CNN的特征金字塔
• Patch Merging：逐级下采样，构建多尺度特征

优点：

• 计算复杂度降至O(N)，效率大幅提升
• 层次化结构适合多尺度任务（检测、分割）
• 在COCO、ADE20K等数据集上刷新纪录
• 保持全局注意力能力的同时提升效率

缺点：

• 架构相对复杂，实现难度较大
• 窗口设计引入额外超参数
• 对小目标检测能力仍需提升

适用场景：

• 目标检测、实例分割、语义分割
• 需要多尺度特征的复杂视觉任务
• 高精度要求的工业视觉应用

2.3 MobileViT#

简介： MobileViT由Apple于2021年提出，专为移动端设计的轻量级视觉Transformer。

核心特点：

• CNN+Transformer混合架构：早期CNN提取局部特征，后期Transformer建模全局关系
• 轻量级设计：参数少、计算量低
• 针对移动端硬件优化

优点：

• 移动端实时推理（毫秒级延迟）
• 精度与效率平衡良好
• 适合资源受限设备部署
• 混合架构兼顾局部与全局特征

缺点：

• 精度略低于重量级模型
• 全局建模能力有限
• 架构设计相对复杂

适用场景：

• 手机端图像识别应用
• 边缘设备实时视觉任务
• IoT设备视觉感知

2.4 DeiT（Data-efficient Image Transformer）#

简介： DeiT由Facebook AI于2020年提出，针对ViT数据需求高的问题进行优化。

核心特点：

• 知识蒸馏：利用教师模型（如ResNet）指导训练
• 数据增强策略：RandAugment等增强方法
• 无需大规模数据集即可训练

优点：

• 数据效率高，小数据集上表现优异
• 训练成本低，资源需求小
• 保持ViT的全局建模能力

缺点：

• 精度略低于原始ViT（大数据集上）
• 依赖教师模型的质量

适用场景：

• 数据量有限的实际应用场景
• 中小型企业的AI视觉项目

3.1 ConvNeXt#

简介： ConvNeXt由Meta AI于2022年提出，将Transformer设计理念融入CNN架构。

核心特点：

• 将ResNet”现代化”：使用Transformer风格的设计决策
• 增大通道宽度，减少网络深度
• 分离归一化层和激活函数

优点：

• 保持CNN的局部特征提取优势
• 吸收Transformer的设计优点
• 训练稳定，收敛速度快
• 精度接近Swin Transformer

缺点：

• 缺乏全局注意力机制
• 创新点相对有限

适用场景：

• 需要CNN稳定性的工业应用
• 从CNN向Transformer过渡的桥梁

3.2 MambaVision#

简介： MambaVision将状态空间模型（SSM）与Transformer结合，是2025年的新兴架构。

核心特点：

• 前两阶段CNN提取高维特征
• 后两阶段处理长程依赖
• SSM+Attention+CNN三模融合

优点：

• 计算效率高，线性复杂度
• 精度表现优异（ImageNet-1K 84.2%）
• 适合高分辨率图像处理

缺点：

• 架构较新，生态不完善
• 实现复杂度较高

适用场景：

• 高分辨率图像分析任务
• 需要处理长距离依赖的场景

4.1 CLIP系列#

简介： CLIP由OpenAI于2021年提出，通过对比学习实现图文跨模态理解。

核心特点：

• 图文对预训练：同时学习图像和文本表征
• 对比损失：最大化匹配对相似度，最小化不匹配对
• 零样本分类：无需微调即可进行分类

优点：

• 零样本/少样本迁移能力极强
• 支持图文混合输入
• 泛化能力出色，适应多种分类任务
• 无需标注数据即可使用

缺点：

• 模型体积大、算力要求高
• 对数据质量敏感
• 特定任务微调后精度可能不如专用模型

适用场景：

• 多模态搜索、图文生成
• 标注数据稀缺的零样本分类
• 需要快速部署的原型系统

4.2 InternVL#

简介： InternVL是国内开源的视觉大模型，以轻量化和高性能著称。

核心特点：

• 多尺度视觉编码器
• 支持多模态任务
• 轻量化版本（如Tiny）适合端侧部署

优点：

• 精度高（ImageNet-1K Top-1达83.2%）
• 参数量小（Tiny版本仅8M）
• 支持CPU/GPU快速推理
• 中文生态友好

缺点：

• 生态相对较新
• 超大规模版本资源需求高

适用场景：

• 通用图像分类
• 端侧部署的视觉任务
• 中文场景的视觉理解

4.3 Qwen-VL#

简介： Qwen-VL是阿里云通义千问推出的视觉语言模型。

核心特点：

• 多模态大模型架构
• 支持图像理解、图文对话
• 多尺度输入支持

优点：

• 中文语义理解能力强
• 支持多轮图文对话
• 功能全面（检测、分割、描述）

缺点：

• 推理成本较高
• 模型规模较大

适用场景：

• 智能问答系统
• 多模态交互应用
• 中文场景的视觉理解

5.1 MAE（Masked Autoencoder）#

简介： MAE由Meta AI于2021年提出，通过掩码重建策略学习图像特征。

核心特点：

• 随机掩码部分图像块
• 编码器处理可见块
• 解码器重建掩码块

优点：

• 预训练效率高
• 学习到的特征泛化能力强
• 可作为强大的骨干网络

缺点：

• 预训练计算成本高
• 技术门槛较高

适用场景：

• 标注数据获取困难的领域（如医疗影像）
• 作为下游任务的预训练骨干

5.2 DINOv2#

简介： DINOv2是Meta AI提出的自监督视觉特征学习方法的升级版。

核心特点：

• 对比学习框架，无需负样本对
• 教师-学生架构，知识蒸馏
• 学习通用视觉特征

优点：

• 特征泛化能力强
• 零样本迁移效果好
• 无需标注数据即可学习

缺点：

• 训练过程复杂
• 资源需求较高

适用场景：

• 零样本分类和检索
• 作为预训练特征提取器
• 多任务迁移学习

5.3 SimCLR#

简介： SimCLR由Google于2020年提出，是对比学习的经典方法。

核心特点：

• 通过数据增强生成正样本对
• 对比损失最大化同一样本不同视图的相似度

优点：

• 减少对标注数据依赖
• 特征泛化能力强
• 框架简单，易于实现

缺点：

• 需要大批次训练
• 计算成本较高

适用场景：

• 标注数据有限的场景
• 作为预训练基础模型

按任务类型选择#

按资源条件选择#

2025年技术趋势总结#

1. Transformer化趋势明显：78%的CVPR顶会论文采用Transformer架构
2. 混合架构成为主流：CNN+Transformer融合兼具效率与精度
3. 轻量化加速落地：端侧模型推理时延降至8ms级
4. 自监督学习普及：小样本场景性能大幅提升
5. 多模态融合深化：视觉-语言跨域理解成为标配
6. 硬件协同优化：针对专用芯片的深度优化成为常态

选型建议#

1. 优先考虑成熟模型：ResNet、EfficientNet等经典模型在多数场景下仍表现出色
2. 关注任务特性：需要全局上下文选ViT/Swin，需要局部特征选CNN
3. 评估部署环境：移动端选MobileViT/MobileNet/EfficientNet，云端可选大模型
4. 考虑数据规模：数据充足选ViT系列，数据有限选DeiT或自监督模型（MAE/DINOv2）
5. 实时检测需求：首选YOLO系列，部署生态成熟，推理速度快
6. 参考最新进展：关注CVPR、ICCV等顶会，了解前沿技术趋势