PyTorch优化器详解：从参数更新到学习率调度
优化器在深度学习中的作用
在神经网络训练流程中，前向传播计算输出、反向传播生成梯度之后，最关键的步骤是利用优化器对模型参数进行更新。优化器的作用类似于导航系统，依据梯度信息决定权重调整的方向与幅度，从而最小化损失函数。
优化器的基本操作流程
每个训练迭代周期内，优化器需执行三个核心操作：
- 梯度归零（zero_grad）：清除上一轮迭代累积的梯度值，防止梯度叠加导致数值异常。
- 反向传播（backward）：基于当前批次数据的损失值，自动计算各可训练参数的梯度。
- 参数更新（step）：按照所选优化算法（如SGD或Adam），使用梯度更新网络权重。
完整训练示例：CIFAR-10图像分类任务
以下代码展示了如何结合 DataLoader、卷积神经网络和 SGD 优化器实现一个标准训练循环：
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
# 数据加载
transform = torchvision.transforms.ToTensor()
dataset = torchvision.datasets.CIFAR10(root='./data', train=True, transform=transform, download=True)
loader = DataLoader(dataset, batch_size=64, shuffle=True)
# 定义模型结构
class CNNClassifier(nn.Module):
def __init__(self):
super().__init__()
self.features = nn.Sequential(
nn.Conv2d(3, 32, kernel_size=5, padding=2),
nn.ReLU(),
nn.MaxPool2d(2),
nn.Conv2d(32, 32, kernel_size=5, padding=2),
nn.ReLU(),
nn.MaxPool2d(2),
nn.Conv2d(32, 64, kernel_size=5, padding=2),
nn.ReLU(),
nn.MaxPool2d(2)
)
self.classifier = nn.Sequential(
nn.Flatten(),
nn.Linear(1024, 64),
nn.ReLU(),
nn.Linear(64, 10)
)
def forward(self, x):
x = self.features(x)
return self.classifier(x)
model = CNNClassifier()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# 训练主循环
for epoch in range(20):
total_loss = 0.0
for images, labels in loader:
# 前向传播
outputs = model(images)
loss = criterion(outputs, labels)
# 反向传播与优化
optimizer.zero_grad()
loss.backward()
optimizer.step()
total_loss += loss.item()
print(f'Epoch [{epoch+1}/20], Loss: {total_loss:.4f}')
动态调整学习率：引入调度器机制
固定学习率可能无法满足整个训练过程的需求。通常希望初期快速收敛，后期精细微调。为此，PyTorch 提供了学习率调度器（LR Scheduler）来动态调节学习率。
例如，使用 StepLR 每隔若干轮将学习率乘以衰减因子：
# 接续上述代码
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)
for epoch in range(20):
for images, labels in loader:
outputs = model(images)
loss = criterion(outputs, labels)
optimizer.zero_grad()
loss.backward()
optimizer.step()
scheduler.step() # 每轮结束后更新学习率
print(f'Current LR: {scheduler.get_last_lr()[0]:.6f}')
该策略可在训练前期保持较高学习率以加快收敛，在后期逐步降低学习率以提升模型稳定性。
训练流程全景图
至此，一个完整的深度学习训练闭环已经建立：
- 数据准备：通过 Dataset 和 DataLoader 管理输入样本
- 模型构建：使用 nn.Module 组织网络层
- 误差评估：选择合适的损失函数衡量预测精度
- 梯度计算：调用 backward 自动求导
- 参数优化：借助 Optimizer 更新权重
- 学习率调控：配合 Scheduler 实现动态调整
实践建议
学习率（lr）是影响训练效果的关键超参数。过大会导致震荡不收敛，过小则收敛缓慢。虽然 SGD 是基础优化方法，但因其对学习率敏感，实际项目中更常采用 Adam 等自适应优化器，它们能根据参数历史梯度自动调整步长，具有更强的鲁棒性和易用性。
