import torch, torch.nn as nn, torch.optim as optim
model = nn.Sequential(
nn.Linear(784, 256), nn.BatchNorm1d(256), nn.ReLU(),
nn.Linear(256, 128), nn.BatchNorm1d(128), nn.ReLU(),
nn.Linear(128, 10)
)
optimizer = optim.AdamW(model.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss(label_smoothing=0.1)
# 初始化权重 — 我们生来就带着某些天赋（随机初始化）
for epoch in range(100):
# 前向传播 — 用现有知识理解世界
predictions = model(train_images)
# 计算损失 — 认识到自己的不足
loss = criterion(predictions, train_labels)
# 反向传播 — 从错误中学习，计算每个权重的梯度
loss.backward()
# 更新权重 — 成长和改变，沿梯度方向微调参数
optimizer.step()
optimizer.zero_grad()
# 最终，我们不是要完美复制过去，而是要学会泛化到未来