AdamW优化器

pytorch api文档：nn.Module类的.train() 与 .eval() 对比

pytorch api文档：nn.Module类的.train()方法-将模型切换为训练模式

大模型原理：训练大语言模型

大模型原理：计算训练集和验证集的损失

pytorch api文档：nn.functional.cross_entropy()交叉熵损失函数

pytorch api文档：torch.flatten()函数-将张量展平成一维

pytorch api文档：torch.log() 函数-自然对数

pytorch api文档：torch.no_grad()函数-关闭梯度计算

pytorch api文档：nn.Module类的.eval()方法-将模型切换到评估/推理模式