pytorch api文档:torch.save()函数-保存整个模型、模型状态字典(可训练参数)
pytorch api文档:torch.optim.AdamW()-AdamW优化器
pytorch api文档:nn.Module类的.train()方法-将模型切换为训练模式
pytorch api文档:nn.Module类的.train() 与 .eval() 对比
pytorch api文档:torch.manual_seed()设置随机种子
大模型原理:预训练目标-因果语言建模(CLM)-pytorch实现数据集
pytorch api文档:nn.functional.cross_entropy()交叉熵损失函数
pytorch api文档:torch.flatten()函数-将张量展平成一维
pytorch api文档:torch.log() 函数-自然对数
pytorch api文档:torch.no_grad()函数-关闭梯度计算