pytorch api文档:nn.Module类的.eval()方法-将模型切换到评估/推理模式
大模型原理:实现TransformerBlock块类(连接注意力层和线性层等)
pytorch api文档:张量的 squeeze()方法-删除维度
pytorch api文档:张量的 unsqueeze()方法-增加一个维度
pytorch api文档:torch.argmax()返回张量最大值的索引
pytorch api文档:torch.max()返回张量最大值和索引
pytorch api文档:torch.max() vs torch.argmax() 对比
pytorch api文档:张量的 .numel()方法-统计元素总数
pytorch api文档:nn.MSELoss()的backward()方法-反向传播自动计算梯度(求导)
pytorch api文档:nn.MSELoss()均方差损失