pytorch api文档:torch.softmax()
pytorch api文档:torch.sum()求和
pytorch api文档:torch.exp()自然指数运算
softmax 概率归一化
pytorch api文档:torch.matmul()矩阵乘法/张量乘法(等价@符号)
大模型原理:实现简单自注意力机制(没有可训练权重)
pytorch api文档:torch.manual_seed()设置随机种子
pytorch api文档:torch.nn.Embedding()创建嵌入层
pytorch api文档:torch.empty() 和 torch.zeros()、torch.ones() 区别
pytorch api文档:torch.empty()建一个未初始化的张量