大模型原理教程目录-马育民老师

# 介绍

- [NLP自然语言处理介绍](https://www.malaoshi.top/show_1GW2UJo1AbLf.html "NLP自然语言处理介绍")

- [NLP自然语言处理-Transformer介绍](https://www.malaoshi.top/show_1GW2UPIvxI49.html "NLP自然语言处理-Transformer介绍")

- [LLM大语言模型介绍](https://www.malaoshi.top/show_1GW1ojKs8nLZ.html "LLM大语言模型介绍")

- [NLP自然语言处理-Transformer架构](https://www.malaoshi.top/show_1GW2UVPLSEtF.html "NLP自然语言处理-Transformer架构")

- [大模型架构选型：纯编码器、纯解码器与 Encoder-Decoder 区别](https://www.malaoshi.top/show_1GW2Y8HX97Kh.html "大模型架构选型：纯编码器、纯解码器与 Encoder-Decoder 区别")

- [NLP、LLM、Transformer关系](https://www.malaoshi.top/show_1GW2UM7yhmNU.html "NLP、LLM、Transformer关系")

# 预训练阶段

- [大模型原理：embedding词嵌入（文字转化为向量）](https://www.malaoshi.top/show_1GW2VwMDTwva.html "大模型原理：embedding词嵌入（文字转化为向量）")

- [大模型原理：词汇表、分词器类，将文本转换为词元ID，将词元ID转回文本](https://www.malaoshi.top/show_1GW2WAyk1P5B.html "大模型原理：词汇表、分词器类，将文本转换为词元ID，将词元ID转回文本")

- [大模型原理：控制文本的特殊标记（token）](https://www.malaoshi.top/show_1GW2WgDES9Or.html "大模型原理：控制文本的特殊标记（token）")

- [大模型原理：BPE分词器介绍](https://www.malaoshi.top/show_1GW2WgnAuVe5.html "大模型原理：BPE分词器介绍")

- [大模型原理：BPE分词器比较：tokenizers和tiktoken](https://www.malaoshi.top/show_1GW2Wh2mHEMu.html "大模型原理：BPE分词器比较：tokenizers和tiktoken")

- [大模型原理：BPE分词器 tiktoken的介绍、使用](https://www.malaoshi.top/show_1GW2Y24DjGX1.html "大模型原理：BPE分词器 tiktoken的介绍、使用")

- [大模型原理：输入-目标对](https://www.malaoshi.top/show_1GW2Y97fMBL5.html "大模型原理：输入-目标对")

- [大模型原理：预训练目标-因果语言建模（CLM）掩码语言建模（MLM）、下一句预测（NSP）](https://www.malaoshi.top/show_1GW2Y9DWUcfJ.html "大模型原理：预训练目标-因果语言建模（CLM）掩码语言建模（MLM）、下一句预测（NSP）")

- [大模型原理：预训练目标-因果语言建模（CLM）](https://www.malaoshi.top/show_1GW2YBs0zklJ.html "大模型原理：预训练目标-因果语言建模（CLM）")

- [大模型原理：预训练目标-因果语言建模（CLM）-使用滑动窗口进行数据采样](https://www.malaoshi.top/show_1GW2YV1NBWPm.html "大模型原理：预训练目标-因果语言建模（CLM）-使用滑动窗口进行数据采样")

- [PyTorch深度学习框架介绍](https://www.malaoshi.top/show_1GW2YUseIgCT.html "PyTorch深度学习框架介绍")

- [大模型原理：预训练目标-因果语言建模（CLM）-pytorch实现数据集](https://www.malaoshi.top/show_1GW2YXCJgYVE.html "大模型原理：预训练目标-因果语言建模（CLM）-pytorch实现数据集")

- [大模型原理：预训练目标-因果语言建模（CLM）-滑动窗口步长stride的含义](https://www.malaoshi.top/show_1GW2YXBPPimC.html "大模型原理：预训练目标-因果语言建模（CLM）-滑动窗口步长stride的含义")

- [大模型原理：embedding词元嵌入1](https://www.malaoshi.top/show_1GW2YriiPo97.html "大模型原理：embedding词元嵌入1")

- [大模型原理：编码单词位置信息](https://www.malaoshi.top/show_1GW2YsuvK4X0.html "大模型原理：编码单词位置信息")

- [大模型原理：embedding词元嵌入2-加入位置信息](https://www.malaoshi.top/show_1GW2YuupnGNY.html "大模型原理：embedding词元嵌入2-加入位置信息")