大模型原理:预训练目标-因果语言建模(CLM)-滑动窗口步长stride的含义

被以下文章引用:

步长stride=1的含义

步幅(stride)决定了批次之间输入的 位移量,模拟了滑动窗口方法,如上图

将第一批数据与第二批数据进行比较,可以发现第二批数据的词元ID相对于第一批整体 左移一个位置。例如,第一批输入中的第二个词元ID为367,而这正是第二批输入中的第一个词元ID。

缺点

过多的重叠可能会增加模型 过拟合 的风险

不同的步长

如果步幅与输入窗口大小相等,则可以避免批次之间的重叠

步长(stride)策略对比

步幅 样本数量 训练效率 信息冗余 适用场景
1 最大 低 高 小数据集
窗口大小 最小 高 低 大数据集
N( 1<N<窗口 ) 中等 中 中 平衡方案

原文出处:/show_1GW2YXBPPimC.html