|
@@ -28,8 +28,8 @@ num_epochs是模型训练迭代的总轮数(模型对训练集全部样本过一
|
|
|
## 5.参数设定时的约束
|
|
## 5.参数设定时的约束
|
|
|
根据上述几个参数，可以了解到学习率的变化分为WarmUp热身阶段和Decay衰减阶段，
|
|
根据上述几个参数，可以了解到学习率的变化分为WarmUp热身阶段和Decay衰减阶段，
|
|
|
> - Wamup热身阶段：随着训练迭代，学习率从较低的值逐渐线性增长至设定的值，以step为单位
|
|
> - Wamup热身阶段：随着训练迭代，学习率从较低的值逐渐线性增长至设定的值，以step为单位
|
|
|
-> - Decay衰减阶段：随着训练迭代，学习率逐步衰减，如每次衰减为之前的0.1， 以epoch为单位
|
|
|
|
|
-> step与epoch的关系：1个epoch由多个step组成，例如训练样本有800张图像，`train_batch_size`为8, 那么每个epoch都要完整用这800张图片训一次模型，而每个epoch总共包含800//8即100个step
|
|
|
|
|
|
|
+> - Decay衰减阶段：随着训练迭代，学习率逐步衰减，如每次衰减为之前的0.1， 以epoch为单位
|
|
|
|
|
+> - step与epoch的关系：1个epoch由多个step组成，例如训练样本有800张图像，`train_batch_size`为8, 那么每个epoch都要完整用这800张图片训一次模型，而每个epoch总共包含800//8即100个step
|
|
|
|
|
|
|
|
在PaddleX中，约束warmup必须在Decay之前结束，因此各参数设置需要满足下面条件
|
|
在PaddleX中，约束warmup必须在Decay之前结束，因此各参数设置需要满足下面条件
|
|
|
```
|
|
```
|
jiangjiajun