diff --git a/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py b/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py index 07c3c612..97e1c544 100644 --- a/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py +++ b/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py @@ -41,10 +41,9 @@ class TorchWarmupCallback(Callback): return max((progress - 1.) / (self.warmup - 1.), 0.) def on_train_begin(self, trainer): - self.t_steps = trainer.n_batches if self.warmup >1: - self.warmup = self.warmup / self.t_steps - self.t_steps = max(2, self.t_steps) # 不能小于2 + self.warmup = self.warmup / trainer.n_batches + self.t_steps = max(2, trainer.n_batches) # 不能小于2 # 防止 t_steps 不能整除 accumulation_steps self.t_steps = math.ceil(self.t_steps/trainer.accumulation_steps) * trainer.accumulation_steps # 获取param_group的初始learning rate diff --git a/fastNLP/core/collators/collator.py b/fastNLP/core/collators/collator.py index 0ff9fb2a..5a3b1967 100644 --- a/fastNLP/core/collators/collator.py +++ b/fastNLP/core/collators/collator.py @@ -107,7 +107,7 @@ class Collator: 如果需要某些 field 不要包含在 pad 之后的结果中,可以使用 :meth:`~fastNLP.Collator.set_ignore` 进行设置。 Collator 在第一次进行 pad 的时候自动根据设置以及数据情况,为每个 field 获取一个 padder ,在之后的每次调用中,都将使用对应 - 的 Padder 给对应的 field 。 + 的 Padder 给对应的 field 。由于 Collator 只能在某个 field 内进行 pad ,如果 pad 操作需要同时操作多个 field ,请不要使用 Collator 。 :param backend: 对于可以 pad 的 field,使用哪种 tensor,支持 ``['torch','jittor','paddle','oneflow','numpy','raw', 'auto', None]``。 若为 ``'auto'`` ,则在进行 pad 的时候会根据调用的环境决定其 ``backend`` 。该参数对不能进行 pad 的数据没有影响,无法 pad 的数据返回一定