From 6f84091bfa323cf584b830ed49a94a99819e0fb7 Mon Sep 17 00:00:00 2001 From: yhcc Date: Mon, 25 Jul 2022 16:17:04 +0800 Subject: [PATCH] =?UTF-8?q?update=E9=83=A8=E5=88=86=E4=BB=A3=E7=A0=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../callbacks/torch_callbacks/torch_lr_sched_callback.py | 5 ++--- fastNLP/core/collators/collator.py | 2 +- 2 files changed, 3 insertions(+), 4 deletions(-) diff --git a/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py b/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py index 07c3c612..97e1c544 100644 --- a/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py +++ b/fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py @@ -41,10 +41,9 @@ class TorchWarmupCallback(Callback): return max((progress - 1.) / (self.warmup - 1.), 0.) def on_train_begin(self, trainer): - self.t_steps = trainer.n_batches if self.warmup >1: - self.warmup = self.warmup / self.t_steps - self.t_steps = max(2, self.t_steps) # 不能小于2 + self.warmup = self.warmup / trainer.n_batches + self.t_steps = max(2, trainer.n_batches) # 不能小于2 # 防止 t_steps 不能整除 accumulation_steps self.t_steps = math.ceil(self.t_steps/trainer.accumulation_steps) * trainer.accumulation_steps # 获取param_group的初始learning rate diff --git a/fastNLP/core/collators/collator.py b/fastNLP/core/collators/collator.py index 0ff9fb2a..5a3b1967 100644 --- a/fastNLP/core/collators/collator.py +++ b/fastNLP/core/collators/collator.py @@ -107,7 +107,7 @@ class Collator: 如果需要某些 field 不要包含在 pad 之后的结果中，可以使用 :meth:`~fastNLP.Collator.set_ignore` 进行设置。 Collator 在第一次进行 pad 的时候自动根据设置以及数据情况，为每个 field 获取一个 padder ，在之后的每次调用中，都将使用对应 - 的 Padder 给对应的 field 。 + 的 Padder 给对应的 field 。由于 Collator 只能在某个 field 内进行 pad ，如果 pad 操作需要同时操作多个 field ，请不要使用 Collator 。 :param backend: 对于可以 pad 的 field，使用哪种 tensor，支持 ``['torch','jittor','paddle','oneflow','numpy','raw', 'auto', None]``。 若为 ``'auto'`` ，则在进行 pad 的时候会根据调用的环境决定其 ``backend`` 。该参数对不能进行 pad 的数据没有影响，无法 pad 的数据返回一定