Browse Source

update部分代码

tags/v1.0.0beta
yhcc 2 years ago
parent
commit
6f84091bfa
2 changed files with 3 additions and 4 deletions
  1. +2
    -3
      fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py
  2. +1
    -1
      fastNLP/core/collators/collator.py

+ 2
- 3
fastNLP/core/callbacks/torch_callbacks/torch_lr_sched_callback.py View File

@@ -41,10 +41,9 @@ class TorchWarmupCallback(Callback):
return max((progress - 1.) / (self.warmup - 1.), 0.) return max((progress - 1.) / (self.warmup - 1.), 0.)


def on_train_begin(self, trainer): def on_train_begin(self, trainer):
self.t_steps = trainer.n_batches
if self.warmup >1: if self.warmup >1:
self.warmup = self.warmup / self.t_steps
self.t_steps = max(2, self.t_steps) # 不能小于2
self.warmup = self.warmup / trainer.n_batches
self.t_steps = max(2, trainer.n_batches) # 不能小于2
# 防止 t_steps 不能整除 accumulation_steps # 防止 t_steps 不能整除 accumulation_steps
self.t_steps = math.ceil(self.t_steps/trainer.accumulation_steps) * trainer.accumulation_steps self.t_steps = math.ceil(self.t_steps/trainer.accumulation_steps) * trainer.accumulation_steps
# 获取param_group的初始learning rate # 获取param_group的初始learning rate


+ 1
- 1
fastNLP/core/collators/collator.py View File

@@ -107,7 +107,7 @@ class Collator:
如果需要某些 field 不要包含在 pad 之后的结果中,可以使用 :meth:`~fastNLP.Collator.set_ignore` 进行设置。 如果需要某些 field 不要包含在 pad 之后的结果中,可以使用 :meth:`~fastNLP.Collator.set_ignore` 进行设置。


Collator 在第一次进行 pad 的时候自动根据设置以及数据情况,为每个 field 获取一个 padder ,在之后的每次调用中,都将使用对应 Collator 在第一次进行 pad 的时候自动根据设置以及数据情况,为每个 field 获取一个 padder ,在之后的每次调用中,都将使用对应
的 Padder 给对应的 field 。
的 Padder 给对应的 field 。由于 Collator 只能在某个 field 内进行 pad ,如果 pad 操作需要同时操作多个 field ,请不要使用 Collator 。


:param backend: 对于可以 pad 的 field,使用哪种 tensor,支持 ``['torch','jittor','paddle','oneflow','numpy','raw', 'auto', None]``。 :param backend: 对于可以 pad 的 field,使用哪种 tensor,支持 ``['torch','jittor','paddle','oneflow','numpy','raw', 'auto', None]``。
若为 ``'auto'`` ,则在进行 pad 的时候会根据调用的环境决定其 ``backend`` 。该参数对不能进行 pad 的数据没有影响,无法 pad 的数据返回一定 若为 ``'auto'`` ,则在进行 pad 的时候会根据调用的环境决定其 ``backend`` 。该参数对不能进行 pad 的数据没有影响,无法 pad 的数据返回一定


Loading…
Cancel
Save