YWMditto
|
4b6e455247
|
更新了文档
|
3 years ago |
YWMditto
|
b1e23de8f7
|
Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0
|
3 years ago |
YWMditto
|
0506fc2fcb
|
添加了 TorchFSDPDriver;修改了 ddp 中的部分细节;删除了 topksaveer 的 rank_zero_only 修饰器
|
3 years ago |
x54-729
|
79b42a91ce
|
调整 fastNLP/core/drivers 的文档
|
3 years ago |
x54-729
|
f5005e1e8b
|
fix conflict
|
3 years ago |
x54-729
|
4cdfdc77c7
|
oneflow 动态图 单卡和ddp部分及测试
|
3 years ago |
x54-729
|
a495bb938a
|
1.修复模型会被移动到rank对应设备的问题 2.更改 deepspeed driver æ命名 3.为 deepspeed 添加 logging_level
|
3 years ago |
x54-729
|
2735d2d10c
|
DeepSpeedDriver现在可以通过 deepspeed 命令拉起;添加了相关 trainer 的简单测试
|
3 years ago |
x54-729
|
22d95be007
|
Merge branch 'dev0.8.0' into deepspeed
|
3 years ago |
x54-729
|
cbee1c6cbc
|
deepspeed test init
|
3 years ago |
YWMditto
|
bb68856f85
|
添加对 overfit 多卡的测试
|
3 years ago |
YWMditto
|
024fecfbf3
|
添加了 overfit 的功能
|
3 years ago |
x54-729
|
f7b3fe6a06
|
small
|
3 years ago |
x54-729
|
75a3278d69
|
1. 完成JittorSingleDriver的功能,并添加测试用例 2.在Sampler中添加属性num_samplers 用于动态获取dataset的长度 3.添加便于测试断点重训的数据集 4.修改jittor其它测试的一些bug,统一ArgMaxDataset 的命名
|
3 years ago |
Letian Li
|
005b0e055e
|
实现 jittor driver 多卡训练 (#418)
|
3 years ago |
Letian Li
|
5425095cac
|
[bugfix] 修复 tests/core/controllers/_test_trainer_jittor.py,使其可以正常运行 (#415)
* 修复 tests/core/controllers/_test_trainer_jittor.py,使其可以正常运行
Trainer 并不接收 validate_dataloaders 参数,改为 evaluate_dataloaders 即可。
* jittor single driver 支持 cpu 和 gpu 的切换
|
3 years ago |
yh
|
466e924d2e
|
1.修复classify_f1_pre_rec_metric在batch中target不包含某类class时的计算错误;2.增加对FairScale的支持, 同时修改TorchDriver以实现兼容
|
3 years ago |
x54-729
|
60f98538fd
|
update jenkins
|
3 years ago |
x54-729
|
c977d3be02
|
补充需要 _NEED_IMPORT_TORCH 的地方
|
3 years ago |
yh
|
6d2dca421d
|
修改测试中需要超过2个gpu的
|
3 years ago |
yh
|
e813aeaa6f
|
删掉一些测试内容
|
3 years ago |
x54-729
|
a000c47748
|
减少部分测试的数据集大小和epochs以加快测试速度
|
3 years ago |
yh
|
d4bccf3f6a
|
修复Evaluator的evaluate_use_dist_sampler在Trainer中的bug
|
3 years ago |
x54-729
|
c4af9f21c6
|
paddle 和测试例跟进 set_dist_repro_dataloader 函数;修改test_trainer_wo_evaluator_torch.py的bug
|
3 years ago |
x54-729
|
655e48de99
|
1.修改torch测试例中多卡的driver参数 2.修改测试例中的driver.save driver.load为driver.save_checkpoint driver.load_checkpoint 3.添加lstm
|
3 years ago |
x54-729
|
d79de6b008
|
1. 继续完善部分文档;2.删除 paddle 多卡下的 data_device 功能 3. 将 paddle_utils 下的 get_device_from_visible 函数更名为 _convert_data_device 并进行修改
|
3 years ago |
x54-729
|
ef892a7aed
|
1. 支持在不设置backend的情况下运行单卡的paddle程序 2.当通过launch启动且限制显卡时的paddle多卡逻辑
|
3 years ago |
x54-729
|
2a44af2519
|
为 test_trainer_jittor 添加 DummyClass 和 pytest.mark.jittor
|
3 years ago |
x54-729
|
fe449bd543
|
删除 initialize_paddle_driver 对参数 driver的限制,使得它能够根据 device 初始化 driver
|
3 years ago |
YWMditto
|
bcc66b43cf
|
修改了 trainer 和 evaluator 的 torch_kwargs
|
3 years ago |
yh_cc
|
f1fa665e7c
|
merge
|
3 years ago |
yh_cc
|
22c4a6ef3d
|
1.ResultsMonitor;2.修改了Evaluator中metric名称的实现方式
|
3 years ago |
Letian Li
|
a294955e32
|
[bugfix] 支持 Jittor single driver,并添加测试用例 (#413)
* 支持 Jittor single driver
* 提交对 Jittor single driver 的测试用例
|
3 years ago |
yh_cc
|
2a80a9de44
|
Trainer.on支持*args等形式的输入
|
3 years ago |
x54-729
|
45d08ee218
|
fix conflict
|
3 years ago |
x54-729
|
80ef85cf7c
|
为 paddle 分布式的测试例添加paddledist标签
|
3 years ago |
yh_cc
|
5e24933521
|
设置init
|
3 years ago |
x54-729
|
c3530183aa
|
将 get_device_from_visible 移动至 paddle_utils.py
|
3 years ago |
x54-729
|
c8e8ff4a8c
|
修改测试例中的Events为Event
|
3 years ago |
x54-729
|
0c129bd8b8
|
merge
|
3 years ago |
YWMditto
|
5fad600ebc
|
修复了测试的冲突
|
3 years ago |
YWMditto
|
3d4c318f0e
|
添加了 test_trainer_event_trigger_3 的测试
|
3 years ago |
yh_cc
|
c373105674
|
merge
|
3 years ago |
yh_cc
|
bf24977861
|
修改Event,删除EventsList,Events等
|
3 years ago |
YWMditto
|
b88a15dabb
|
加入了callback events 的测试
|
3 years ago |
x54-729
|
85d5fdff32
|
Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0
|
3 years ago |
YWMditto
|
30af3b032f
|
添加了测试 函数式 callback
|
3 years ago |
x54-729
|
36ed894a77
|
Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0
|
3 years ago |
YWMditto
|
3069017aae
|
添加了测试 函数式 callback 的test
|
3 years ago |
x54-729
|
f79ee04956
|
为torch测试例添加_NEED_IMPORT_TORCH
|
3 years ago |