feiwu.yfw
|
2b64cf2bb6
|
[to #42322933]支持从dataset json文件中获取参数
* dataset json file add args
|
3 years ago |
feiwu.yfw
|
39485426e7
|
[to #42322933]:fix msdataset
* 修复了zip文件不同打包模式下返回路径错误问题。
* 修复了替换了数据集文件重新下载时校验失败问题。
* 修复dataset oss文件在 REUSE 模式下重复下载的问题。
* 修复了csv数据集的meta json文件中某个split的meta和file字段都为''时加载所有split失败的问题。
* 修复了不同版本datasets路径不一致的问题。
|
3 years ago |
xingjun.wxj
|
44033290d4
|
[to #42322933]MsDataset 支持上传数据集压缩包和meta
1. MsDataset支持upload数据文件(压缩包)
2. MsDataset支持clone和upload meta data
3. 使用MsDataset.load()下载数据集,支持web端显示数据集下载计数
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9831232
|
3 years ago |
feiwu.yfw
|
35548bd492
|
[to #43875101]
msdataset add coco dataset
unify taskdataset and ms dataset
fix hf datasets
|
3 years ago |
feiwu.yfw
|
743e876981
|
[to #43660556] msdataset数据集加载
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9552632
* load csv dataset from modelscoop
|
3 years ago |
feiwu.yfw
|
2c3875c0e1
|
[to #43299989] Fix msdataset
* fix msdataset
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9436292
* fix msdataset
|
3 years ago |
feiwu.yfw
|
5da470fd5d
|
[to #42791465, #42779255, #42777959, #42757844, #42756050, #42746916, #42743595, #42791863] fix: fix msdataset
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9174075
* fix msdataset
|
3 years ago |
yingda.chen
|
6702b29e21
|
[to #42794773]rename pydataset to msdataset
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9165402
|
3 years ago |