Dubhe/dataset-util

• 之江天枢-数据集导入脚本
• • 源码部署
  • 下载脚本
  • 脚本使用说明：
  • 运行脚本：
  • 目录结构：
  • 文件格式
  • 了解更多

之江天枢-数据集导入脚本

之江天枢一站式人工智能开源平台（简称：之江天枢）,为了实现其他平台已标注完成的数据集在「一站式开发平台」上进行开发，我们增加了数据集导入的功能，实现对数据集的全流程功能操作。

源码部署

安装如下软件环境。

• OpenJDK：1.8+

下载脚本

• 数据集模板：http://tianshu.org.cn/static/upload/file/dubhe-dataset-template.zip
• 上传数据集脚本：http://tianshu.org.cn/static/upload/file/upload_dataset.zip

脚本使用说明：

• 登录天枢系统深度学习平台，在数据管理菜单下的数据集管理中创建数据集。获取数据集ID
• 需要自行准备图片文件、标注文件、标签文件

运行脚本：

1.解压下载的zip文件，需要自行配置数据源、MinIO相关配置

2.运行脚本Windows 运行 run.bat; macOS/Linux 系统运行 run.sh

注：可自行配置'application-{env}.xml'文件，执行命令后面添加 'run.bat {env}'即可执行对应的application-{env}.xml；然后按提示进行操作

3.输入数据集ID

4.输入待导入数据集绝对路径

目录结构：

标签文件： label_{name}.json ({name} 代表标签组名，可自行定义; 只读标签组文件夹下的第一个标签组文件，标签文件仅支持:.json 支持大小写;文件内容为JSON字符串)
图片文件目录： origin (图片文件需要有后缀名，支持四种格式：.jpg,.png,.bmp,.jpeg 支持大小写)
标注文件目录： annotation (标注文件需要有后缀名，仅支持格式：.json 支持大小写; 文件内容为JSON字符串) 

文件格式

• 标签文件内容样例:

    name: 名称
    color: 颜色(16进制编码)

详细示例：

[{
	"name": "行人",
	"color": "#ffbb96"
}, 
{
	"name": "自行车",
	"color": "#fcffe6"
}, 
{
	"name": "汽车",
	"color": "#f4ffb8"
}]

• 标注文件内容样例：

    name: 名称
    bbox: 标注位置
    score：分数

详细示例：

[{
	"name": "行人",
	"bbox": [321.6755762696266, 171.32076993584633, 185.67924201488495, 145.02639323472977],
	"score": 0.6922634840011597
}, 
{
	"name": "自行车",
	"bbox": [40.88740050792694, 22.707078605890274, 451.21362805366516, 326.0102793574333],
	"score": 0.6069411635398865
}]

了解更多

http://docs.dubhe.ai/docs/module/dataset/import-dataset