之江天枢 - 数据集导入脚本

之江天枢一站式人工智能开源平台（简称：之江天枢）,为了实现其他平台已标注完成的数据集在「一站式开发平台」上进行开发，我们增加了数据集导入功能，用来导入本地已存在的数据集文件。

环境依赖

安装如下软件环境。

OpenJDK：1.8+

下载脚本

数据集导入模板：http://tianshu.org.cn/static/upload/file/dubhe-dataset-template.zip
数据集导入脚本：http://tianshu.org.cn/static/upload/file/upload_dataset.zip

创建数据集：

首先需要参考部署文档成功部署「一站式平台」
准备好本地待导入数据集文件，包括图片、标注和标签文件，文件格式参考目录说明
登录天枢深度学习平台，在「数据管理」模块下创建数据集，使用文档

运行脚本：

1.下载导入脚本压缩包（upload_dataset），解压之后， application-{env} 为脚本配置文件，默认 env 环境为 dev，需要自行配置数据源、MinIO 相关配置。

2.运行脚本，Windows 下执行 run.bat; macOS/Linux 系统运行 run.sh。

根据不同环境需求，可自行配置 application-{env}.yml文件。 run.bat {env}即可执行对应的 application-{env}.yml 配置文件，注意在运行脚本前需要保证配置文件已存在。

3.根据提示输入数据集 ID。

4.根据提示输入待导入数据集绝对路径。

导入成功。

目录结构：

目录说明

图片目录：origin (图片支持四种格式：.jpg,.png,.bmp,.jpeg)
标注目录：annotation (标注文件仅支持 .json 格式）
标签文件：文件格式为 label_{name}.json，其中 name 为「标签组」名称，且不能与已有标签组名称重复

文件格式

标签文件:

格式如下：

    name: 名称
    color: 颜色(16进制编码)

详细示例：

[{
	"name": "行人",
	"color": "#ffbb96"
}, 
{
	"name": "自行车",
	"color": "#fcffe6"
}, 
{
	"name": "汽车",
	"color": "#f4ffb8"
}]

标注文件：

图片分类

格式如下：

    name: 对应标签名称
    score：置信分数（0-1）

详细示例：

[{"name":"wheaten_terrier","score":1}]

目标检测

格式如下：

    name: 对应标签名称
    bbox: 标注位置
    score：置信分数（0-1）

详细示例：

[{
    "name": "行人",
    "bbox": [321.6755762696266, 171.32076993584633, 185.67924201488495, 145.02639323472977],
    "score": 0.6922634840011597
}, 
{
    "name": "自行车",
    "bbox": [40.88740050792694, 22.707078605890274, 451.21362805366516, 326.0102793574333],
    "score": 0.6069411635398865
}]

3.1 kB Raw Blame History

之江天枢 - 数据集导入脚本

环境依赖

下载脚本

创建数据集：

运行脚本：

目录结构：

文件格式

标签文件:

标注文件：

了解更多

3.1 kB

Raw Blame History