From 0a014fe3aeffafa473aaa79c8f0d99b5641e74f1 Mon Sep 17 00:00:00 2001 From: ChenXin Date: Mon, 13 May 2019 00:49:54 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BF=AE=E6=94=B9=E4=BA=86=20core=20=E5=92=8C?= =?UTF-8?q?=20io=20=E7=9A=84=E5=BC=80=E7=AF=87=E4=BB=8B=E7=BB=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- fastNLP/__init__.py | 11 +++++------ fastNLP/core/__init__.py | 9 +++++---- fastNLP/io/__init__.py | 13 ++++++------- fastNLP/io/dataset_loader.py | 5 ++--- fastNLP/io/embed_loader.py | 7 +------ 5 files changed, 19 insertions(+), 26 deletions(-) diff --git a/fastNLP/__init__.py b/fastNLP/__init__.py index bb9dfb4a..5dd5fd54 100644 --- a/fastNLP/__init__.py +++ b/fastNLP/__init__.py @@ -1,12 +1,11 @@ """ fastNLP 由 :mod:`~fastNLP.core` 、 :mod:`~fastNLP.io` 、:mod:`~fastNLP.modules`、:mod:`~fastNLP.models` -和 :mod:`~fastNLP.component` 等子模块组成。 +等子模块组成,你可以点进去查看每个模块的文档。 -- :mod:`~fastNLP.core` fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件 -- :mod:`~fastNLP.io` fastNLP 的输入输出模块,实现了数据集的读取,模型的存取等功能 -- :mod:`~fastNLP.modules` TODO 如何介绍 -- :mod:`~fastNLP.models` 使用 fastNLP 实现的一些常见模型,具体参见 :doc:`fastNLP.models` -- :mod:`~fastNLP.component` TODO +- :mod:`~fastNLP.core` 是fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件。详见文档 :doc:`/fastNLP.core` +- :mod:`~fastNLP.io` 是实现输入输出的模块,包括了数据集的读取,模型的存取等功能。详见文档 :doc:`/fastNLP.io` +- :mod:`~fastNLP.modules` 包含了用于搭建神经网络模型的诸多组件,可以帮助用户快速搭建自己所需的网络。详见文档 :doc:`/fastNLP.modules` +- :mod:`~fastNLP.models` 包含了一些使用 fastNLP 实现的完整网络模型,包括CNNText、SeqLabeling等常见模型。详见文档 :doc:`/fastNLP.models` fastNLP 中最常用的组件可以直接从 fastNLP 包中 import ,他们的文档如下: """ diff --git a/fastNLP/core/__init__.py b/fastNLP/core/__init__.py index 3c5b3f42..d6ab8983 100644 --- a/fastNLP/core/__init__.py +++ b/fastNLP/core/__init__.py @@ -1,5 +1,5 @@ """ -core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import, +core 模块里实现了 fastNLP 的核心框架,常用的功能都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import, 例如 Batch 组件有两种 import 的方式:: # 直接从 fastNLP 中 import @@ -8,10 +8,11 @@ core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fa # 从 core 模块的子模块 batch 中 import from fastNLP.core.batch import Batch -对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的分工,您可以阅读以下文档: - - TODO 向导 +对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的具体作用,您可以在下面找到每个子模块的具体文档。 +.. todo:: + 介绍core 的子模块的分工,好像必要性不大 + """ from .batch import Batch from .callback import Callback, GradientClipCallback, EarlyStopCallback, TensorboardCallback, LRScheduler, ControlC diff --git a/fastNLP/io/__init__.py b/fastNLP/io/__init__.py index b855a1bb..3baf878c 100644 --- a/fastNLP/io/__init__.py +++ b/fastNLP/io/__init__.py @@ -5,15 +5,10 @@ 2. 用于读入数据的 :doc:`DataSetLoader ` 类 -3. 用于保存和载入模型的类, 参考 :doc:`Model-IO ` +3. 用于保存和载入模型的类, 参考 :doc:`/fastNLP.io.model_io` -这些类的使用方法可以在对应module的文档下查看. +这些类的使用方法如下: """ -from .embed_loader import EmbedLoader -from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \ - PeopleDailyCorpusLoader, Conll2003Loader -from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver - __all__ = [ 'EmbedLoader', @@ -29,3 +24,7 @@ __all__ = [ 'ModelLoader', 'ModelSaver', ] +from .embed_loader import EmbedLoader +from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \ + PeopleDailyCorpusLoader, Conll2003Loader +from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver \ No newline at end of file diff --git a/fastNLP/io/dataset_loader.py b/fastNLP/io/dataset_loader.py index 5df48d71..3cd475a5 100644 --- a/fastNLP/io/dataset_loader.py +++ b/fastNLP/io/dataset_loader.py @@ -1,8 +1,7 @@ """ dataset_loader模块实现了许多 DataSetLoader, 用于读取不同格式的数据, 并返回 `DataSet` , -得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试 - -Example:: +得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试。 +以SNLI数据集为例:: loader = SNLILoader() train_ds = loader.load('path/to/train') diff --git a/fastNLP/io/embed_loader.py b/fastNLP/io/embed_loader.py index 4cc8f596..9f3a73dd 100644 --- a/fastNLP/io/embed_loader.py +++ b/fastNLP/io/embed_loader.py @@ -1,8 +1,3 @@ -""" -.. _embed-loader: - -用于读取预训练的embedding, 读取结果可直接载入为模型参数 -""" import os import numpy as np @@ -16,7 +11,7 @@ class EmbedLoader(BaseLoader): """ 别名::class:`fastNLP.io.EmbedLoader` :class:`fastNLP.io.embed_loader.EmbedLoader` - 这个类用于从预训练的Embedding中load数据。 + 用于读取预训练的embedding, 读取结果可直接载入为模型参数。 """ def __init__(self):