Browse Source

修改了 core 和 io 的开篇介绍

tags/v0.4.10
ChenXin 5 years ago
parent
commit
0a014fe3ae
5 changed files with 19 additions and 26 deletions
  1. +5
    -6
      fastNLP/__init__.py
  2. +5
    -4
      fastNLP/core/__init__.py
  3. +6
    -7
      fastNLP/io/__init__.py
  4. +2
    -3
      fastNLP/io/dataset_loader.py
  5. +1
    -6
      fastNLP/io/embed_loader.py

+ 5
- 6
fastNLP/__init__.py View File

@@ -1,12 +1,11 @@
"""
fastNLP 由 :mod:`~fastNLP.core` 、 :mod:`~fastNLP.io` 、:mod:`~fastNLP.modules`、:mod:`~fastNLP.models`
和 :mod:`~fastNLP.component` 等子模块组成。
等子模块组成,你可以点进去查看每个模块的文档

- :mod:`~fastNLP.core` fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件
- :mod:`~fastNLP.io` fastNLP 的输入输出模块,实现了数据集的读取,模型的存取等功能
- :mod:`~fastNLP.modules` TODO 如何介绍
- :mod:`~fastNLP.models` 使用 fastNLP 实现的一些常见模型,具体参见 :doc:`fastNLP.models`
- :mod:`~fastNLP.component` TODO
- :mod:`~fastNLP.core` 是fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件。详见文档 :doc:`/fastNLP.core`
- :mod:`~fastNLP.io` 是实现输入输出的模块,包括了数据集的读取,模型的存取等功能。详见文档 :doc:`/fastNLP.io`
- :mod:`~fastNLP.modules` 包含了用于搭建神经网络模型的诸多组件,可以帮助用户快速搭建自己所需的网络。详见文档 :doc:`/fastNLP.modules`
- :mod:`~fastNLP.models` 包含了一些使用 fastNLP 实现的完整网络模型,包括CNNText、SeqLabeling等常见模型。详见文档 :doc:`/fastNLP.models`

fastNLP 中最常用的组件可以直接从 fastNLP 包中 import ,他们的文档如下:
"""


+ 5
- 4
fastNLP/core/__init__.py View File

@@ -1,5 +1,5 @@
"""
core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import,
core 模块里实现了 fastNLP 的核心框架,常用的功能都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import,
例如 Batch 组件有两种 import 的方式::
# 直接从 fastNLP 中 import
@@ -8,10 +8,11 @@ core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fa
# 从 core 模块的子模块 batch 中 import
from fastNLP.core.batch import Batch

对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的分工,您可以阅读以下文档:

TODO 向导
对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的具体作用,您可以在下面找到每个子模块的具体文档。

.. todo::
介绍core 的子模块的分工,好像必要性不大
"""
from .batch import Batch
from .callback import Callback, GradientClipCallback, EarlyStopCallback, TensorboardCallback, LRScheduler, ControlC


+ 6
- 7
fastNLP/io/__init__.py View File

@@ -5,15 +5,10 @@

2. 用于读入数据的 :doc:`DataSetLoader <fastNLP.io.dataset_loader>` 类

3. 用于保存和载入模型的类, 参考 :doc:`Model-IO <fastNLP.io.model_io>`
3. 用于保存和载入模型的类, 参考 :doc:`/fastNLP.io.model_io`

这些类的使用方法可以在对应module的文档下查看.
这些类的使用方法如下:
"""
from .embed_loader import EmbedLoader
from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \
PeopleDailyCorpusLoader, Conll2003Loader
from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver

__all__ = [
'EmbedLoader',
@@ -29,3 +24,7 @@ __all__ = [
'ModelLoader',
'ModelSaver',
]
from .embed_loader import EmbedLoader
from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \
PeopleDailyCorpusLoader, Conll2003Loader
from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver

+ 2
- 3
fastNLP/io/dataset_loader.py View File

@@ -1,8 +1,7 @@
"""
dataset_loader模块实现了许多 DataSetLoader, 用于读取不同格式的数据, 并返回 `DataSet` ,
得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试

Example::
得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试。
以SNLI数据集为例::

loader = SNLILoader()
train_ds = loader.load('path/to/train')


+ 1
- 6
fastNLP/io/embed_loader.py View File

@@ -1,8 +1,3 @@
"""
.. _embed-loader:

用于读取预训练的embedding, 读取结果可直接载入为模型参数
"""
import os

import numpy as np
@@ -16,7 +11,7 @@ class EmbedLoader(BaseLoader):
"""
别名::class:`fastNLP.io.EmbedLoader` :class:`fastNLP.io.embed_loader.EmbedLoader`

这个类用于从预训练的Embedding中load数据
用于读取预训练的embedding, 读取结果可直接载入为模型参数
"""

def __init__(self):


Loading…
Cancel
Save