@@ -1,12 +1,11 @@ | |||||
""" | """ | ||||
fastNLP 由 :mod:`~fastNLP.core` 、 :mod:`~fastNLP.io` 、:mod:`~fastNLP.modules`、:mod:`~fastNLP.models` | fastNLP 由 :mod:`~fastNLP.core` 、 :mod:`~fastNLP.io` 、:mod:`~fastNLP.modules`、:mod:`~fastNLP.models` | ||||
和 :mod:`~fastNLP.component` 等子模块组成。 | |||||
等子模块组成,你可以点进去查看每个模块的文档。 | |||||
- :mod:`~fastNLP.core` fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件 | |||||
- :mod:`~fastNLP.io` fastNLP 的输入输出模块,实现了数据集的读取,模型的存取等功能 | |||||
- :mod:`~fastNLP.modules` TODO 如何介绍 | |||||
- :mod:`~fastNLP.models` 使用 fastNLP 实现的一些常见模型,具体参见 :doc:`fastNLP.models` | |||||
- :mod:`~fastNLP.component` TODO | |||||
- :mod:`~fastNLP.core` 是fastNLP 的核心模块,包括 DataSet、 Trainer、 Tester 等组件。详见文档 :doc:`/fastNLP.core` | |||||
- :mod:`~fastNLP.io` 是实现输入输出的模块,包括了数据集的读取,模型的存取等功能。详见文档 :doc:`/fastNLP.io` | |||||
- :mod:`~fastNLP.modules` 包含了用于搭建神经网络模型的诸多组件,可以帮助用户快速搭建自己所需的网络。详见文档 :doc:`/fastNLP.modules` | |||||
- :mod:`~fastNLP.models` 包含了一些使用 fastNLP 实现的完整网络模型,包括CNNText、SeqLabeling等常见模型。详见文档 :doc:`/fastNLP.models` | |||||
fastNLP 中最常用的组件可以直接从 fastNLP 包中 import ,他们的文档如下: | fastNLP 中最常用的组件可以直接从 fastNLP 包中 import ,他们的文档如下: | ||||
""" | """ | ||||
@@ -1,5 +1,5 @@ | |||||
""" | """ | ||||
core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import, | |||||
core 模块里实现了 fastNLP 的核心框架,常用的功能都可以从 fastNLP 包中直接 import。当然你也同样可以从 core 模块的子模块中 import, | |||||
例如 Batch 组件有两种 import 的方式:: | 例如 Batch 组件有两种 import 的方式:: | ||||
# 直接从 fastNLP 中 import | # 直接从 fastNLP 中 import | ||||
@@ -8,10 +8,11 @@ core 模块里实现了 fastNLP 的核心框架,常用的组件都可以从 fa | |||||
# 从 core 模块的子模块 batch 中 import | # 从 core 模块的子模块 batch 中 import | ||||
from fastNLP.core.batch import Batch | from fastNLP.core.batch import Batch | ||||
对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的分工,您可以阅读以下文档: | |||||
TODO 向导 | |||||
对于常用的功能,你只需要在 :doc:`fastNLP` 中查看即可。如果想了解各个子模块的具体作用,您可以在下面找到每个子模块的具体文档。 | |||||
.. todo:: | |||||
介绍core 的子模块的分工,好像必要性不大 | |||||
""" | """ | ||||
from .batch import Batch | from .batch import Batch | ||||
from .callback import Callback, GradientClipCallback, EarlyStopCallback, TensorboardCallback, LRScheduler, ControlC | from .callback import Callback, GradientClipCallback, EarlyStopCallback, TensorboardCallback, LRScheduler, ControlC | ||||
@@ -5,15 +5,10 @@ | |||||
2. 用于读入数据的 :doc:`DataSetLoader <fastNLP.io.dataset_loader>` 类 | 2. 用于读入数据的 :doc:`DataSetLoader <fastNLP.io.dataset_loader>` 类 | ||||
3. 用于保存和载入模型的类, 参考 :doc:`Model-IO <fastNLP.io.model_io>` | |||||
3. 用于保存和载入模型的类, 参考 :doc:`/fastNLP.io.model_io` | |||||
这些类的使用方法可以在对应module的文档下查看. | |||||
这些类的使用方法如下: | |||||
""" | """ | ||||
from .embed_loader import EmbedLoader | |||||
from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \ | |||||
PeopleDailyCorpusLoader, Conll2003Loader | |||||
from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver | |||||
__all__ = [ | __all__ = [ | ||||
'EmbedLoader', | 'EmbedLoader', | ||||
@@ -29,3 +24,7 @@ __all__ = [ | |||||
'ModelLoader', | 'ModelLoader', | ||||
'ModelSaver', | 'ModelSaver', | ||||
] | ] | ||||
from .embed_loader import EmbedLoader | |||||
from .dataset_loader import DataSetLoader, CSVLoader, JsonLoader, ConllLoader, SNLILoader, SSTLoader, \ | |||||
PeopleDailyCorpusLoader, Conll2003Loader | |||||
from .model_io import ModelLoader as ModelLoader, ModelSaver as ModelSaver |
@@ -1,8 +1,7 @@ | |||||
""" | """ | ||||
dataset_loader模块实现了许多 DataSetLoader, 用于读取不同格式的数据, 并返回 `DataSet` , | dataset_loader模块实现了许多 DataSetLoader, 用于读取不同格式的数据, 并返回 `DataSet` , | ||||
得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试 | |||||
Example:: | |||||
得到的 :class:`~fastNLP.DataSet` 对象可以直接传入 :class:`~fastNLP.Trainer`, :class:`~fastNLP.Tester`, 用于模型的训练和测试。 | |||||
以SNLI数据集为例:: | |||||
loader = SNLILoader() | loader = SNLILoader() | ||||
train_ds = loader.load('path/to/train') | train_ds = loader.load('path/to/train') | ||||
@@ -1,8 +1,3 @@ | |||||
""" | |||||
.. _embed-loader: | |||||
用于读取预训练的embedding, 读取结果可直接载入为模型参数 | |||||
""" | |||||
import os | import os | ||||
import numpy as np | import numpy as np | ||||
@@ -16,7 +11,7 @@ class EmbedLoader(BaseLoader): | |||||
""" | """ | ||||
别名::class:`fastNLP.io.EmbedLoader` :class:`fastNLP.io.embed_loader.EmbedLoader` | 别名::class:`fastNLP.io.EmbedLoader` :class:`fastNLP.io.embed_loader.EmbedLoader` | ||||
这个类用于从预训练的Embedding中load数据。 | |||||
用于读取预训练的embedding, 读取结果可直接载入为模型参数。 | |||||
""" | """ | ||||
def __init__(self): | def __init__(self): | ||||