|
|
@@ -1,60 +1,28 @@ |
|
|
|
fastNLP 中文文档 |
|
|
|
===================== |
|
|
|
|
|
|
|
fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个命名实体识别(NER)、中文分词或文本分类任务; |
|
|
|
也可以使用他构建许多复杂的网络模型,进行科研。它具有如下的特性: |
|
|
|
`fastNLP <https://github.com/fastnlp/fastNLP/>`_ 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注 |
|
|
|
(NER、POS-Tagging等)、中文分词、文本分类、Matching、指代消解、摘要等任务 |
|
|
|
(详见 `reproduction <https://github.com/fastnlp/fastNLP/tree/master/reproduction>`_ ); |
|
|
|
也可以使用它构建许多复杂的网络模型,进行科研。它具有如下的特性: |
|
|
|
|
|
|
|
- 统一的Tabular式数据容器,让数据预处理过程简洁明了。内置多种数据集的DataSet Loader,省去预处理代码。 |
|
|
|
- 各种方便的NLP工具,例如预处理embedding加载; 中间数据cache等; |
|
|
|
- 详尽的中文文档以供查阅; |
|
|
|
- 提供诸多高级模块,例如Variational LSTM, Transformer, CRF等; |
|
|
|
- 封装CNNText,Biaffine等模型可供直接使用; |
|
|
|
- 便捷且具有扩展性的训练器; 提供多种内置callback函数,方便实验记录、异常捕获等。 |
|
|
|
- 统一的Tabular式数据容器,让数据预处理过程简洁明了。内置多种数据集的 :mod:`~fastNLP.io.data_loader` ,省去预处理代码; |
|
|
|
- 多种训练、测试组件,例如训练器 :class:`~fastNLP.Trainer` ;测试器 :class:`~fastNLP.Tester` ;以及各种评测 :mod:`~fastNLP.core.metrics` 等等; |
|
|
|
- 各种方便的NLP工具,例如预处理 :mod:`embedding<fastNLP.embeddings>` 加载(包括ELMo和BERT); 中间数据存储 :func:`cache <fastNLP.cache_results>` 等; |
|
|
|
- 提供诸多高级模块 :mod:`~fastNLP.modules`,例如 :class:`~fastNLP.modules.VarLSTM` , :class:`Transformer<fastNLP.modules.TransformerEncoder>` , :class:`CRF<fastNLP.modules.ConditionalRandomField>` 等; |
|
|
|
- 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种 :mod:`~fastNLP.models` 可供直接使用; |
|
|
|
- 训练器便捷且具有扩展性,提供多种内置 :mod:`~fastNLP.core.callback` 函数,方便实验记录、异常捕获等。 |
|
|
|
|
|
|
|
|
|
|
|
内置组件 |
|
|
|
------------ |
|
|
|
|
|
|
|
大部分用于的 NLP 任务神经网络都可以看做由编码(encoder)、聚合(aggregator)、解码(decoder)三种模块组成。 |
|
|
|
|
|
|
|
.. image:: figures/text_classification.png |
|
|
|
|
|
|
|
fastNLP 在 :mod:`~fastNLP.modules` 模块中内置了三种模块的诸多组件,可以帮助用户快速搭建自己所需的网络。 |
|
|
|
三种模块的功能和常见组件如下: |
|
|
|
|
|
|
|
+-----------------------+-----------------------+-----------------------+ |
|
|
|
| module type | functionality | example | |
|
|
|
+=======================+=======================+=======================+ |
|
|
|
| encoder | 将输入编码为具有具 | embedding, RNN, CNN, | |
|
|
|
| | 有表示能力的向量 | transformer | |
|
|
|
+-----------------------+-----------------------+-----------------------+ |
|
|
|
| aggregator | 从多个向量中聚合信息 | self-attention, | |
|
|
|
| | | max-pooling | |
|
|
|
+-----------------------+-----------------------+-----------------------+ |
|
|
|
| decoder | 将具有某种表示意义的 | MLP, CRF | |
|
|
|
| | 向量解码为需要的输出 | | |
|
|
|
| | 形式 | | |
|
|
|
+-----------------------+-----------------------+-----------------------+ |
|
|
|
|
|
|
|
|
|
|
|
内置模型 |
|
|
|
---------------- |
|
|
|
|
|
|
|
fastNLP 在 :mod:`~fastNLP.models` 模块中内置了如 :class:`~fastNLP.models.CNNText` 、 |
|
|
|
:class:`~fastNLP.models.SeqLabeling` 等完整的模型,以供用户直接使用。 |
|
|
|
|
|
|
|
.. todo:: |
|
|
|
这些模型的介绍如下表所示:(模型名称 + 介绍 + 任务上的结果) |
|
|
|
|
|
|
|
用户手册 |
|
|
|
---------------- |
|
|
|
|
|
|
|
.. toctree:: |
|
|
|
:maxdepth: 1 |
|
|
|
:maxdepth: 2 |
|
|
|
|
|
|
|
安装指南 </user/installation> |
|
|
|
快速入门 </user/quickstart> |
|
|
|
详细指南 </user/tutorials> |
|
|
|
详细教程 </user/tutorials> |
|
|
|
|
|
|
|
API 文档 |
|
|
|
------------- |
|
|
@@ -67,11 +35,11 @@ API 文档 |
|
|
|
|
|
|
|
fastNLP |
|
|
|
|
|
|
|
fitlog |
|
|
|
------ |
|
|
|
fitlog文档 |
|
|
|
---------- |
|
|
|
|
|
|
|
用户可以 `点此 <https://fitlog.readthedocs.io/zh/latest/>`_ 查看fitlog的文档。 |
|
|
|
fitlog 是由我们团队开发,用于帮助用户记录日志并管理代码的工具 |
|
|
|
您可以 `点此 <https://fitlog.readthedocs.io/zh/latest/>`_ 查看fitlog的文档。 |
|
|
|
fitlog 是由我们团队开发的日志记录+代码管理的工具。 |
|
|
|
|
|
|
|
索引与搜索 |
|
|
|
================== |
|
|
|