fastNLP/README.md

• fastNLP
• • 安装指南
  • 参考资源
  • 内置组件
  • 完整模型
  • 项目结构

fastNLP

fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个命名实体识别（NER）、中文分词或文本分类任务； 也可以使用他构建许多复杂的网络模型，进行科研。它具有如下的特性：

• 统一的Tabular式数据容器，让数据预处理过程简洁明了。内置多种数据集的DataSet Loader，省去预处理代码。
• 各种方便的NLP工具，例如预处理embedding加载; 中间数据cache等;
• 详尽的中文文档以供查阅；
• 提供诸多高级模块，例如Variational LSTM, Transformer, CRF等;
• 封装CNNText，Biaffine等模型可供直接使用;
• 便捷且具有扩展性的训练器; 提供多种内置callback函数，方便实验记录、异常捕获等。

安装指南

fastNLP 依赖如下包:

• numpy
• torch>=0.4.0
• tqdm
• nltk

其中torch的安装可能与操作系统及 CUDA 的版本相关，请参见 PyTorch 官网 。
在依赖包安装完成的情况，您可以在命令行执行如下指令完成安装

pip install fastNLP

参考资源

• 文档
• 源码

内置组件

大部分用于的 NLP 任务神经网络都可以看做由编码（encoder）、聚合（aggregator）、解码（decoder）三种模块组成。

fastNLP 在 modules 模块中内置了三种模块的诸多组件，可以帮助用户快速搭建自己所需的网络。 三种模块的功能和常见组件如下:

类型	功能	例子
encoder	将输入编码为具有具 有表示能力的向量	embedding, RNN, CNN, transformer
aggregator	从多个向量中聚合信息	self-attention, max-pooling
decoder	将具有某种表示意义的 向量解码为需要的输出 形式	MLP, CRF

完整模型

fastNLP 为不同的 NLP 任务实现了许多完整的模型，它们都经过了训练和测试。

你可以在以下两个地方查看相关信息

• 介绍
• 源码

项目结构

fastNLP的大致工作流程如上图所示，而项目结构如下：

fastNLP	开源的自然语言处理库
fastNLP.core	实现了核心功能，包括数据处理组件、训练器、测速器等
fastNLP.models	实现了一些完整的神经网络模型
fastNLP.modules	实现了用于搭建神经网络模型的诸多组件
fastNLP.io	实现了读写功能，包括数据读入，模型读写等

---

In memory of @FengZiYjun. May his soul rest in peace. We will miss you very very much!