@@ -6,50 +6,59 @@ | |||||
 |  | ||||
[](http://fastnlp.readthedocs.io/?badge=latest) | [](http://fastnlp.readthedocs.io/?badge=latest) | ||||
fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注([NER](reproduction/seqence_labelling/ner/)、POS-Tagging等)、中文分词、文本分类、[Matching](reproduction/matching/)、指代消解、摘要等任务; 也可以使用它构建许多复杂的网络模型,进行科研。它具有如下的特性: | |||||
fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注([NER](reproduction/seqence_labelling/ner)、POS-Tagging等)、中文分词、[文本分类](reproduction/text_classification)、[Matching](reproduction/matching)、[指代消解](reproduction/coreference_resolution)、[摘要](reproduction/Summarization)等任务; 也可以使用它构建许多复杂的网络模型,进行科研。它具有如下的特性: | |||||
- 统一的Tabular式数据容器,让数据预处理过程简洁明了。内置多种数据集的DataSet Loader,省去预处理代码; | - 统一的Tabular式数据容器,让数据预处理过程简洁明了。内置多种数据集的DataSet Loader,省去预处理代码; | ||||
- 多种训练、测试组件,例如训练器Trainer;测试器Tester;以及各种评测metrics等等; | - 多种训练、测试组件,例如训练器Trainer;测试器Tester;以及各种评测metrics等等; | ||||
- 各种方便的NLP工具,例如预处理embedding加载(包括EMLo和BERT); 中间数据cache等; | |||||
- 详尽的中文[文档](https://fastnlp.readthedocs.io/)、教程以供查阅; | |||||
- 各种方便的NLP工具,例如预处理embedding加载(包括ELMo和BERT); 中间数据cache等; | |||||
- 详尽的中文[文档](https://fastnlp.readthedocs.io/)、[教程](https://fastnlp.readthedocs.io/zh/latest/user/tutorials.html)以供查阅; | |||||
- 提供诸多高级模块,例如Variational LSTM, Transformer, CRF等; | - 提供诸多高级模块,例如Variational LSTM, Transformer, CRF等; | ||||
- 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种模型可供直接使用; [详细链接](reproduction/) | |||||
- 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种模型可供直接使用,详细内容见 [reproduction](reproduction) 部分; | |||||
- 便捷且具有扩展性的训练器; 提供多种内置callback函数,方便实验记录、异常捕获等。 | - 便捷且具有扩展性的训练器; 提供多种内置callback函数,方便实验记录、异常捕获等。 | ||||
## 安装指南 | ## 安装指南 | ||||
fastNLP 依赖如下包: | |||||
fastNLP 依赖以下包: | |||||
+ numpy>=1.14.2 | + numpy>=1.14.2 | ||||
+ torch>=1.0.0 | + torch>=1.0.0 | ||||
+ tqdm>=4.28.1 | + tqdm>=4.28.1 | ||||
+ nltk>=3.4.1 | + nltk>=3.4.1 | ||||
+ requests | + requests | ||||
+ spacy | |||||
其中torch的安装可能与操作系统及 CUDA 的版本相关,请参见 [PyTorch 官网](https://pytorch.org/) 。 | 其中torch的安装可能与操作系统及 CUDA 的版本相关,请参见 [PyTorch 官网](https://pytorch.org/) 。 | ||||
在依赖包安装完成后,您可以在命令行执行如下指令完成安装 | 在依赖包安装完成后,您可以在命令行执行如下指令完成安装 | ||||
```shell | ```shell | ||||
pip install fastNLP | pip install fastNLP | ||||
python -m spacy download en | |||||
``` | ``` | ||||
## 参考资源 | |||||
## fastNLP教程 | |||||
- [文档](https://fastnlp.readthedocs.io/zh/latest/) | |||||
- [源码](https://github.com/fastnlp/fastNLP) | |||||
- [1. 使用DataSet预处理文本](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_1_data_preprocess.html) | |||||
- [2. 使用DataSetLoader加载数据集](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_2_load_dataset.html) | |||||
- [3. 使用Embedding模块将文本转成向量](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_3_embedding.html) | |||||
- [4. 动手实现一个文本分类器I-使用Trainer和Tester快速训练和测试](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_4_loss_optimizer.html) | |||||
- [5. 动手实现一个文本分类器II-使用DataSetIter实现自定义训练过程](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_5_datasetiter.html) | |||||
- [6. 快速实现序列标注模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_6_seq_labeling.html) | |||||
- [7. 使用Modules和Models快速搭建自定义模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_7_modules_models.html) | |||||
- [8. 使用Metric快速评测你的模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_8_metrics.html) | |||||
- [9. 使用Callback自定义你的训练过程](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_9_callback.html) | |||||
## 内置组件 | ## 内置组件 | ||||
大部分用于的 NLP 任务神经网络都可以看做由编码(encoder)、聚合(aggregator)、解码(decoder)三种模块组成。 | |||||
大部分用于的 NLP 任务神经网络都可以看做由编码器(encoder)、解码器(decoder)两种模块组成。 | |||||
 |  | ||||
fastNLP 在 modules 模块中内置了三种模块的诸多组件,可以帮助用户快速搭建自己所需的网络。 三种模块的功能和常见组件如下: | |||||
fastNLP 在 modules 模块中内置了两种模块的诸多组件,可以帮助用户快速搭建自己所需的网络。 两种模块的功能和常见组件如下: | |||||
<table> | <table> | ||||
<tr> | <tr> | ||||
@@ -59,29 +68,17 @@ fastNLP 在 modules 模块中内置了三种模块的诸多组件,可以帮助 | |||||
</tr> | </tr> | ||||
<tr> | <tr> | ||||
<td> encoder </td> | <td> encoder </td> | ||||
<td> 将输入编码为具有具 有表示能力的向量 </td> | |||||
<td> 将输入编码为具有具有表示能力的向量 </td> | |||||
<td> embedding, RNN, CNN, transformer | <td> embedding, RNN, CNN, transformer | ||||
</tr> | </tr> | ||||
<tr> | |||||
<td> aggregator </td> | |||||
<td> 从多个向量中聚合信息 </td> | |||||
<td> self-attention, max-pooling </td> | |||||
</tr> | |||||
<tr> | <tr> | ||||
<td> decoder </td> | <td> decoder </td> | ||||
<td> 将具有某种表示意义的 向量解码为需要的输出 形式 </td> | |||||
<td> 将具有某种表示意义的向量解码为需要的输出形式 </td> | |||||
<td> MLP, CRF </td> | <td> MLP, CRF </td> | ||||
</tr> | </tr> | ||||
</table> | </table> | ||||
## 完整模型 | |||||
fastNLP 为不同的 NLP 任务实现了许多完整的模型,它们都经过了训练和测试。 | |||||
你可以在以下两个地方查看相关信息 | |||||
- [模型介绍](reproduction/) | |||||
- [模型源码](fastNLP/models/) | |||||
## 项目结构 | ## 项目结构 | ||||
 |  | ||||
@@ -2,7 +2,7 @@ | |||||
这里复现了在fastNLP中实现的模型,旨在达到与论文中相符的性能。 | 这里复现了在fastNLP中实现的模型,旨在达到与论文中相符的性能。 | ||||
复现的模型有: | 复现的模型有: | ||||
- [Star-Transformer](Star_transformer/) | |||||
- [Star-Transformer](Star_transformer) | |||||
- [Biaffine](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/biaffine_parser.py#L239) | - [Biaffine](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/biaffine_parser.py#L239) | ||||
- [CNNText](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/cnn_text_classification.py#L12) | - [CNNText](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/cnn_text_classification.py#L12) | ||||
- ... | - ... | ||||
@@ -20,12 +20,12 @@ | |||||
- [NER](seqence_labelling/ner) | - [NER](seqence_labelling/ner) | ||||
## Coreference resolution (共指消解) | |||||
- [Coreference resolution 共指消解任务复现](coreference_resolution) | |||||
## Coreference Resolution (共指消解) | |||||
- [Coreference Resolution 共指消解任务复现](coreference_resolution) | |||||
## Summarization (摘要) | ## Summarization (摘要) | ||||
- [BertSum](Summmarization) | |||||
- [Summerization 摘要任务复现](Summarization) | |||||
## ... | ## ... |
@@ -8,7 +8,7 @@ | |||||
论文链接:[Enhanced LSTM for Natural Language Inference](https://arxiv.org/pdf/1609.06038.pdf). | 论文链接:[Enhanced LSTM for Natural Language Inference](https://arxiv.org/pdf/1609.06038.pdf). | ||||
- DIIN:模型代码(still in progress)[](); 训练代码(still in progress)[](). | - DIIN:模型代码(still in progress)[](); 训练代码(still in progress)[](). | ||||
论文链接:[Natural Language Inference over Interaction Space](https://arxiv.org/pdf/1709.04348.pdf). | 论文链接:[Natural Language Inference over Interaction Space](https://arxiv.org/pdf/1709.04348.pdf). | ||||
- MwAN:模型代码(still in progress)[](); 训练代码(still in progress)[](). | |||||
- MwAN:[模型代码](model/mwan.py); [训练代码](matching_mwan.py). | |||||
论文链接:[Multiway Attention Networks for Modeling Sentence Pairs](https://www.ijcai.org/proceedings/2018/0613.pdf). | 论文链接:[Multiway Attention Networks for Modeling Sentence Pairs](https://www.ijcai.org/proceedings/2018/0613.pdf). | ||||
- BERT:[模型代码](model/bert.py); [训练代码](matching_bert.py). | - BERT:[模型代码](model/bert.py); [训练代码](matching_bert.py). | ||||
论文链接:[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/1810.04805.pdf). | 论文链接:[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/1810.04805.pdf). | ||||
@@ -24,7 +24,7 @@ model name | SNLI | MNLI | RTE | QNLI | Quora | |||||
CNTN [代码](model/cntn.py); [论文](https://www.aaai.org/ocs/index.php/IJCAI/IJCAI15/paper/view/11401/10844) | 77.79 vs - | 63.29/63.16(dev) vs - | 57.04(dev) vs - | 62.38(dev) vs - | - | | CNTN [代码](model/cntn.py); [论文](https://www.aaai.org/ocs/index.php/IJCAI/IJCAI15/paper/view/11401/10844) | 77.79 vs - | 63.29/63.16(dev) vs - | 57.04(dev) vs - | 62.38(dev) vs - | - | | ||||
ESIM[代码](model/bert.py); [论文](https://arxiv.org/pdf/1609.06038.pdf) | 88.13(glove) vs 88.0(glove)/88.7(elmo) | 77.78/76.49 vs 72.4/72.1* | 59.21(dev) vs - | 76.97(dev) vs - | - | | ESIM[代码](model/bert.py); [论文](https://arxiv.org/pdf/1609.06038.pdf) | 88.13(glove) vs 88.0(glove)/88.7(elmo) | 77.78/76.49 vs 72.4/72.1* | 59.21(dev) vs - | 76.97(dev) vs - | - | | ||||
DIIN [](); [论文](https://arxiv.org/pdf/1709.04348.pdf) | - vs 88.0 | - vs 78.8/77.8 | - | - | - vs 89.06 | | DIIN [](); [论文](https://arxiv.org/pdf/1709.04348.pdf) | - vs 88.0 | - vs 78.8/77.8 | - | - | - vs 89.06 | | ||||
MwAN [](); [论文](https://www.ijcai.org/proceedings/2018/0613.pdf) | 87.9 vs 88.3 | 77.3/76.7(dev) vs 78.5/77.7 | - | 74.6(dev) vs - | 85.6 vs 89.12 | | |||||
MwAN [代码](model/mwan.py); [论文](https://www.ijcai.org/proceedings/2018/0613.pdf) | 87.9 vs 88.3 | 77.3/76.7(dev) vs 78.5/77.7 | - | 74.6(dev) vs - | 85.6 vs 89.12 | | |||||
BERT (BASE version)[代码](model/bert.py); [论文](https://arxiv.org/pdf/1810.04805.pdf) | 90.6 vs - | - vs 84.6/83.4| 67.87(dev) vs 66.4 | 90.97(dev) vs 90.5 | - | | BERT (BASE version)[代码](model/bert.py); [论文](https://arxiv.org/pdf/1810.04805.pdf) | 90.6 vs - | - vs 84.6/83.4| 67.87(dev) vs 66.4 | 90.97(dev) vs 90.5 | - | | ||||
*ESIM模型由MNLI官方复现的结果为72.4/72.1,ESIM原论文当中没有汇报MNLI数据集的结果。 | *ESIM模型由MNLI官方复现的结果为72.4/72.1,ESIM原论文当中没有汇报MNLI数据集的结果。 | ||||
@@ -7,9 +7,9 @@ dpcnn:论文链接[Deep Pyramid Convolutional Neural Networks for TextCategoriza | |||||
HAN:论文链接[Hierarchical Attention Networks for Document Classification](https://www.cs.cmu.edu/~diyiy/docs/naacl16.pdf) | HAN:论文链接[Hierarchical Attention Networks for Document Classification](https://www.cs.cmu.edu/~diyiy/docs/naacl16.pdf) | ||||
LSTM+self_attention:论文链接[A Structured Self-attentive Sentence Embedding](<https://arxiv.org/pdf/1703.03130.pdf>) | |||||
LSTM+self_attention:论文链接[A Structured Self-attentive Sentence Embedding](https://arxiv.org/pdf/1703.03130.pdf) | |||||
AWD-LSTM:论文链接[Regularizing and Optimizing LSTM Language Models](<https://arxiv.org/pdf/1708.02182.pdf>) | |||||
AWD-LSTM:论文链接[Regularizing and Optimizing LSTM Language Models](https://arxiv.org/pdf/1708.02182.pdf) | |||||
# 数据集及复现结果汇总 | # 数据集及复现结果汇总 | ||||