diff --git a/README.md b/README.md index a5ce3c64..b294e54b 100644 --- a/README.md +++ b/README.md @@ -6,50 +6,59 @@ ![Hex.pm](https://img.shields.io/hexpm/l/plug.svg) [![Documentation Status](https://readthedocs.org/projects/fastnlp/badge/?version=latest)](http://fastnlp.readthedocs.io/?badge=latest) -fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注（[NER](reproduction/seqence_labelling/ner/)、POS-Tagging等）、中文分词、文本分类、[Matching](reproduction/matching/)、指代消解、摘要等任务； 也可以使用它构建许多复杂的网络模型，进行科研。它具有如下的特性： +fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注（[NER](reproduction/seqence_labelling/ner)、POS-Tagging等）、中文分词、[文本分类](reproduction/text_classification)、[Matching](reproduction/matching)、[指代消解](reproduction/coreference_resolution)、[摘要](reproduction/Summarization)等任务； 也可以使用它构建许多复杂的网络模型，进行科研。它具有如下的特性： - 统一的Tabular式数据容器，让数据预处理过程简洁明了。内置多种数据集的DataSet Loader，省去预处理代码; - 多种训练、测试组件，例如训练器Trainer；测试器Tester；以及各种评测metrics等等; -- 各种方便的NLP工具，例如预处理embedding加载（包括EMLo和BERT）; 中间数据cache等; -- 详尽的中文[文档](https://fastnlp.readthedocs.io/)、教程以供查阅; +- 各种方便的NLP工具，例如预处理embedding加载（包括ELMo和BERT）; 中间数据cache等; +- 详尽的中文[文档](https://fastnlp.readthedocs.io/)、[教程](https://fastnlp.readthedocs.io/zh/latest/user/tutorials.html)以供查阅; - 提供诸多高级模块，例如Variational LSTM, Transformer, CRF等; -- 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种模型可供直接使用; [详细链接](reproduction/) +- 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种模型可供直接使用，详细内容见 [reproduction](reproduction) 部分; - 便捷且具有扩展性的训练器; 提供多种内置callback函数，方便实验记录、异常捕获等。 ## 安装指南 -fastNLP 依赖如下包: +fastNLP 依赖以下包: + numpy>=1.14.2 + torch>=1.0.0 + tqdm>=4.28.1 + nltk>=3.4.1 + requests ++ spacy 其中torch的安装可能与操作系统及 CUDA 的版本相关，请参见 [PyTorch 官网](https://pytorch.org/) 。 在依赖包安装完成后，您可以在命令行执行如下指令完成安装 ```shell pip install fastNLP +python -m spacy download en ``` -## 参考资源 +## fastNLP教程 -- [文档](https://fastnlp.readthedocs.io/zh/latest/) -- [源码](https://github.com/fastnlp/fastNLP) +- [1. 使用DataSet预处理文本](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_1_data_preprocess.html) +- [2. 使用DataSetLoader加载数据集](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_2_load_dataset.html) +- [3. 使用Embedding模块将文本转成向量](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_3_embedding.html) +- [4. 动手实现一个文本分类器I-使用Trainer和Tester快速训练和测试](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_4_loss_optimizer.html) +- [5. 动手实现一个文本分类器II-使用DataSetIter实现自定义训练过程](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_5_datasetiter.html) +- [6. 快速实现序列标注模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_6_seq_labeling.html) +- [7. 使用Modules和Models快速搭建自定义模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_7_modules_models.html) +- [8. 使用Metric快速评测你的模型](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_8_metrics.html) +- [9. 使用Callback自定义你的训练过程](https://fastnlp.readthedocs.io/zh/latest/tutorials/tutorial_9_callback.html) ## 内置组件 -大部分用于的 NLP 任务神经网络都可以看做由编码（encoder）、聚合（aggregator）、解码（decoder）三种模块组成。 +大部分用于的 NLP 任务神经网络都可以看做由编码器（encoder）、解码器（decoder）两种模块组成。 ![](./docs/source/figures/text_classification.png) -fastNLP 在 modules 模块中内置了三种模块的诸多组件，可以帮助用户快速搭建自己所需的网络。 三种模块的功能和常见组件如下: +fastNLP 在 modules 模块中内置了两种模块的诸多组件，可以帮助用户快速搭建自己所需的网络。 两种模块的功能和常见组件如下: @@ -59,29 +68,17 @@ fastNLP 在 modules 模块中内置了三种模块的诸多组件，可以帮助 - + - - - - - - +
encoder 将输入编码为具有具 有表示能力的向量 将输入编码为具有具有表示能力的向量 embedding, RNN, CNN, transformer
aggregator 从多个向量中聚合信息 self-attention, max-pooling
decoder 将具有某种表示意义的 向量解码为需要的输出 形式 将具有某种表示意义的向量解码为需要的输出形式 MLP, CRF
-## 完整模型 -fastNLP 为不同的 NLP 任务实现了许多完整的模型，它们都经过了训练和测试。 - -你可以在以下两个地方查看相关信息 -- [模型介绍](reproduction/) -- [模型源码](fastNLP/models/) - ## 项目结构 ![](./docs/source/figures/workflow.png) diff --git a/reproduction/README.md b/reproduction/README.md index 0bc0d66c..c2478713 100644 --- a/reproduction/README.md +++ b/reproduction/README.md @@ -2,7 +2,7 @@ 这里复现了在fastNLP中实现的模型，旨在达到与论文中相符的性能。 复现的模型有: -- [Star-Transformer](Star_transformer/) +- [Star-Transformer](Star_transformer) - [Biaffine](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/biaffine_parser.py#L239) - [CNNText](https://github.com/fastnlp/fastNLP/blob/999a14381747068e9e6a7cc370037b320197db00/fastNLP/models/cnn_text_classification.py#L12) - ... @@ -20,12 +20,12 @@ - [NER](seqence_labelling/ner) -## Coreference resolution (共指消解) -- [Coreference resolution 共指消解任务复现](coreference_resolution) +## Coreference Resolution (共指消解) +- [Coreference Resolution 共指消解任务复现](coreference_resolution) ## Summarization (摘要) -- [BertSum](Summmarization) +- [Summerization 摘要任务复现](Summarization) ## ... diff --git a/reproduction/matching/README.md b/reproduction/matching/README.md index 7b4997ea..52002f3b 100644 --- a/reproduction/matching/README.md +++ b/reproduction/matching/README.md @@ -8,7 +8,7 @@ 论文链接：[Enhanced LSTM for Natural Language Inference](https://arxiv.org/pdf/1609.06038.pdf). - DIIN：模型代码(still in progress)[](); 训练代码(still in progress)[](). 论文链接：[Natural Language Inference over Interaction Space](https://arxiv.org/pdf/1709.04348.pdf). -- MwAN：模型代码(still in progress)[](); 训练代码(still in progress)[](). +- MwAN：[模型代码](model/mwan.py); [训练代码](matching_mwan.py). 论文链接：[Multiway Attention Networks for Modeling Sentence Pairs](https://www.ijcai.org/proceedings/2018/0613.pdf). - BERT：[模型代码](model/bert.py); [训练代码](matching_bert.py). 论文链接：[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/1810.04805.pdf). @@ -24,7 +24,7 @@ model name | SNLI | MNLI | RTE | QNLI | Quora CNTN [代码](model/cntn.py); [论文](https://www.aaai.org/ocs/index.php/IJCAI/IJCAI15/paper/view/11401/10844) | 77.79 vs - | 63.29/63.16(dev) vs - | 57.04(dev) vs - | 62.38(dev) vs - | - | ESIM[代码](model/bert.py); [论文](https://arxiv.org/pdf/1609.06038.pdf) | 88.13(glove) vs 88.0(glove)/88.7(elmo) | 77.78/76.49 vs 72.4/72.1* | 59.21(dev) vs - | 76.97(dev) vs - | - | DIIN [](); [论文](https://arxiv.org/pdf/1709.04348.pdf) | - vs 88.0 | - vs 78.8/77.8 | - | - | - vs 89.06 | -MwAN [](); [论文](https://www.ijcai.org/proceedings/2018/0613.pdf) | 87.9 vs 88.3 | 77.3/76.7(dev) vs 78.5/77.7 | - | 74.6(dev) vs - | 85.6 vs 89.12 | +MwAN [代码](model/mwan.py); [论文](https://www.ijcai.org/proceedings/2018/0613.pdf) | 87.9 vs 88.3 | 77.3/76.7(dev) vs 78.5/77.7 | - | 74.6(dev) vs - | 85.6 vs 89.12 | BERT (BASE version)[代码](model/bert.py); [论文](https://arxiv.org/pdf/1810.04805.pdf) | 90.6 vs - | - vs 84.6/83.4| 67.87(dev) vs 66.4 | 90.97(dev) vs 90.5 | - | *ESIM模型由MNLI官方复现的结果为72.4/72.1，ESIM原论文当中没有汇报MNLI数据集的结果。 diff --git a/reproduction/text_classification/README.md b/reproduction/text_classification/README.md index 09ca7d42..8bdfb9fe 100644 --- a/reproduction/text_classification/README.md +++ b/reproduction/text_classification/README.md @@ -7,9 +7,9 @@ dpcnn:论文链接[Deep Pyramid Convolutional Neural Networks for TextCategoriza HAN:论文链接[Hierarchical Attention Networks for Document Classification](https://www.cs.cmu.edu/~diyiy/docs/naacl16.pdf) -LSTM+self_attention:论文链接[A Structured Self-attentive Sentence Embedding]() +LSTM+self_attention:论文链接[A Structured Self-attentive Sentence Embedding](https://arxiv.org/pdf/1703.03130.pdf) -AWD-LSTM:论文链接[Regularizing and Optimizing LSTM Language Models]() +AWD-LSTM:论文链接[Regularizing and Optimizing LSTM Language Models](https://arxiv.org/pdf/1708.02182.pdf) # 数据集及复现结果汇总