|
- =====================
- 快速实现序列标注模型
- =====================
-
- 这一部分的内容主要展示如何使用fastNLP 实现序列标注任务。你可以使用fastNLP的各个组件快捷，方便地完成序列标注任务，达到出色的效果。
- 在阅读这篇Tutorial前，希望你已经熟悉了fastNLP的基础使用，包括基本数据结构以及数据预处理，embedding的嵌入等，希望你对之前的教程有更进一步的掌握。
- 我们将对CoNLL-03的英文数据集进行处理，展示如何完成命名实体标注任务整个训练的过程。
-
- 载入数据
- ===================================
- fastNLP可以方便地载入各种类型的数据。同时，针对常见的数据集，我们已经预先实现了载入方法，其中包含CoNLL-03数据集。
- 在设计dataloader时，以DataSetLoader为基类，可以改写并应用于其他数据集的载入。
-
- .. code-block:: python
-
- class Conll2003DataLoader(DataSetLoader):
- def __init__(self, task:str='ner', encoding_type:str='bioes'):
- assert task in ('ner', 'pos', 'chunk')
- index = {'ner':3, 'pos':1, 'chunk':2}[task]
- #ConllLoader是fastNLP内置的类
- self._loader = ConllLoader(headers=['raw_words', 'target'], indexes=[0, index])
- self._tag_converters = None
- if task in ('ner', 'chunk'):
- #iob和iob2bioes会对tag进行统一，标准化
- self._tag_converters = [iob2]
- if encoding_type == 'bioes':
- self._tag_converters.append(iob2bioes)
-
- def load(self, path: str):
- dataset = self._loader.load(path)
- def convert_tag_schema(tags):
- for converter in self._tag_converters:
- tags = converter(tags)
- return tags
- if self._tag_converters:
- #使用apply实现convert_tag_schema函数，实际上也支持匿名函数
- dataset.apply_field(convert_tag_schema, field_name=Const.TARGET, new_field_name=Const.TARGET)
- return dataset
-
- 输出数据格式如：
-
- {'raw_words': ['on', 'Friday', ':'] type=list,
- 'target': ['O', 'O', 'O'] type=list},
-
-
- 数据处理
- ----------------------------
- 我们进一步处理数据。将数据和词表封装在 :class:`~fastNLP.DataBundle` 类中。data是DataBundle的实例。
- 我们输入模型的数据包括char embedding，以及word embedding。在数据处理部分，我们尝试完成词表的构建。
- 使用fastNLP中的Vocabulary类来构建词表。
-
- .. code-block:: python
-
- word_vocab = Vocabulary(min_freq=2)
- word_vocab.from_dataset(data.datasets['train'], field_name=Const.INPUT)
- word_vocab.index_dataset(*data.datasets.values(),field_name=Const.INPUT, new_field_name=Const.INPUT)
-
- 处理后的data对象内部为：
-
- dataset
- vocabs
- dataset保存了train和test中的数据，并保存为dataset类型
- vocab保存了words，raw-words以及target的词表。
-
- 模型构建
- --------------------------------
- 我们使用CNN-BILSTM-CRF模型完成这一任务。在网络构建方面，fastNLP的网络定义继承pytorch的 :class:`nn.Module` 类。
- 自己可以按照pytorch的方式定义网络。需要注意的是命名。fastNLP的标准命名位于 :class:`~fastNLP.Const` 类。
-
- 模型的训练
- 首先实例化模型，导入所需的char embedding以及word embedding。Embedding的载入可以参考教程。
- 也可以查看 :mod:`~fastNLP.modules.encoder.embedding` 使用所需的embedding 载入方法。
- fastNLP将模型的训练过程封装在了 :class:`~fastnlp.trainer` 类中。
- 根据不同的任务调整trainer中的参数即可。通常，一个trainer实例需要有：指定的训练数据集，模型，优化器，loss函数，评测指标，以及指定训练的epoch数，batch size等参数。
-
- .. code-block:: python
-
- #实例化模型
- model = CNNBiLSTMCRF(word_embed, char_embed, hidden_size=200, num_layers=1, tag_vocab=data.vocabs[Const.TARGET], encoding_type=encoding_type)
- #定义优化器
- optimizer = Adam(model.parameters(), lr=0.005)
- #定义评估指标
- Metrics=SpanFPreRecMetric(tag_vocab=data.vocabs[Const.TARGET], encoding_type=encoding_type)
- #实例化trainer
- trainer = Trainer(train_data=data.datasets['train'], model=model, optimizer=optimizer, dev_data=data.datasets['test'], batch_size=10, metrics=Metrics,callbacks=callbacks, n_epochs=100)
- #开始训练
- trainer.train()
-
- 训练中会保存最优的参数配置。
- 训练的结果如下：
-
- .. code-block:: python
-
- Evaluation on DataSet test:
- SpanFPreRecMetric: f=0.727661, pre=0.732293, rec=0.723088
- Evaluation at Epoch 1/100. Step:1405/140500. SpanFPreRecMetric: f=0.727661, pre=0.732293, rec=0.723088
-
- Evaluation on DataSet test:
- SpanFPreRecMetric: f=0.784307, pre=0.779371, rec=0.789306
- Evaluation at Epoch 2/100. Step:2810/140500. SpanFPreRecMetric: f=0.784307, pre=0.779371, rec=0.789306
-
- Evaluation on DataSet test:
- SpanFPreRecMetric: f=0.810068, pre=0.811003, rec=0.809136
- Evaluation at Epoch 3/100. Step:4215/140500. SpanFPreRecMetric: f=0.810068, pre=0.811003, rec=0.809136
-
- Evaluation on DataSet test:
- SpanFPreRecMetric: f=0.829592, pre=0.84153, rec=0.817989
- Evaluation at Epoch 4/100. Step:5620/140500. SpanFPreRecMetric: f=0.829592, pre=0.84153, rec=0.817989
-
- Evaluation on DataSet test:
- SpanFPreRecMetric: f=0.828789, pre=0.837096, rec=0.820644
- Evaluation at Epoch 5/100. Step:7025/140500. SpanFPreRecMetric: f=0.828789, pre=0.837096, rec=0.820644
-
|
