@@ -340,7 +340,7 @@ class QuoraLoader(Loader): | |||
class CNXNLILoader(Loader): | |||
""" | |||
别名: | |||
数据集简介:中文句对NLI(本为multi-lingual的数据集,但是这里只取了中文的数据集)。原句子已被MOSES tokenizer处理 | |||
数据集简介:中文句对NLI(本为multi-lingual的数据集,但是这里只取了中文的数据集)。原句子已被MOSES tokenizer处理,这里我们将其还原并重新按字tokenize | |||
原始数据为: | |||
train中的数据包括premise,hypo和label三个field | |||
dev和test中的数据为csv或json格式,包括十多个field,这里只取与以上三个field中的数据 | |||
@@ -358,8 +358,6 @@ class CNXNLILoader(Loader): | |||
super(CNXNLILoader, self).__init__() | |||
def _load(self, path: str = None): | |||
#csv_loader = CSVLoader(sep='\t') | |||
#ds_all = csv_loader._load(path) | |||
ds_all = DataSet() | |||
with open(path, 'r', encoding='utf-8') as f: | |||
head_name_list = f.readline().strip().split('\t') | |||
@@ -386,17 +384,15 @@ class CNXNLILoader(Loader): | |||
return ds_zh | |||
def _load_train(self, path: str = None): | |||
#csv_loader = CSVLoader(sep='\t') | |||
#ds = csv_loader._load(path) | |||
ds = DataSet() | |||
with open(path, 'r', encoding='utf-8') as f: | |||
next(f) | |||
for line in f: | |||
raw_instance = line.strip().split('\t') | |||
premise = raw_instance[0] | |||
hypo = raw_instance[1] | |||
label = raw_instance[-1] | |||
premise = "".join(raw_instance[0].split())# 把已经分好词的premise和hypo强制还原为character segmentation | |||
hypo = "".join(raw_instance[1].split()) | |||
label = "".join(raw_instance[-1].split()) | |||
if premise: | |||
ds.append(Instance(premise=premise, hypo=hypo, label=label)) | |||
@@ -466,6 +466,7 @@ class LCQMCBertPipe(MatchingBertPipe): | |||
data_bundle = LCQMCLoader().load(paths) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
data_bundle = self.process(data_bundle) | |||
data_bundle = TruncateBertPipe(task='cn').process(data_bundle) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
return data_bundle | |||
@@ -475,6 +476,7 @@ class BQCorpusBertPipe(MatchingBertPipe): | |||
data_bundle = BQCorpusLoader().load(paths) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
data_bundle = self.process(data_bundle) | |||
data_bundle = TruncateBertPipe(task='cn').process(data_bundle) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
return data_bundle | |||
@@ -485,5 +487,41 @@ class CNXNLIBertPipe(MatchingBertPipe): | |||
data_bundle = GranularizePipe(task='XNLI').process(data_bundle) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
data_bundle = self.process(data_bundle) | |||
data_bundle = TruncateBertPipe(task='cn').process(data_bundle) | |||
data_bundle = RenamePipe(task='cn-nli-bert').process(data_bundle) | |||
return data_bundle | |||
class TruncateBertPipe(Pipe): | |||
def __init__(self, task='cn'): | |||
super().__init__() | |||
self.task = task | |||
def _truncate(self, sentence_index:list, sep_index_vocab): | |||
# 根据[SEP]在vocab中的index,找到[SEP]在dataset的field['words']中的index | |||
sep_index_words = sentence_index.index(sep_index_vocab) | |||
words_before_sep = sentence_index[:sep_index_words] | |||
words_after_sep = sentence_index[sep_index_words:] # 注意此部分包括了[SEP] | |||
if self.task == 'cn': | |||
# 中文任务将Instance['words']中在[SEP]前后的文本分别截至长度不超过250 | |||
words_before_sep = words_before_sep[:250] | |||
words_after_sep = words_after_sep[:250] | |||
elif self.task == 'en': | |||
# 英文任务将Instance['words']中在[SEP]前后的文本分别截至长度不超过215 | |||
words_before_sep = words_before_sep[:215] | |||
words_after_sep = words_after_sep[:215] | |||
else: | |||
raise RuntimeError("Only support 'cn' or 'en' task.") | |||
return words_before_sep + words_after_sep | |||
def process(self, data_bundle: DataBundle) -> DataBundle: | |||
for name in data_bundle.datasets.keys(): | |||
dataset = data_bundle.get_dataset(name) | |||
sep_index_vocab = data_bundle.get_vocab('words').to_index('[SEP]') | |||
dataset.apply_field(lambda sent_index: self._truncate(sentence_index=sent_index, sep_index_vocab=sep_index_vocab), field_name='words', new_field_name='words') | |||
# truncate之后需要更新seq_len | |||
dataset.add_seq_len(field_name='words') | |||
return data_bundle | |||
@@ -6,3 +6,4 @@ premise hypo label | |||
一 段 时间 来 看 , 这 一 运动 似乎 要 取得 成功 , 但 政治 事件 , 加 上 帕内尔 在 一个 令 人 愤慨 的 离婚案 中 被 称为 共同 答辩人 , 导致 许多 人 撤回 他们 的 支持 . 帕内尔 在 一个 令 人 愤慨 的 离婚 问题 上 的 法律 问题 使 这 场 运动 受到 了 影响 . entailment | |||
看 在 这里 , 他 说 我们 不 希望 任何 律师 混在 这 一 点 . 他 说 看看 那 张 纸 neutral | |||
Soderstrom 在 创伤 中心 进行 了 多次 筛选 测试 . 测试 必须 在 创伤 中心 进行 比较 , 否则 就 会 无效 . neutral | |||
嗯 , 这 是 一 种 明显 的 我 的 意思 是 , 他们 甚至 把 它 带 到 现在 呢 , 他们 在 电视 上 做 广告 , 你 知道 如果 你 知道 , 如果 你 知道 这样 做 , 或者 如果 你 需要 这 个呃 , 我们 会 告 你 和 你 你 不用 给 我们 钱 , 但 他们 不 告诉 你 的 是 如果 他们 赢 了 你 给 他们 至少 三分之一 他们 赢 的 东西 , 所以 我 不 知道 它 是呃 , 它 得到 了 现在 做 更 多 的 生意 , 而 不 是呃 实际上 是 在 处理 犯罪 而 不 是 与 呃嗯 他们 的 律师 只 是 为了 钱 , 我 相信 , 我 知道 我 同意 你 , 我 认为 你 是 真实 的 你. 非常 正确 的 是 , 我 认为 他们 应该 有 同等 数量 的 你 知道 也许 他们 可以 有 几 个 , 但 我 认为 大多数 他们 应该 不 是 律师 在 事实 , 这 是 方式 他们 已经 进入 政治 , 这 是 因为 在 法律 上 , 你 知道 的 循环 和 一切 , 但 我 不 知道 我们 是 在 马里兰州 和呃 , 我们 有 同样 的 东西 人满为患 , 和呃 他们 让 他们 出来 我 的 意思 是 只 是 普通 的 监狱 判决 的 事情 , 他们 让. 他们 是 因为 他们 没有 任何 地方 可以 留住 他们 所以 你 可以 知道呃 , 除非 是 一个 重大 的 罪行 , 但呃 , 即使 是 小小的 东西 , 我 的 意思 是 那些 在 美国 失去 的 人 是 受害者 和 谁 可能 是 抢劫 或 毒品 , 或者 其他 什么 , 他们 是 谁 要 支付 , 他们 是 一个 会 受苦 , 另 一个 你 知道 的 人 , 如果 他们 被 逮捕 , 如果 他们 逮捕 他们嗯 , 然后 呢 , 你 知道 的 时间 法律 接管 了 一 半 时间 呃 他们 要么 让 他们 走 , 或者 他们 下 了 一个 句子 , 因为 他们 有 一个 律师 , 你 知道 的 感觉 他们 是 不 是 所有 在 一起 当 他们 做到 了 .它 我 不 知道 我们 怎么 到 这 一 点 , 虽然 . neutral |