add test code and data for testing cws loader and pipe

test/data_for_tests/io/cws_as/dev.txt

@@ -0,0 +1,6 @@
+時間　：
+三月　十日　（　星期四　）　上午　十時　。
+並　辦理　加州　大學　退休　等　手續　。
+包括　一九七八年　獲有　數學　諾貝爾　之　稱　的　費爾茲獎　，
+在　台大　的　四　年　裡　，
+他　語重心長　的　勉勵　同學　們　一　番　話　，

test/data_for_tests/io/cws_as/test.txt

@@ -0,0 +1,6 @@
+許多　社區　長青　學苑　多　開設　有　書法　、　插花　、　土風舞班　，
+文山區　長青　學苑　則　有　個　十分　特別　的　「　英文　歌唱班　」　，
+成員　年齡　均　超過　六十　歲　，
+這　群　白髮蒼蒼　，
+爺爺　、　奶奶級　的　學員　唱起　英文　歌　來　字正腔圓　，
+有模有樣　。

test/data_for_tests/io/cws_as/train.txt

@@ -0,0 +1,6 @@
+地點　：
+學術　活動　中心　一樓　簡報室　。
+主講　：
+民族所　所長　莊英章　先生　。
+講題　：
+閩　、　台　漢人　社會　研究　的　若干　考察　。

test/data_for_tests/io/cws_cityu/dev.txt

@@ -0,0 +1,6 @@
+立會 選情 告一段落 民主 進程 還 看 明天
+所謂 「 左 」 的 勢力 ， 是 指 以 鄭經翰 、 梁國雄 （ 長毛 ） 為 代表 的 激進 民主 勢力 ， 他們 尖銳 批評 中央 和 特區 政府 ， 積極 為 基層 勞工 爭取 福利 ， 可能 會 為 民主派 與 中央 和解 增加 困難 ， 牽制 民主黨 走 中產 溫和 路線 。
+特區 政府 應該 積極 與 民主派 改善 關係 ， 尤其 要 爭取 中間 及 「 右 」 翼 的 民主 勢力 ， 因為 這些 人 背後 反映 的 是 香港 的 主流 民意 ， 除了 民主 步伐 和 涉及 中央 的 敏感 政治 議題 ， 他們 和 建制派 的 溫和 力量 沒有 基本 不同 ， 很 容易 達成 跨 黨派 的 共識 ， 令 特區 政府 處於 不得不 從 的 被動 位置 ， 23 條 立法 撤回 、 追究 SARS 責任 等 ， 都 是 記憶猶新 的 例子 。
+為 何秀蘭 喝彩 為 香港 人 神傷
+單說 立法會 ， 自 91 年 以來 ， 經歷 5 次 類似 的 地區 直選 。
+點票 過程 出現 的 笑話 更 多 。

test/data_for_tests/io/cws_cityu/test.txt

@@ -0,0 +1,6 @@
+「 練 得 銅皮鐵骨 」 露宿 早 慣 蚊叮
+本 港 約 有 450 至 600 名 露宿者 ， 其中 近 四分之一 ， 即 約 150 人 露宿 在 深水埗 。
+有 外展 社工 稱 ， 露宿者 日間 多 到 商場 等 冷氣 場所 避暑 ， 流連 至 晚上 11 、 12 時 ， 才 用 紙皮 在 公園 外 「 打地鋪 」 ， 他們 早已 「 練 得 一 身 銅皮鐵骨 」 ， 徹夜 被 蚊 叮 也 習以為常 ， 但 社工 在 炎夏 仍 會 頻頻 給 他們 派發 蚊香 。
+基督教 關懷 無家者 協會 的 外展 社工 ， 過去 一直 有 探訪 李鄭屋 遊樂場 外 的 露宿者 ， 該 會 總幹事 賴淑芬 說 ， 該 處 的 露宿者 只 有 數 人 ， 且 流動性 很 大 。
+不管 被 多少 蚊 叮 也 沒 什 感覺
+她 指 這些 露宿者 日間 都 會 流連 於 冷氣 場所 ， 晚上 才 到 遊樂場 露宿 ， 但 礙於 遊樂場 晚上 關門 ， 他們 只 可 在 外圍 「 打地鋪 」 。

test/data_for_tests/io/cws_cityu/train.txt

@@ -0,0 +1,6 @@
+立法會 選舉 出現 了 戲劇性 的 結果 ， 儘管 投票率 創下 新高 ， 而 過去 經驗 顯示 高 投票率 對 民主派 較 有利 ， 但 由於 名單 協調 不當 及 配票 策略 失誤 ， 加上 醜聞 影響 選情 ， 民主黨 的 議席 比 上 一 屆 減少 ， 由 第 一 大 黨 跌 至 第 三 ；
+而 泛民主派 在 30 席 普選 中 亦 只能 取得 18 席 ， 比 選前 預期 的 20 席 少 ；
+但 在 功能 組別 選舉 卻 有 意外 收穫 ， 除 保住 原有 的 5 個 議席 ， 還 搶佔 了 醫學 和 會計 兩 個 專業 界別 ， 令 議席 總數 達到 25 席 ， 比 上 一 屆 多 了 3 席 。
+更 值得 注意 的 是 ， 泛民主派 候選人 在 普選 中 合共 取得 110萬 張 選票 ， 佔 178萬 選票 總數 的 62 ％ ， 顯示 多數 市民 認同 早日 實現 全面 普選 的 民主 訴求 ， 這 一 點 應 為 政府 及 各 黨派 人士 所 尊重 。
+須 為 2012 全面 普選 創造 條件
+親 建制 陣營 方面 ， 民建聯 和 自由黨 都 取得 佳績 ， 分別 取得 12 席 和 11 席 ， 成為 立法會 內 的 第 一 及 第 二 大 黨 。

test/data_for_tests/io/cws_pku/dev.txt

@@ -0,0 +1,6 @@
+在  十五大  精神  指引  下  胜利  前进  ——  元旦  献辞  
+我们  即将  以  丰收  的  喜悦  送  走  牛年  ，  以  昂扬  的  斗志  迎来  虎年  。  我们  伟大  祖国  在  新  的  一  年  ，  将  是  充满  生机  、  充满  希望  的  一  年  。  
+李  鹏  在  北京  考察  企业  
+李  鹏  说  ：  “  作为  首都  的  电力  工作者  ，  你们  为  首都  的  各项  重大  活动  的  顺利  进行  ，  为  保障  人民  群众  的  工作  、  生活  和  学习  ，  为  促进  首都  经济  的  发展  作出  了  自己  的  贡献  。  明天  就  是  元旦  ，  你们  还有  许多  同志  要  坚守  岗位  ，  我  向  你们  、  向  全体  电力  工作者  表示  感谢  。  现在  ，  我们  的  首都  已经  结束  了  拉  闸  限  电  的  历史  ，  希望  依靠  大家  ，  使  拉  闸  限  电  的  历史  永远  不再  重演  。  同时  ，  也  希望  你们  安全  生产  、  经济  调度  ，  实现  经济  增长  方式  的  转变  。  ”  李  鹏  最后  向  电业  职工  ，  向  全  北京市  的  人民  拜年  ，  向  大家  致以  新春  的  问候  ，  祝愿  电力  事业  取得  新  的  成绩  ，  祝愿  北京市  在  改革  、  发展  和  稳定  的  各项  工作  中  取得  新  的  成就  。  
+（  附  图片  １  张  ）  
+据  介绍  ，  播音员  、  主持人  持证  上岗  工作  ，  是  在  １９９６年  全国  广播  影视  系统  语言  工作  会议  上  提  出来  的  ，  它  是  加强  宣传  队伍  建设  ，  促进  语言  文字  走向  标准化  、  规范化  的  重要  举措  。  播音员  、  主持人  只有  通过  汉语  普通话  水平  测试  和  政治  、  业务  考核  后  才  能  获得  上岗  资格  证书  。  

test/data_for_tests/io/cws_pku/test.txt

@@ -0,0 +1,6 @@
+共同  创造  美好  的  新  世纪  ——  二○○一年  新年  贺词  
+（  二○○○年  十二月  三十一日  ）  （  附  图片  1  张  ）  
+女士  们  ，  先生  们  ，  同志  们  ，  朋友  们  ：  
+2001年  新年  钟声  即将  敲响  。  人类  社会  前进  的  航船  就要  驶入  21  世纪  的  新  航程  。  中国  人民  进入  了  向  现代化  建设  第三  步  战略  目标  迈进  的  新  征程  。  
+在  这个  激动人心  的  时刻  ，  我  很  高兴  通过  中国  国际  广播  电台  、  中央  人民  广播  电台  和  中央  电视台  ，  向  全国  各族  人民  ，  向  香港  特别  行政区  同胞  、  澳门  特别  行政区  同胞  和  台湾  同胞  、  海外  侨胞  ，  向  世界  各国  的  朋友  们  ，  致以  新  世纪  第一  个  新年  的  祝贺  ！  
+过去  的  一  年  ，  是  我国  社会主义  改革  开放  和  现代化  建设  进程  中  具有  标志  意义  的  一  年  。  在  中国  共产党  的  领导  下  ，  全国  各族  人民  团结  奋斗  ，  国民经济  继续  保持  较  快  的  发展  势头  ，  经济  结构  的  战略性  调整  顺利  部署  实施  。  西部  大  开发  取得  良好  开端  。  精神文明  建设  和  民主  法制  建设  进一步  加强  。  我们  在  过去  几  年  取得  成绩  的  基础  上  ，  胜利  完成  了  第九  个  五年计划  。  我国  已  进入  了  全面  建设  小康  社会  ，  加快  社会主义  现代化  建设  的  新  的  发展  阶段  。  

test/data_for_tests/io/cws_pku/train.txt

@@ -0,0 +1,6 @@
+迈向  充满  希望  的  新  世纪  ——  一九九八年  新年  讲话  （  附  图片  １  张  ）  
+中共中央  总书记  、  国家  主席  江  泽民  
+（  一九九七年  十二月  三十一日  ）  
+１２月  ３１日  ，  中共中央  总书记  、  国家  主席  江  泽民  发表  １９９８年  新年  讲话  《  迈向  充满  希望  的  新  世纪  》  。  （  新华社  记者  兰  红光  摄  ）  
+同胞  们  、  朋友  们  、  女士  们  、  先生  们  ：  
+在  １９９８年  来临  之际  ，  我  十分  高兴  地  通过  中央  人民  广播  电台  、  中国  国际  广播  电台  和  中央  电视台  ，  向  全国  各族  人民  ，  向  香港  特别  行政区  同胞  、  澳门  和  台湾  同胞  、  海外  侨胞  ，  向  世界  各国  的  朋友  们  ，  致以  诚挚  的  问候  和  良好  的  祝愿  ！  

test/io/loader/test_cws_loader.py

@@ -15,7 +15,7 @@ class TestCWSLoader(unittest.TestCase):
 
 class TestRunCWSLoader(unittest.TestCase):
     def test_cws_loader(self):
-        dataset_names = ['msra']
+        dataset_names = ['msra', 'cityu', 'as', 'msra']
         for dataset_name in dataset_names:
             with self.subTest(dataset_name=dataset_name):
                 data_bundle = CWSLoader(dataset_name=dataset_name).load(

test/io/pipe/test_cws.py

@@ -16,7 +16,7 @@ class TestCWSPipe(unittest.TestCase):
 
 class TestRunCWSPipe(unittest.TestCase):
     def test_process_from_file(self):
-        dataset_names = ['msra']
+        dataset_names = ['msra', 'cityu', 'as', 'pku']
         for dataset_name in dataset_names:
             with self.subTest(dataset_name=dataset_name):
                 data_bundle = CWSPipe().process_from_file(f'test/data_for_tests/io/cws_{dataset_name}')