diff --git a/dataProcessing.md b/dataProcessing.md index 2fdcfd1..a15983e 100644 --- a/dataProcessing.md +++ b/dataProcessing.md @@ -77,7 +77,7 @@ - Elasticsearch - 储存加工好的数据,以及打上各种标签的数据,储存在分布式搜索中,这样便于用户对数据的检索。 + 储存加工好的数据、去掉样式的原文信息,以及打上各种标签的数据,储存在分布式搜索中,这样便于用户对数据的检索。 - MongoDB @@ -92,7 +92,7 @@ ## 数据去重 - **URL去重** - 采用了redis集群 + 采用了redis集群,让redis发挥天然的key/value魅力,把URL都存储在redis中。 - **内容去重** @@ -102,14 +102,15 @@ ## 数据清洗 -自动提取字段,标题、正文、时间、作者、来源 等。 + - 自动提取字段,标题、正文、时间、作者、来源 等。 + - 采用自动分类技术对 软文、广告文、敏感文章分类,并且对抓取信源屏蔽。 ## 数据标记 - **内容简介** - 我们自研了一套自然语言处理的API,我们对此也开放了出来,可以查阅 + 我们自研了一套自然语言处理的API,我们对此也开放了出来,可以查阅。 - **实体识别** @@ -117,7 +118,7 @@ - **情感分析** - 百度飞桨 + 百度飞桨,我们使用了 PaddleHub 深度学习框架并且采用了 [Senta模型](https://gitee.com/paddlepaddle/PaddleHub/blob/release/v1.7/docs/pretrained_models.md#%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90) ,这个方案上手很简单,在百度飞桨官方网站上有详细内容,这里就不赘述了。 - **高频词分词** @@ -134,15 +135,13 @@ - **事件分类** - 自研算法 + 自研算法,采用文本分类算法和高频词以及自己开发了一个管理后台。 - **行业分类** - 自研算法 + 自研算法,采用文本分类算法和高频词以及自己开发了一个管理后台。 - - ## 数据运维 - 数据清理