From d36e1cea4fd0b3003873fc6679f270dfe393241a Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=E6=80=9D=E9=80=9A=E6=95=B0=E7=A7=91=20StoneDT?=
<13913853100@163.com>
Date: Sun, 20 Feb 2022 14:10:01 +0000
Subject: [PATCH] update dataCollection.md.
---
dataCollection.md | 45 ---------------------------------------------
1 file changed, 45 deletions(-)
diff --git a/dataCollection.md b/dataCollection.md
index 3649bbc..0c70b70 100644
--- a/dataCollection.md
+++ b/dataCollection.md
@@ -1,51 +1,6 @@
## 项目简述
-爬虫，在很多人眼里很简单、廉价一点都不奇怪，因为网上有大量9.9块Python培训课，其中包含爬虫教学。
-爬虫，在多数人眼里是灰色产业，这也不奇怪。中国在2019年出现了很多“大数据”公司，他们采用了爬虫技术窃取用户隐私。
-但是，爬虫，一词对我们来说是一门博大精深的技术，掌握这门技术是不容易的，这门技术更不是为灰色产业服务的。
-
-
-爬虫，一词，让我直接的联想到的是Google以及很多顶尖技术和团队，绝不是灰色产业和简单的技术。
-
-
-传说中，美国中央情报局（CIA）创建了一个开放源代码中心负责收集，研发生产和推广 **[开源情报（OSINT）](https://wiki.mbalib.com/wiki/%E5%BC%80%E6%BA%90%E6%83%85%E6%8A%A5)**，而开源情报的90%大部分数据来源就是互联网和公开数据源。
-
-因此，2021年末，我们给爬虫技术和数据采集，有了一个新的定义：**[开源情报（OSINT）](https://wiki.mbalib.com/wiki/%E5%BC%80%E6%BA%90%E6%83%85%E6%8A%A5)**。
-
-
-
-大多数创业团队初期都是手工作坊。
-
-在2017年初，我们跟其他的团队也没有例外。
-
-刚刚开始抓取互联网数据的时候，我们采用的是最原始的代码开发java和Python。
-
-由于，我们的运气和勤劳 团队和名气慢慢变大，手工作坊的模式反而给我们带来巨大的维护成本以及极低的稳定性。
-
-于是，我们狠下心来，开始研发一套可以管理分布式的爬虫系统，我们定义为： **爬虫工厂** 。
-
-梦想总是美好的，现实总是残酷的。
-
-在研发的过程中我们一次次的试错和尝试，让我们积累了很多经验与总结。
-
-截止积累到2021年9月份，
-
-我们最后决定将之前研发的系统重新定义和研发，代号为： **发动机计划** 。
-
-最后，到2021年12月份，
-
-推到，重来，再推到，再重来.... 整个项目设计方案过了3个月才完成，目前我们还在砺砺前行。
-
-迄今为止，我们对此的投入的研发费用早已超过的一辆 **[劳斯莱斯汽车](https://www.yoojia.com/s-322)** 的售价。
-
-2022年，新年伊始，
-
-我们做了一个更大的决定，将我们的研发成果全部开源！
-
-目的是为了能让更多的人了解我们，使用我们的研发成果，或者参与我们的项目。
-
-我们相信： **把任何事情做到极致，就是一门艺术！**
## 开源技术栈