搜索引擎+网络爬虫

1、所谓搜索引擎：类似于百度，谷歌。

2、网络爬虫：可以通过DNS获取访问量比较高的网站域名，也可以通过在访问网站获取网页中的链接和页面信息，通过正则表达式获取指定的信息，
然后可以不断的获取链接页面中的信息。
   博客：《揭秘Java网络爬虫程序原理》 链接：https://blog.youkuaiyun.com/axi295309066/article/details/62236178?locationNum=1&fps=1

3、DNS：记录了权重比较高的网站，访问量比较高的网站，提供给搜索引擎

4、垂直检索：一种为检索一个或某些领域，另一种为检索某些网站

5、多线程：主要目的减少CPU资源的浪费
           通过网络爬虫获取域名，得到域名之后，查询，对比，存到数据库中，更新
       拿新信息，将一些访问量大的信息存入缓存中

6、一般服务器为30、40个线程  

7、SEO 搜索排名优化技术

8、线程池：代替我们管理线程，相当于一个线程框架，线程池中有一个消息队列，自动分配线程，保证不会有线程空闲

9、机械IO，磁盘IO：存放持久化数据

10、模拟登录：将用户名和密码写在程序中

11、linux定时任务中心：搜索引擎定时爬取相关网站的信息进行更新

12、shell脚本：Shell脚本,就是利用Shell的命令解释的功能，对一个纯文本的文件进行解析，然后执行这些功能，也可以说Shell脚本就是一系列命令的集合。
Shell可以直接使用在win/Unix/Linux上面，并且可以调用大量系统内部的功能来解释执行程序，如果熟练掌握Shell脚本，可以让我们操作计算机变得更加轻松，也会节省很多时间。

作者：关玮琳linSir
链接：https://www.jianshu.com/p/71cb62f08768
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

本次任务：搜索引擎 定向爬取 固定的10个网站（百度、新浪、微博等）