ubuntu下使用Shell脚本和Scrapy进行hosts自动更新

谷歌娘上不去是一个永远挥之不去的痛，有很多可以FQ的方法，其中之一就是修改/etc/hosts文件，通过域名重定向的方法，访问Google（以及其他的网站你懂的……），感谢乱炖给我们提供了一个保持更新的可靠的hosts源：http://levi.cg.am/test/hosts/rander/?d=11.18.2，笔者常用的是第一个360kb的hosts源，除了google基本上不太有其他的需求。为什么hosts不能只修改一次呢，这种非技术问题就不在这里讨论了。

恰巧笔者又是一个非常懒的人，就连打开Chromium–>点击书签页–>点击中间硕大的“选择并复制所有hosts”–>F1–>sudo gedit /etc/hosts–>Ctrl+V，这么短短几步，都不愿意操作，于是就萌生了利用网络爬虫工具，提取360kb的hosts源，并自动替换系统hosts的想法。往事具备，只差coding了！

准备工具：scrapy，参考http://www.linuxidc.com/Linux/2015-03/115306.htm这篇文章，装好网络爬虫工具Scrapy：

a)pip package : sudo apt-get install python-pip
b)python dev : sudo apt-get install python-dev
c)SCRAPY : sudo pip install scrapy
d)Twisted