zrools的博客

支持Apache、nginx、lighttpd、varnish、squid等web服务产生的日志 安装 root@zrools:~# apt-get -y install logstalgia 使用 root@zrools:~# logstalgia access_log 远程读取服务器web日志 root@zrools:~# ssh user@host tail -f access.log | l

0x00 前言 数据截至：2016.02.23 你应该猜到是哪个网站了，用python3写了个多线程（异步也不错）+多代理爬虫，大致实现是在运行中不断往数据库加入新代理，在获取中把无效代理去掉及将任务ID添加回队列，最后剩下稳定的代理循环使用，也要限制一下每个代理的访问频率，这样可突破反爬虫机制，数据库用mysql(数据量小，感觉用什么没多大关系)，抓取了招聘公司+招聘信息（含岗位需求），其实也