downdawn

找了一圈redis迁移工具，包括：redis-port、redis-shake、redis-dump等等，涉及到各种语言和环境，折腾了半天没有成功。。最后还是自己写吧。利用这个强大的python库简单写一个适用于单机的redis迁移脚本。

pyenv安装依赖sudo yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel libpcap-devel xz-devel gcc -y安装pyenv提前安装git，yum install git -ymkdir ~/.pyenvgit clone git://github.com/yyuu/pyenv.git ~/.pye

多ip服务器绑定ip发送请求（requests和scrapy）有时候我们会购买多ip服务器（站群服务器），来满足特定的需求，比如建站，SEO等。多ip服务器通常是ip越多价格越贵，ip段也有优劣之分。对于爬虫而言，200多个ip，合理利用的话也可以满足很多需求了。本篇文章针对python的两个爬虫库：requests和scrapy，怎么绑定指定ip发送请求做的整理笔记。1、获取本机所有ip第一步就是要知道本机有多少可用的ip。import psutildef get_local_ips(

python爬虫中的去重处理爬虫进阶课程笔记。1、去重应用场景以及基本原理1.1、 爬虫中什么业务需要使用去重防止发出重复的请求防止存储重复的数据1.2、去重实现的基本原理根据给定的判断依据和给定的去重容器，将原始数据逐一进行判断，判断去重容器中是否有该数据。如果没有那就把该数据对应的判断依据添加去重容器中，同时标记该数据是不重复数据；如果有就不添加，同时标记该数据是重复数据。...