二次元肥宅

 爬取的目标网页：http://www.xiaohuar.com/hua/项目源码已上传至github，码云详情请查看github内的readme.txt文件github链接：https://github.com/18839739027/all_scrapy最终效果图：...

 先来个图镇楼（图片源自网络，侵权立删） scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时I...

图来，源于网络，侵权立删：  前言尽管Redis是一个非常快速的内存数据存储媒介，也并不代表Redis不会产生性能问题。Redis采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得Redis对每个任务的执行效率更加敏感。针对Redis的性能优化，主要从下面几个层面入手：最初的也是最重要的，确保没有让Redis...