DR_eamMer的博客

爬虫实战计划的第一篇：淘女郎网站图片爬取爬虫一般都是从爬取妹子图入门的，哈哈。这个算是最简单的爬虫了，只用了request库，也是最入门级别的爬虫方法。ps:附上GitHub链接：淘女郎网站图片爬取代码展示：def open_url(url): req = urllib.request.Request(url) req.add_header('User-Agen...

安装环境：本人使用系统是Windows 7 64位但是python安装的是3.6版本，而且是32位！！当初若不是眼瞎，能装32位？安装顺序：由于scrapy框架依赖好多库，所以给个安装顺序才不乱。。1.wheelpip install wheel2.lxmlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml ...

主函数：if __name__ == '__main__': for i in range(10): html=get_page('http://maoyan.com/board/4?offset='+str(i*10)) for item in parse_one_page(html): print(item) ...

python_58ershoupython+beautifulsoup多线程爬取58同城二手全部商品信息，并在jupyter上将数据可视化项目主程序在58_index中：建立mango数据库表#连接MongoDB数据库client=pymongo.MongoClient('localhost',27017)#建立learn数据库，如果没有会自动创建learn=cl...

Django是一个开放源代码的Web应用框架，由Python写成。采用了MTV的框架模式，即模型M，模板T和视图V。widows下安装Django在cmd里面运行一下代码，会自动安装最新版Django。如果想安装特定版本，见第二条代码片pip install Django #安装最新版pip install Django== ‘版本号’ #安装特定版本这里给出Django版本...

以搜狗的微信搜索作为爬虫入口，http://weixin.sogou.com/weixin? 对于封ip的反爬虫机制，可以通过IP代理池解决。IP代理池，可以在GitHub中获取，这里用的是这个https://github.com/Germey/ProxyPool。readme文件中有详细的使用方法import requestsfrom urllib.parse import urlenc...

赋值：a=b，只拷贝了对象的引用，没有拷贝内容。两个对象的id一样 浅拷贝：copy.copy()，构造一个新的复合对象，然后将子对象引用插入到原始对象的副本中。 深拷贝：copy.deepcopy(),构造一个新的复合对象，然后递归地将子对象副本插入原始对象的副本。 给个栗子： 从这个栗子可以看出，对c进行修改时，d由于只复制了c的引用，所以看上去也进行了修改，实际指向的是同一内存。...