weixin_42304193的博客

如何实现简单的ip反爬如何实现简单的ip反爬

我们在普通的爬虫过程中经常遇到一些网站对ip进行封锁的下面演示一下普通的爬虫程序。

有很多地方都说python多继承的继承顺序，是按照深度遍历的方式，其实python多继承顺序的算法，不是严格意义上的深度遍历，而是基于深度遍历基础上优化出一种叫3C算法。

假设有一个类，这个类的一个成员属性是一个固定值，但是又想每个实例中单独使用，不跟所有人共享，如果这个类的实例有几万个，那么他这个成员属性就会存在几万个，有因为是固定值，那么这种行为就极其浪费内存空间，由此原因，python底层就创建一个固定空间，共全部实例使用，这样既不会浪费空间，又不影响功能。上面的代码实例可以看出，两个实例的成员属性的指向都是一样的，那么会不会出现这样的情况，就是修改m1.aData的值会不会改变m2.aData的值。如上面这个代码，两个实例的实例属性的内存地址都是不一样的。

《相见你》短评分析前几天，女朋友一直在追想见你这个台剧，然后去豆瓣搜了一下，看到了评分竟然高达9.2分想想我以前做的那些分析，所以就做一个简单的数据分析来分析一下想见你这部电视剧爬取短评和评分其实豆瓣作为爬虫新手联系已经够无奈了，后来豆瓣从根源上避免爬虫，在豆瓣短评上只会显示500条短评这里可以看到短评有14多万条，但是你不断下一页就可以发现，最多只会显示到500条，而我觉得非常的无...

python把mysql数据库的数据表数据写入csv文件中mysql数据库是一个关联型数据库，数据库中可以存放很多数据表，这次我演示的是把数据库中的数据表读取出来，然后写入csv文件中。导入模块import pymysqlfrom pprint import pprintimport pandas这次使用到三个模块，pprint模块是为了让打印出来的数据更加工整。读取数据库cla...

爬取豆瓣电影信息分析网站首先我们先进入到电影网站首页https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0但是这不是我所要的网址，我想要获得电影信息的网址，按f12看到动态网页代码，我进行网页分...

tensorflow多线程批量读取数据总所周知，在深度学习中，tensorflow是非常好用的一个框架，也是比较常用的一个框架，而我这篇博客主要是讲述如何用tensorflow多线程批量读取数据。在我们使用算法来预测或者分类数据时，都会使用大量的数据来训练模型，而这些数据往往都是使用文件来保存的。而我们在机器学习中往往会遇到数据量太大，读取数据的速度太慢了，这种普通的读取数据的方式会严重影响了...