coolcooljob的博客

1.第一种：写一个装饰器函数，装饰需要单例的类，并将该类的单实例缓存下来。2.第二种：实现__new__方法，并将一个类的实例绑定到类变量__instance上

     首先得说明一点，python的模块就是有一些.py文件所构成的，所以要想写一个模块，自己得先写一些python程序，我这里就写一个module1.py1.接下来，就是先建立一个文件夹my_package，将自己写的.py文件放到这个文件夹下面，并且在同级目录同时创建一个__init__.py文件2.在my_package的同级目录下面建立一个setup.py文件文件内容如下：from d...

本次目标：以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。1.抓取分析在抓取之前，首先要分析主权去的逻辑，打开今日头条的首页http://www.toutiao.com/,右上角有搜索入口，这里尝试抓取街拍美图，输入'街拍'搜索，结果如图所示：这时打开开发者工具，network,xhr选项，如图所示，可以发现一个Ajax请求，继续下拉页面皆可以发现后面的链接不断在温暖过增加，点开第一...

        在开始今天的阅读之前，最好对python中的装饰器有个了解      在开始之前，有必要讲一下Python中装饰器的副作用，装饰器首先是针对函数来说的，它有很多作用，比如引入日志，函数执行时间的统计，执行函数之前预备处理，执行函数之后清理功能，权限校验等场景，缓存等等。除此之外，使用装饰器之后，还可以改变被装饰函数的说明文档，以及之后调用函数时函数在内存中的位置等等，今天要讲的就是...

        目标：利用selenium抓取淘宝商品并利用pyquery解析得到的商品名称，图片，价格，购买人数，店铺名称和店铺所在地信息，并将其保存在mongodb。1.打开淘宝首页，搜索你要搜索的商品名称，比如我这里搜索ipad,注意观察此时的url有什么变化(附上链接https://s.taobao.com/search?q=ipad）)，仔细观察便可以看到不同，然后查看网页源代码，找到商...

具体内容见这里

本文转自网络爬虫与反爬虫实战，由作者韦玮首发自GitChat我们经常会写一 些网络爬虫，想必大家都会有一个感受，写爬虫虽然不难，但是反爬处理却很难，因为现在大部分的网站都有自己的反爬机制，所以我们要爬取这些数据会比较难。但是，每一种反爬机制其实我们都会有相应的解决方案，作为爬虫方的我们，重点需要处理这些反爬机制，所以，今天我们在这里就为大家分析常见的反爬策略以及破解的手段。1. 知己知彼-...

原文出处单例模式单例模式单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都需要使用配置文件的内容，也就是说...