Barry的博客

在做爬虫的过程中，网页元素的定位是比较重要的一环，本文总结了python爬虫中比较常用的三种定位网页元素的方式。1.普通的BeautifulSoup find系列操作2.BeautifulSoup css选择器3. xpath这三种方式灵活运用，再配合上正则表达式，没有什么网页能难倒你啦。我们以获取豆瓣电影top250第一页的电影标题为例来比较：import reques...

一、Spider源码分析在对CrawlSpider进行源码分析之前，先对Spider源码进行一个分析。1.1、Spider介绍及主要函数讲解Spider类定义了如何爬取某个（或某些）网站。包括了爬取的动作（是否跟进链接）以及如何从网页的内容中提取结构化数据（提取Item）。 Spider就是定义爬取的动作以及分析某个（或某些）网页的地方。Spider是最基本的类，所有爬虫必须继承这个...

背景作者作为个人开发者，想接入支付功能，所以了解了下目前支付相关的方案，发现大体有以下几种（参见xpay）：支付宝和微信官方支付接口：基本都需要企业资格才能开通，最起码也要是个体工商户才可以（有营业执照）。第三方支付平台：例如图灵支付，xpay等，支持个人开发者，但是手续费太高。野路子：网上有开源方案是监听支付宝app收款通知，实现收款，例如PaysApi、绿点支付等，本质上依然是采用挂...