helloshijie_c的博客

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Shee

1、流程框架1.1、获取配置文件信息获取配置文件信息包括存储文件的电脑本地路径、上次抓取的漫画某话序号以及其已下载的图片序号数。1.2、抓取漫画每一话的链接利用selenium无驱动浏览器通过显式延时以及css selector搜索得到漫画每一话的链接1.4、抓取某一话漫画的名称以及每个图片的链接利用selenium驱动浏览器通过关键字获取某一话信息以及其每个图...

1、简介  configparser用于配置文件解析，可以解析特定格式的配置文件，多数配置文件的格式为XXX.ini。该模块的作用就是使用模块中的RawConfigParser()、ConfigParser()、SafeConfigParser（）这三个方法（三者选择其一），创建一个对象使用对象的方法对指定的配置文件做增删改查操作。其中RawConfigParser是最基础的ini文件读取类，Co...

校验数字的表达式1. 数字：^[0-9]*$2. n位的数字：^\d{n}$3. 至少n位的数字：^\d{n,}$4. m-n位的数字：^\d{m,n}$5. 零和非零开头的数字：^(0|[1-9][0-9]*)$6. 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$7. 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$8. 正数...

如果要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON。因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。1、json简介    Json，全名JavaScript Object Notation，是一种轻量级的数据...

1、简介  python中hashlib用于加密相关的操作，代替了MD5模块和sha模块，主要提供了sha1、sha224、sha256、sha384、sha512摘要算法。另外，模块中所定义的new(name,string=)方法可以指定系统所支持的hash算法来构造相应的hash对象。  摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个固定长度的字符串(通常用16进制...

    在python中，与时间处理有关的模块包括：time、datetime以及calendar。这篇主要讲解time。1、时间表示形式    python中，通常有三种方式表示时间:时间戳(timestamp)、元组(struct_time)、格式化的时间字符串(Format String)。由于python中的time模块实现主要是调用C库，所以各个平台可能有所不同。UTC时间协调时即格林威...

1、False    数据类型布尔类型的值，表示假，与True相反，常用于条件语句中作为判断条件，如下a = 20b = 30 c = a > bif c: print("a 大于b")else: print("a 小于b") 2、True    数据类型布尔类型的值，表示真，与False相反，常用于条件语句中作为判断条件。3、None    空对象，pytho...

1、缩进统一    python同一级别的代码缩进必须一致，否则程序解析时会报错误。理论上缩进几个空格都可以，建议缩进是4个空格，注意是敲4个空格键而不是一个tab键。不建议采用table进行缩进，因为在linux和windows下的table定义的空格数不同，防止在不同的操作系统下同一个代码因缩进问题而影响人难以阅读，降低开发效率。#!/usr/bin/python# -*- coding: ...

1、Window 平台安装 Python:以下为在 Window 平台上安装 Python 的简单步骤：打开WEB浏览器访问http://www.python.org/download/在下载列表中选择Window平台安装包，目前最新的版本为python3.6，如下图：下载后，双击下载包，进入Python安装向导，安装非常简单，你只需要使用默认的设置一直点击"下一步"直到安装完成即可。2、Wind...

1、流程框架1.1、抓取漫画每一话的链接利用selenium驱动浏览器通过css selector搜索得到漫画每一话的链接1.2、抓取某一话漫画的名称以及每个图片的链接利用selenium驱动浏览器通过关键字获取某一话的名称以及其每个图片的链接1.3、下载每个图片并保存到电脑本地通过requests获取的图片的内容保存到本地电脑上2、代码如下from s...