dayexiaofan的博客

对异步爬虫从概念学习，到进阶，再到实例

python存储类型的基础学习，为爬取的数据提供了存储渠道

通过对前端页面的Ajax学习，对接口中的响应数据进行爬取

match方法是从字符串大的开头开始匹配的，如果不从开头匹配，整个匹配就失败了。（）实际上标记了一个子表达式的开始和结束位置，被标记的每个子表达式一次对应每个分组，调用group方法传入分组的索引即可获取提取结果。match方法会尝试从字符串的起始位置开始匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配，就返回None。用findall方法可以匹配获取到所有的相匹配的所有字符串。其中，‘.’可以匹配任意字符（除换行符），*代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意字符了。

直接利用request中的get、post方法做到的模拟网页请求，但不同的请求处于不同的session中（或者说用两个浏览器打开两个请求）。假如第一个请求通过post执行登录，第二个请求通过get方法获取登录后的个人信息，如果第二次请求是打开一个新的浏览器选项卡而不是新的浏览器，且不想每个请求中都加入cookie（会比较繁琐），就可以用到Session对象。注：本文章为学习过程中对知识点的记录，供自己复习使用，也给大家做个参考，如有错误，麻烦指出，大家共同探讨，互相进步。作为内置的状态码做比较。

爬虫基础，对urllib下的request、error、parse、robotparser模块的学习和使用

记录错误：python3自带了urllib，但为什么会报错。代码如下：import urllib.requestresp = urllib.request.urlopen("http://www.baidu.com")print(resp)print(resp.read())错误现象：错误原因：最后检查发现，命名的文件名不能是urllib.py，改为其他文件名后正常...

分支结构的应用场景之前写的python代码都是一条一条语句顺序执行，这种结构的代码我们称之为顺序结构。然而仅有顺序结构并不能解决所有的问题，比如我们设计一个游戏，游戏第一关的通关调教是玩家获得1000积分，那么在完成本局游戏后我们要根据玩家得到分数来决定究竟是进入第二关还是告诉玩家“Game Over”，这里就会产生两个分支，而且这两个分支只有一个会被执行，这就是程序中分支结构。If语句的使用...

"""绘制小猪佩奇"""from turtle import *def nose(x,y): """画鼻子""" # penup()提起画笔，用于另起一个地方绘制时用，与pendown()配对使用 penup() # 将海龟移动到指定的坐标 goto(x,y) pendown() # 设置海龟的方向（0-东、90-北、180-西、...

本文主要配置网络爬虫过程中用到的环境配置，主要有：Python3+PipMongoDBRedisMySQLPython端版本共存Python爬虫常用库注意：本文是Windows下的环境配置Python3+Pip环境配置第一种：Anaconda 这个软件包含了python以及其各种包下载地址 https://www.anaconda.com/注意：1、安装路径可选择安装...