xingyu的博客

介绍urllib是Python自带的标准库，无需安装，直接可以用。提供了如下功能：网页请求响应获取代理和cookie设置异常处理URL解析爬虫所需要的功能，基本上在urllib中都能找到，学习这个标准库，可以更加深入的理解后面更加便利的requests库。urllib，urllib2，request之间的关系在Python2中，分为urllib库和urllib2库，...

目录1. 概述2. 读取JSON2.1 最简单的例子2.2 bytes和bytearray数据2.3 编码格式2.4 数据类型转换2.5 自定义JSON对象转换类型2.6 自定义JSON数字转换类型2.7 非对象顶级值2.8 重复键名2.9 处理JSON数据文件3 生成JSON3.1 编码格式3.2 数据类型转换3.3 循环引用3.4...

我们使用python爬取得到的数据，有时候会数据量特别大，需要存入数据库。需要注意的是，MySQL是一种关系型数据库管理系统，利用MySQL可以对数据库进行操作，而MySQL并不是一个数据库。而pymysql库的作用就是在python中对MySQL进行操作。 简单来说，使用pymysql库对MySQL进行操作，分为以下三个步骤：1. 同MySQL建立连接要对MySQL进行操...