zhang_8626的博客

最近在写一个爬虫，爬下来的数据存储到Excel中，最开始使用xlwt和xlrd这两个模块配合使用对Excel创建和写入和追加操作，但是有一个弊端就是数据大约超过65000就会报错的报错：ValueError: row index was 65536, not allowed by .xls format解决方案: xlrd和xlwt处理的是xls文件，单个she...

1.首先我们封装一个封装一个添加数据库代码，方便后面调用import pymysqlclass mysql_conn(object): # 魔术方法，初始化，析构函数 def __init__(self): self.db = pymysql.connect("localhost","root","******","xueqiu__text") ...

1.先分析目标，本文章爬取sa先分析，url区别 Request URL: https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search...

第一步先分析流程#1. 传入url#2. user_agent#3. headers#4. 定义Request#5. urlopen#6. 返回byte数组from urllib import request, parsefrom urllib.error import HTTPError, URLErrordef get(url, headers=None): ...