zhang_8626的博客

最近在写一个爬虫，爬下来的数据存储到Excel中，最开始使用xlwt和xlrd这两个模块配合使用对Excel创建和写入和追加操作，但是有一个弊端就是数据大约超过65000就会报错的 报错： ValueError: row index was 65536, not allowed by .xls format 解决方案: xlrd和xlwt处理的是xls文件，单个she...

1.首先我们封装一个封装一个添加数据库代码，方便后面调用 import pymysql class mysql_conn(object): # 魔术方法，初始化，析构函数 def __init__(self): self.db = pymysql.connect("localhost","root","******","xueqiu__text") ...

1.先分析目标，本文章爬取sa 先分析，url区别 Request URL: https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search...

第一步先分析流程 #1. 传入url #2. user_agent #3. headers #4. 定义Request #5. urlopen #6. 返回byte数组 from urllib import request, parse from urllib.error import HTTPError, URLError def get(url, headers=None): ...