qq_15058425的博客

在用scrapy进行数据抓取的时候，经常用如下代码，将返回的数据解析成json,然后操作数据 jsonContent = json.loads(response.body) 但是有时候会遇到response.body的内容中有中文乱码的问题，导致json.loads解析失败。解决方案如下： 1、chrome安装chartset插件，安装好之后如下图：   2、将请求的链接或接口地方...

具体抓取代码没什么好讲的，要注意的地方就是将抓取的数据插入数据库。 每1000条数据提交一次数据库： pipelines.py def process_item(self, item, spider): try: page_data = (item["scode"], item["name"], item["gender"], item["age"], item[...