pythoner111的博客

# coding=utf-8import asyncioimport functoolsimport loggingimport timefrom concurrent.futures import ThreadPoolExecutorfrom aiohttp import ClientSessionlogging.basicConfig( level=logging.IN...

爬虫实战（爬取安居客二手房信息-成都天府新区）环境：python3.6 pycharm bs4库解析方式：bs4需求：爬取二手房信息字段（titile,house_type,build_time,area,address,price,unit_price），并将爬取到的数据导出到excel表格中，当然你也可直接存到数据库。第一步 分析url：第一页的url如下第二页的...

需求：利用scrapy框架爬取安居客成都某区的房屋信息，并保存到Mysql。环境：pycharm,py3.6,scrapy ,bs4，mysql第一步：创建scrapy项目，cmd执行命令 scrapy startpeoject anjuke_spider，创建了一个名为anjuke_spider的scrapy项目，然后再输入 scrapy crawl anjuke_house www.a...

环境 pycharm,bs4需求：在笔下文学网站上爬取全职高手全本小说第一步：分析url第一章的url：第二章的url：从url的变化很容易找到规律。看到了源代码，静态html中包含小说文本，所以直接request刚刚分析的链接就能获取源码，然后用bs4解析提取每一章的小说文本即可。下面直接上我写的代码：import requestsimport randomimport ...

环境：pycharm3.6 mysql django爬虫解析方式：bs4 +正则爬取小说的网站： 笔下文学网 https://www.bxwxorg.com/需求：获取玄幻、武侠、都市、历史 四类所有小说的信息 ，包括6个字段（book_id,小说名，小说作者，小说简介，小说最近更新时间，小说海报）分析uirl：点击进入玄幻类，发现共有50页 ，每页30本小说，点击第二页 u...