DAIBISON的博客

0. 前言在B站上看了黑马的scrapy，老师讲的超细致，赞！本文主要用scrapy的基本操作完成爬取，适合入门级学习。1. scrapyscrapy有很多命令，在terminal输入scrapy可以看到这里我们主要用startproject来创建整个项目，genspider生成爬虫，完成编程以后再crawl一下即可。首先：scrapy startproject XXXX就可以在本...

1.前言由于本科毕设做相关问题，需要充电站位置分布，因此顺带爬取了一下分布。主要库：requests pyquery，还有selenium2. 爬取充电站地理位置目前我只找了这个网址可以读取全部充电站位置的，其他只能搜索个别充电站，难以爬取全部充电站。一开始的时候对网页进行爬取，很轻松就得到了内容，但打印出来发现并没有我们想要的信息，都是一些琐碎的文字。于是想到应该是有反爬处理，仔细看了一...

1.前言继续学习爬虫内容，这回是以selenium模拟操作进行抓取，其中有几个需要登陆的注意事项。2.自动登陆+查找页面由于现在淘宝的反爬机制，需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面，经过测试发现微博登陆是不需要验证码的，如果使用账号密码登陆是要滑动，但反爬更加严格，笔者暂时没有解决。也尝试过加cookie，也失败了。因此最好的方法还是利用微博账号自动登录。登录后获取总页数...

目前正在自学爬虫，在b站上看到网课都比较过时，页面情况早已改变，对于新手比较不友好，经过尝试成功爬取今日头条图片并下载。首先是在今日头条下进行搜索：https://www.toutiao.com/search/?keyword=美女右键点击查看网页源代码后发现并不是我们需要的，经过分析，应该是该数据是通过异步加载Ajax实现的。右键点击检查，点击Network并切换到XHR，此时再刷新页面可以...