- 博客(7)
- 收藏
- 关注
RSS订阅原创 python爬虫——用Scrapy框架爬取阳光电影的所有电影
python爬虫——用Scrapy框架爬取阳光电影的所有电影1.附上效果图2.阳光电影网址http://www.ygdy8.net/index.html3.先写好开始的网址 name = 'ygdy8' allowed_domains = ['ygdy8.net'] start_urls = ['http://www.ygdy8.net/index.html']4....
2019-06-04 19:22:37
2835
原创 python数据分析——用jieba和词云做知乎的数据分析
python数据分析——用jieba和词云做知乎的数据分析1.附上效果图2.我先用爬虫爬取了知乎2019年知乎问题和描述（我之前写过的爬虫https://blog.youkuaiyun.com/weixin_45019310/article/details/89923644），再进行数据分析3.先用jieba进行分词mytext = open(r'D:\pycharm\python项目\知乎\zh...
2019-05-26 12:47:23
2844
1
原创 python爬虫——用selenium爬取淘宝商品信息
python爬虫——用selenium爬取淘宝商品信息1.附上效果图2.淘宝网址https://www.taobao.com/3.先写好头部browser = webdriver.Chrome()wait = WebDriverWait(browser,20)#设置等待时间为20秒url ='https://www.taobao.com/'keyword = 'python爬虫'...
2019-05-26 10:31:51
9719
7
原创 python爬虫——用selenium爬取京东商品信息
python爬虫——用selenium爬取京东商品信息1.先附上效果图（我偷懒只爬了4页）2.京东的网址https://www.jd.com/3.我这里是不加载图片，加快爬取速度，也可以用Headless无弹窗模式options = webdriver.ChromeOptions()options.add_experimental_option('prefs', {'profile....
2019-05-10 09:32:37
7234
2
原创 python爬虫——关于ajax加载之爬取2019年知乎问题和描述
python爬虫——关于ajax加载之爬取2019年知乎问题和描述1.先放上效果图(描述为空的原因是本来就没写描述或者只放了图片被我去掉了).2.知乎网址https://www.zhihu.com/3.先写好请求头(知乎是需要登录才能看的，所以一定要写cookie，而且要过几天cookie就会过期，一定要记得更新，老夫就是栽在这上面耽误了好久)#请求头headers = { ...
2019-05-07 16:23:23
1730
1
原创 python爬虫——多线程的简单实例
python爬虫——多线程的简单实例1.先附上没有用多线程的包图网爬虫的代码import requestsfrom lxml import etreeimport osimport timestart_time = time.time()#记录开始时间for i in range(1,4): #1.请求包图网拿到整体数据 response = requests.ge...
2019-05-07 14:25:17
2699
1
原创 python爬虫——用xpath做一个简单爬虫
Python爬虫——用xpath做一个简单爬虫1.效果图.2.网页传送门.3.进入网页后按F12打开开发者工具，用鼠标样的按钮定位到指定位置4.上图中有所有我们要的数据，标题（大气震撼党政党建图文片头AE模板）和视频链接( //video-qn.ibaotu.com/18/06/49/508888piCHsa.mp4_10s.mp4) ，就开始写代码了，首先先导入包import re...
2019-05-06 11:41:05
1223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人