python爬虫学习
JustFORfun233
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
爬取同类标签方法
网上很少有爬取的信息在多个同种标签下,如何爬取的方法,恩,我就尝试了几种,还成功爬取到了。废话不多说直接上例子例子:http://www.17k.com/list/2743300.html发现要爬取的链接在<dl class = "Volume">里面,而且有三个。方法一、from bs4 import BeautifulSoupfrom urllib.request import ...原创 2018-03-07 23:09:53 · 4665 阅读 · 0 评论 -
Python数据提取Json
json简单说就是javascript中的对象和数组,所以这两种结构就是对象和数组两种结构,通过这两种结构可以表示各种复杂的结构对象:对象在js中表示为{ }括起来的内容,数据结构为 { key:value, key:value, ... }的键值对的结构,在面向对象的语言中,key为对象的属性,value为对应的属性值,所以很容易理解,取值方法为 对象.key 获取属性值,这个属性值的类型可以是...转载 2018-03-11 09:29:06 · 16906 阅读 · 0 评论 -
python从入门到放弃
学习Python网络数据采集时,讲到标签的查找from bs4 import BeautifulSoupfrom urllib.request import urlopenimport rehtml = urlopen('http://www.pythonscraping.com/pages/page3.html')bsObj = BeautifulSoup(html,"html.pars...转载 2018-03-05 18:52:11 · 3558 阅读 · 1 评论 -
xpath
其实通俗来说 //是相对查找,/具体查找举个例子http://seputu.com/ 我要爬取它的小说的网址,通过分析(其实爬虫最重要是分析),知道了网址全部藏在<div class='box'>下面的<ul>的<li>中,并且这个<div class='box'>有11个。然后最开始的时候发现xpath中import requestsfrom l...原创 2018-04-07 18:17:40 · 436 阅读 · 0 评论
分享