
爬虫
位文杰TOP
男,汉族,1996年6月出生于河南周口
展开
-
爬虫之操作excel
几种常用模块的使用方法注释:Excel 2003 即XLS文件有大小限制即65536行256列,所以不支持大文件,而Excel 2007以上即XLSX文件的限制则为1048576行16384列下面则为几种模块的使用:1.xlwt写入xls文件内容import xlwt book = xlwt.Workbook() # 新建工作簿table = book.add_sheet('Over',cell_overwrite_ok=True) # 如果对同一单元格重复操作会发...原创 2021-01-26 14:20:18 · 5708 阅读 · 0 评论 -
python 爬虫 爬取csdn
import urllib2.requestimport re.requestfrom bs4 import BeautifulSoupdef getHtml(url,headers): req = urllib2.Request(url,headers=headers) page = urllib2.urlopen(req) html = page.read()...原创 2018-07-31 10:57:43 · 20624 阅读 · 0 评论 -
讲解Python爬虫的Urllib库
怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我们就写个例子来扒一个网页下来 import urllib2 #添加库 res...翻译 2018-07-31 11:15:24 · 19962 阅读 · 0 评论 -
python的异常处理
Python 异常处理python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理: 本站Python教程会具体介绍。 断言(Assertions):本站Python教程会具体介绍。python标准异常异常名称 描述 BaseException 所有异常的基类 SystemExit 解...原创 2018-08-10 22:22:36 · 18149 阅读 · 0 评论 -
关于python爬虫语句的解析
这是python 爬虫的网页内容信息的if __name == '__main__': url = "https://blog.youkuaiyun.com/qq_36958104"user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704...原创 2018-08-07 11:05:28 · 20648 阅读 · 0 评论 -
爬虫的解析
在Pytho2.x中使用import urllib.quote——-对应的,在Python3.x中应该使用import urllib.prase.quote而不是urllib.request.quote Urllib库是Python中的一个功能强大、用于操作URL,并在做爬虫的时候经常要用到的库。在Python2.x中,分为Urllib库和Urllin2库,Python3.x之后都合并到U...翻译 2018-08-07 11:37:17 · 23086 阅读 · 0 评论 -
爬虫数据的获取
我们学会了使用爬虫当然少不了网页的解析,首先我们打开一个浏览器输入你选好的网站,按下F12可以查看网页的内容和我们想要的报头,但是很不幸的是你打开之后发现没有数据,如下所示这是由于你没有刷新,你点击刷新之后就出现了数据 ...原创 2018-08-07 11:51:16 · 21027 阅读 · 0 评论 -
python 爬虫爬去自己博客的访问量
废话不多说,我也是刚刚学习小白一个,但是经过我的测试确实是可以用的,只不过大家要把时间设置的要长一点先上代码,使用py3 代码的相关解析可以看我的其他博客,里面有详细的介绍__author__ = 'MrChen'import urllib.requestimport time#使用build_opener()是为了让python程序模仿浏览器进行访问o...原创 2018-08-07 15:27:46 · 18982 阅读 · 2 评论 -
python 获取网页的内容
1.安装pip我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。 1 $ sudo apt install python-pip 安装成功,查看PIP版本: 1 $ pip -V 2.安装reques...原创 2018-11-07 15:07:16 · 77447 阅读 · 2 评论