Arog的博客

PIL图片处理基本图片操作：import PIL.Image as imageimport PIL.ImageFont as imgfontimport numpy as np#设置字体font = imgfont.truetype("font.ttf",40)#打开图片img1 = image.open("1.jpg")#数组 numpy 0-255的数据image = np.array(img1)print(image)img1.show()#默认工具打开#缩放（是一个元组类型

假设我们建立了一个hello.py这个文件,那它如何被计算机运行呢?首先我们的hello.py源文件会被python解释器转换成一种字节码文件,这种字节码文件可以被python解释器识别,而并不能被我们的计算机识别,这时python解释器会再一次的将我们的字节码文件转换成可以让计算机真正识别的二进制文件,然后放到内存,运行,然后把我们运行后的结果打印到屏幕上. 这当中字节码文件有两种形式,它...

什么是爬虫 爬虫是一个自动抓取互联网信息的一个程序. 爬虫的价值是什么呢?就是互联网的数据为我所用,我可以在互联网爬取一些我所想要的数据,例如:我想整一个关于美女主题的网站,又不知道去哪里找这些图片,那我就用爬虫技术,爬取互联网上的美女图片然后存到我的网站上.等等.学习自:慕课网....

要实现一个爬虫我们需要考虑那几个方面呢? 首先我们需要一个爬虫的调度端,来启动爬虫,运行爬虫,监视爬虫的运行情况. 在爬虫程序有三个模块. 1 URL管理器 : 将我们的将要爬取得URL和已经爬取过的URL 2 网页下载器: 将我们URL管理器中待爬取的URL将其传送给网页下载器,下载器将指定的URL下载下来组成一个字符串. 3 网页解析器: 将我们的网页下载器下载下来的字符串传送给网...

URL管理器:管理待抓取URL集合和已抓取URL集合-防止重复抓取,防止循环抓取. 假设我们有两个网页,这个网页有那个网页的URL链接,那个又有这个URL链接,这样就来回循环,形成死循环.所以我们要杜绝这样的事情发生.步骤: 添加新URL到待抓取集合中—-判断待添加URL是否在容器中. 获取待抓取URL—-URL管理器判断是否还有待抓取URL,如果已抓取那就将URL移动到已抓取....

网页下载器有两种: 1 urllib2 —Python官网基础模块 2 requests —第三方包更强大urllib2 最简洁的方法 urllib2.urlopen(url) urllib2下载网页方法2 :添加data,http header urllib2方法3 :添加特殊情景的处理器 HTTPCookieProcessor :有些网站需要登录才可以使用,我...

网页解析器:是从网页中提取有价值数据的工具 python 有四种网页解析器: 1 正则表达式:模糊匹配解析 2 html.parser:结构化解析 3 Beautiful Soup :结构化解析 4 lxml:结构化解析 其中 Beautiful Soup 功能很强大,有html.parse和 lxml的解析器. 结构化解析-DOM(Document Object Model)树...

在爬之前要想的: 我们就以爬百度百科的Python为例子,我们分析这个页面和关联页面中的数据的抓取策略是什么.URL格式 数据格式: 标题 简介 总结 python2 爬虫实例下载地址:https://pan.baidu.com/s/1DE-E4nf5b5WZ-Z26MVE_fw 学习自:慕课网...