- 博客(12)
- 收藏
- 关注
原创 使用urllib模块的百度实战演练
urllib.parse与urllib.request模块的综合运用 **urllib.parse **加粗样式 urllib.request.Request() urllib.request.urlopen() 从百度上爬取一个链接,并下载保存这个网页数据 import urllib.parse import urllib.request #构造一个url的不变部分 baseurl = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&
2020-08-08 10:51:19
232
原创 urllib.request.urlopen()与urllib.request.Request()
使用urllib.request.urlopen()与urllib.request.Request() 获得响应 import urllib.request r = urllib.request.urlopen('https://gzdaily.dayoo.com/pc/html/2020-08/04/content_132879_713872.htm') html = r.read().decode('utf-8') print(html) 这便是一个简单向网站发请求的框架,这种时候经常遇到反爬,比如使用
2020-08-05 09:45:54
677
2
原创 简单地从网上爬取一张图片并保存到本地
标题 简单地从网上爬取一张图片 使用requests常用框架——爬取一张图片并保存在当地文件文件(这里使用的工具——PyCharm) import requests url = '''https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1596561811183&di= 350d12154f6efc3b5e05ed9b1a3b4ccd&imgtype=0&src=http%
2020-08-04 23:00:00
669
原创 认识爬虫
@认识、爬虫基础1 1.1 URL 和 URI 的区别: URI——(全称)Uniform Resource Identifier URL——(全称)Universal Resosource Locater URI——统一资源标志符 URL——统一资源定位符 URL是URI的子集。 1.2 超文本(hypertext) 什么是网页? 答:简单来说,就是由超文本解析而成的,其网页源代码是一系列HTML代码,里面包含了一系列标签。 例如:(像这样的) 1.3 HTTP 和 HTTPS 1、URL的开头会有(h
2020-06-25 23:54:36
228
原创 bs4有感
@BeautifulSoup 的基础相关内容 1.1 BeautifulSoup 的安装 2.1 认识BeatifulSoup 3.1 学习心得 1.1 BeautifulSoup 的安装 我这里介绍一下:pip install BeautifulSoup(1、在doc命令2、在pycharm 的控制的 Terminal 中安装。 检测是否安装成功: 这样的显示,就代表你安装成功! 那如果说,没成功: 你可能还需要先下载其他的包:比如lxml、又或者是wheel ,再这里小编只是已在表明,安
2020-05-20 10:12:29
387
原创 2019pyCharm环境配置(基本)
PyCharm的常规配置 1.主题的修改 File-settings-apperance-theme 2.代码字体(控制台)的修改 File-settings-Editer-Font 3.关闭更新 File-settings-Appearance Behavior-System Settings-Updates 4.快捷键的修改 File-settings-Keymap 5.添加api文档悬浮提示 File-settings-Editer-General 6.自动导包 File-settings-Edit
2020-05-17 23:09:28
1172
原创 2.1 python类
@初阶 类 1.1 类的定义: 类:指把具有相同特性(数据)和行为(函数)的对象抽象为类 我们先来看一下如下例子: 我们可以看出: 我们的类有一个关键字class是固定不变的,而他后面的类名则是用户定义; 我们的类,指把具有相同特性(数据)和行为(函数)的对象抽象为类; 其中后面跟的self,self在实例使用时,用于传输实例对象(其实传递的是实例对象在内存中的一个一个地址)。如: 我直接打印输出my_box1 结果是一个地址,所以self传递时实际上传递的时一个地址。 如果我们缺少了self又会是怎
2020-05-10 13:47:05
249
原创 1.2 python 之 字符串
1.2 python 之 字符串 1.2.1 一、什么是字符串? 字符串(string),由任意字节的字符串组成,用单引号(‘)、双引号(“)或三引号(’‘’)成对表示。 二、字符串使用方式: 1、逐行赋值 2、错误赋值方式 错误原因:引号使用不规范! 三、注意 (1)、只有引号(‘‘),没有字节内容的字符串也是合法的。 (2)、在字符串中用反斜杠(\)开头的代表字符转义符号。 (3)、引号不...
2020-05-04 10:34:17
408
原创 1.1 python之变量
1.1变量 一、什么是变量? 指计算机编程中与关联 的标识符配对的内存存储位置,在使用时含相关类型的值,其值可以修改。 二、变量使用时,内存里将产生两个动作: 1、开辟指定地址的空间 2、赋予指定的变量值 “ NameError:name ‘a’ is not defined——名字没有被定义,即赋值。” 三、多个变量赋值 Python允许同时为多个变量赋值。 1、给三个变量赋值相同的地址 ...
2020-05-04 09:08:25
469
原创 补课——高阶函数
补课—— 高阶函数有感 首先,我们思考一下,我们调用函数是用来做什么的?调用函数对我们有什么帮助?这个答案不唯一,但有一点,我们笼统一点来说,调用函数就是为了帮助我们更好的解决问题。 函数是什么?函数本质上,也是一段代码,有着自己固定的格式、变量部分,函数通过相关的函数名将相关的代码组织在一起,对输入的数据进行处理处理,然后返回特定的输出(称为返回值),即:这个函数,我们使用时,通过其...
2020-04-28 14:02:02
281
原创 学爬虫你就得了解这个(一)
补课—— 高阶函数有感 首先,我们思考一下,我们调用函数是用来做什么的?调用函数对我们有什么帮助?这个答案不唯一,但有一点,我们笼统一点来说,调用函数就是为了帮助我们更好的解决问题。 函数是什么?函数本质上,也是一段代码,有着自己固定的格式、变量部分,函数通过相关的函数名将相关的代码组织在一起,对输入的数据进行处理处理,然后返回特定的输出(称为返回值),即:这...
2020-04-28 13:56:58
665
1
原创 初识爬虫【第一课】
第一课:初识爬虫 现在网络发达,数据横飞, 成了一个数据大爆炸的时代,而爬虫呢?简单说来,就是代替人去模拟浏览器进行网页操作。爬虫能够去锁定数据,并去抓取它。那,爬虫,又是怎样去抓取呢?就算抓取了,又如何保证抓取到的数据,就是你想要获取的数据呢?接下来便请听我详细道来。 爬虫抓取的对象,实质上就是一堆数据。数据是什么?数据其实就是你想要找到对象的数据标识,我们为便于称呼,形象的给它取了个名字,端口...
2020-04-26 09:43:26
311
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人