- 博客(13)
- 收藏
- 关注
RSS订阅原创 爬虫4
大作业：爬取腾讯新闻了解ajax加载通过chrome的开发者工具，监控网络请求，并分析用selenium完成爬虫具体流程如下：用selenium爬取https://news.qq.com/ 的热点精选热点精选至少爬50个出来，存储成csv 每一行如下 标号（从1开始）,标题,链接,…（前三个为必做，后面内容可以自己加）import timefrom selenium import...
2020-04-27 20:40:14
378
1
原创 爬虫3
作业：一、IP为什么会出现IP被封网站为了防止被爬取，会有反爬机制，对于同一个IP地址的大量同类型的访问，会封锁IP，过一段时间后，才能继续访问如何应对IP被封的问题修改请求头，模拟浏览器（而不是代码去直接访问）去访问采用代理IP并轮换设置访问时间间隔如何获取代理IP地址从该网站获取： https://www.xicidaili.com/inspect -> 鼠标定位：...
2020-04-25 22:35:00
341
原创 爬虫打卡2
一、Beautiful Soup库入门是什么呢？beautifulsoup是解析HTML页面。（1）Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。（2）它基于HTML DOM 的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简单，AP...
2020-04-23 22:41:25
364
原创 网络爬虫Day1
一、互联网、HTTP1、互联网互联网也叫因特网(Internet)，是指网络与网络所串联成的庞大网络，这些网络以一组标准的网络协议族相连，连接全世界几十亿个设备，形成逻辑上的单一巨大国际网络。它由从地方到全球范围内几百万个私人的、学术界的、企业的和政府的网络所构成。通过电子、无线和光纤等一系列广泛的技术来实现。这种将计算机网络互相连接在一起的方法可称作“网络互联”，在此基础上发展出来的覆盖全世...
2020-04-21 23:46:40
594
转载 强迫自己学习python20天之第九天
一、错误处理在程序运行的过程中，如果发生了错误，可以事先约定返回一个错误代码，这样，就可以知道是否有错，以及出错的原因。在操作系统提供的调用中，返回错误码非常常见。比如打开文件的函数open()，成功时返回文件描述符（就是一个整数），出错时返回-1。用错误码来表示是否出错十分不便，因为函数本身应该返回的正常结果和错误码混在一起，造成调用者必须用大量的代码来判断是否出错：def foo():...
2020-04-01 18:23:56
172
转载 强迫自己学习python20天之第八天
面向对象高级编程一、使用__slots__如果我们想要限制实例的属性怎么办？比如，只允许对Student实例添加name和age属性。为了达到限制的目的，Python允许在定义class的时候，定义一个特殊的__slots__变量，来限制该class实例能添加的属性：class Student(object): __slots__ = ('name', 'age') # 用tupl...
2020-03-31 14:42:08
176
转载 强迫自己学习python20天之第七天
面向对象编程：把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。一、类和实例类是创建实例的模板，而实例则是一个一个具体的对象，各个实例拥有的数据都互相独立，互不影响；方法就是与实例绑定的函数，和普通函数不同，方法可以直接访问实例的数据；面向对象最重要的概念就是类（Class）和实例（Instance），必须牢记类是抽象的模板，比如Student类，而实例是根据类创建出来的一个个...
2020-03-30 19:56:22
171
转载 强迫自己学习python20天之第六天
一、高阶函数函数名也是变量>>> f = abs>>> f(-10)101、map/reduce（1）mapmap()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list [1, 2, 3...
2020-03-26 19:12:49
188
转载 强迫自己学习python20天之第五天
一、高级特性1.切片取一个list或tuple的部分元素。对这种经常取指定索引范围的操作，用循环十分繁琐，因此，Python提供了切片（Slice）操作符，能大大简化这种操作>>> L[0:3]['Michael', 'Sarah', 'Tracy']L[0:3]表示，从索引0开始取，直到索引3为止，但不包括3。即索引0，1，2，是3个元素。如果第一个索引是0，还可...
2020-03-23 19:47:23
130
原创 强迫自己学习python20天之第四天
一、函数1、函数的定义函数以def关键词开头，后接函数名和圆括号()。函数执行的代码以冒号起始，并且缩进。return [表达式] 结束函数，选择性地返回一个值给调用方。如果没有return语句，函数执行完毕后也会返回结果，只是结果为None。return None可以简写为return。在Python交互环境中定义函数时，注意Python会出现…的提示。函数定义结束后需要按两次回车重新...
2020-03-22 18:52:43
172
转载 强迫自己学习python20天之第三天
一、列表listlist是一种有序的集合，可以随时添加和删除其中的元素。「列表」定义语法为 [元素1, 元素2, …, 元素n]。用len()函数可以获得list元素的个数。列表内容可更改 (mutable)，因此附加 (append, extend)、插入 (insert)、删除 (remove, pop) 这些操作都可以用在它身上。用索引来访问list中每一个位置的元素，记得索引是从...
2020-03-17 19:21:42
151
转载 强迫自己学习python20天之第二天
一、基础知识1、注释#用于注释整行。’’’ ‘’’ 或者 “”" “”" 表示区间注释，在三引号之间的所有内容被注释。2、运算符二、数据类型和变量1、整型int正负整数、0都可以表示。计算机由于使用二进制，所以，有时候用十六进制表示整数比较方便，十六进制用0x前缀和0-9，a-f表示，例如：0xff00，0xa5b4c3d2，等等2、浮点数float就是小数，也用于科学计数法，1...
2020-03-15 12:02:25
251
原创 强迫自己学习python20天之第一天
一、安装python编译环境根据百度各种途径，把Visual Studio Code安装好，在安python编译器中好像有了点问题。。但是能运行，目前我就先不解决了=。=二、第一个python程序1.先输入代码然后右击在终端运行即可显示结果,右击终端是只显示该句运行结果，如果点调试运行，会发现整个写的程序都会运行一遍，都会显示出来记得文件一定要保存成.py的格式，还有可以新建文件夹，...
2020-03-14 14:53:57
240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人