weixin_37411471的博客

一、numpy1、数据分析import numpy as npdata = np.mat([[1, 200, 105, 3, False], [2, 165, 80, 2, False], [3, 184, 5, 120, 2, False], [4, 116, 70, 8, 1, False], ...

1、链接url2、robots.txt允许爬虫爬取哪些，不允许爬取哪些3、哪些语言可以做爬虫（1）php 多线程、多进程支持不好（2）java 最主要的竞争对手，代码臃肿，重构成本大（3）C、C++能力体现，良好选择（4）python 学习成本低，支持模块多，scrapy4、通用爬虫（1）过程抓取网页——采集数据——数据处理——提供检索服务（2）通用爬虫如何抓取网页主动提交u...

1、fiddler的使用（1）右上是HTTP请求信息，右下是http响应信息，点击黄色条解码（2）Raw请求详细信息，raw响应所有信息（3）webForms请求所带参数（4）json接口响应内容2、urllib库：模拟浏览器发送请求的库，python自带（1）urllib.request属性作用encode如果写，你就写gbk，如果小括号里不写参数，默认u...

一、I/O编程1、文件读写（1）打开文件open(name[.mode[.buffering]])f = open(r"c:\Python\py17\text.txt")open函数使用一个文件名作为唯一的强制函数，然后返回一个文件对象，模式（mode）和缓冲区（buffering）参数都是可选的，默认是读模式，默认缓冲区是无（2）文件模式一般处理一些其他类型的文件，像MP3和图像...

1、HTTP/HTTPS：互联网上应用最为广泛的一种网络协议，目前所有网站开发都基于该协议，也是网站的实现原理2、请求头：基于HTTP/HTTPS协议实现，其作用是在通信之间实现信息的传递，熟知各种请求类型，对爬虫中编写请求头有指导性作用3、Cookies：存储在用户主机浏览器中的文本文件，主要让服务器识别各个用户身份信息4、HTML：服务器返回的网页内容，一般由服务器后台生成，网站大部分数...

1、web应用机制用户向web浏览器输入URL向dns服务器询问该URL的域名，获取IP地址web浏览器连接该IP地址的web服务器，开始HTTP通信web服务器根据HTTP发送的信息运行web应用，获取相关内容web服务器响应，返回执行应用后得到html、css、js、图片文件等内容web浏览器将收到的内容显示在页面中web浏览器通过HTTP等协议与URL所示...

列表（list）(1)append 用于将一个对象附加到列表末尾(2)clear 用于就地清空列表的内容(3)copy 复制列表(4)count 计算指定的元素在列表中出现的次数(5)extend 能够将多个值附加到列表的末尾(6)index 在列表中查找指定值第一次出现的索引(7)insert 用于将一个对象插入列表(8)pop 从列表中删除一个元素(9)remove 用于删除...

作为爬虫的渣渣，碰到这个报错一脸懵逼，检查了好久的代码，实在是没有发现问题，查阅了一些资料，也是没有办法这是源代码：检查了好久才发现headers头部上出错了，刚开始还不敢相信，自己直接粘贴复制的怎么会出错呢headers是一个字典，不是字符串，所以报错了，是粘贴复制的时候出错了，把UA给漏了加上即可解决问题，粗心大意真是让人···...

"""复选框"""import tkinterwin = tkinter.Tk()win.tit

# 用户数据user_datas = []student_datas = []def read_user_from_file(): """ 从user.data文件中获取用户信息 """ # 读取数据 user_file = open("./user.da

(1)写csv文件import csvdef writecsv(path,data): with open(path, "w") as f: writer = csv.writer(f) for rowData in data: print("rowData=", rowData) writer.write...

1、高质量作图工具——matplotlib（1）基本例子import numpy as npimport matplotlib.pyplot as pltx = np.linspace(-2, 2, 100)y = np.cos(np.pi * x)# g表示选择绿色，o表示选择点的方式显示plt.plot(x, y, "go")# 这里使用的是LaTex格式plt.title...

1、控制节点，主要分为URL管理器，数据存储管理器和控制调度器URL管理器：负责管理URL和将URL传递给爬虫节点2、URL太长容易造成内存溢出，需要对URL进行MD5处理，字符串经过MD5处理后的信息摘要长度为128位，将生成的MD5摘要存储到set后，可以减少好几倍的内存消耗...