- 博客(26)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 Python爬虫之cookie加载
不耽误时间，上代码：from urllib import requestfrom http.cookiejar import MozillaCookieJarcookiejar_jiazai = MozillaCookieJar('cookiesave.txt')cookiejar_jiazai.load()handler_jiazai = request.HTTPCookieProcessor(cookiejar_jiazai)opener_jiazi = request.build_..
2022-04-10 20:47:05
2679
原创 Python爬虫之cookie保存
http.cookiejar的MozillaCookieJar模块可以将cookie以文本形式保存的本地指定路径，直接上代码：from urllib import requestfrom http.cookiejar import MozillaCookieJarcookie_save=MozillaCookieJar('cookiesave.txt') #这里如果不写文件名，在save保存里必须写hander=request.HTTPCookieProcessor(cookie_save).
2022-04-09 21:02:22
2450
1
原创 Python 爬虫 cookie实战
from urllib import requestfrom urllib import parsefrom http.cookiejar import CookieJarheaders={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}cookieer=Cookie..
2022-04-08 19:04:34
970
原创 Python 爬虫应该了解Cookie
首先要了解的是cookie结构：根据网上查询其结构如下Set-Cookie:NAME=VALUE；Expires/Max-age=DATE；Path=PATH； Domain=DOMAIN_NAME；SECURE结构变量的含义NAME：cookie 的nameVALUE：cookie 值，动态值DOMAIN：服务器域名Expires：Cookie 有效和终止日期PATH：属性定义了页面可获取服务器设置的 Cookie路径HttpOnly：防攻击SECURE .
2022-04-07 19:25:19
915
原创 Python 爬虫urllib之request.ProxyHandler代理
ProxyHandler函数用于网站封IP， 如果同一个IP访问过于频繁，那么该网站就会禁止来自该IP的访问，因此使用代理可以达到我们的目的。代理地址从哪里找呢，打开 http://httpbin.org(httpbin.org)可以找到代理地址，好了不废话了开始代码吧：from urllib import requesturl='http://httpbin.org/ip'#使用ProxyHandler,传入代理构建一个handlerhander=request.ProxyHandle
2022-04-06 21:30:17
5656
原创 python 爬虫之URLlib之request.Request
request.Request用于请求页面数据数据，与urlopen函数相比，功能更强大，可以带参数。比如头文件请求。函数原型：urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)url 要请求的urldata data必须是bytes(字节流）类型，如果是字典，可以用urllib.parse模块里的urlencode()编...
2022-04-05 12:46:44
3554
原创 python 爬虫之URLlib的编码和解码
urlencode函数：编码from urllib import parsedata = {'name':'张三','age':28,'greet':'hello！'}qs = parse.urlencode(data)print(qs)parse_qs函数：解码print(parse.parse_qs(qs))可以将经过编码后的url参数进行解码使用方法有urlunparse() 通过长度为6的可迭代对象urlunsplit() 通过长度为5的可迭代对象u
2022-04-04 12:50:36
1625
原创 python 爬虫 urllib之urlretrieve函数
from urllib import requesturl='https://www.baidu.com/' request.urlretrieve(url,'d:\test.html') 将url保存到d盘原型：urlretrieve(url, filename=None, reporthook=None, data=None)参数 url 指定要下载的页面参数 finename 指定保存本地路径参数 reporthook 是一个回调函数参数 data 指 post 到服务器的.
2022-04-03 21:27:52
792
转载 sklearn学习笔记
sklearn是基于numpy核scipy的一个机器学习算法库监督学习（supervised learning）1.netghbors:近邻算法 svm：支持向量机kemel-ridge：核——岭回归discriminant——analysis：判别分析linear——model：广义线性模型2.ensemle：集成方法tree：决策树naive—爸也是：朴素贝叶斯cross——d...
2018-04-04 11:11:17
584
转载 LogisticRegression参数
LogisticRegression，一共有14个参数： 逻辑回归参数详细说明参数说明如下：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)...
2018-03-30 22:10:16
5172
转载 python itertools模块指南
itertools——创建高效迭代器的Python模块。0x01：分类itertools模块可创建的迭代器一般分为三类:无限迭代器 （Infinite Iterators）终止于最短输入序列的迭代器 （Iterators terminating on the shortest input sequence）组合生成器 （Com...
2018-03-29 15:35:59
193
转载 Matlab中image、imagesc和imshow函数用法解析
1、显示RGB图像相同点：这三个函数都是把m*n*3的矩阵中的数值当做RGB值来显示的。区别：imshow将图像以原始尺寸显示，image和imagesc则会对图像进行适当的缩放（显示出来的尺寸大小）。2、显示灰度图像说明：先搞明白什么是索引图像？（灰度图像也是索引图像的一种） 当用Matlab中的imread函数将图像读入并存入矩阵时，我们知道如果是RGB图像，得到是m*n*3的矩阵，但如果是...
2018-03-29 15:33:31
41590
2
转载 Python之Numpy库常用函数大全
Python之Numpy库常用函数大全（含注释） 前言：最近学习Python，才发现原来python里的各种库才是大头！ 于是乎找了学习资料对Numpy库常用的函数进行总结，并带了注释。在这里分享给大家，对于库的学习，还是用到时候再查，没必要死记硬背。 PS：本博文摘抄自中国慕课大学上的课程《Python数据分析与展示》，推荐刚入门的同学去学习，这是非常好的入门视频。Numpy是科学计算库,是一个...
2018-03-25 22:49:26
326
转载 scatter 散点图
1、scatter函数原型2、其中散点的形状参数marker如下：3、其中颜色参数c如下:4、基本的使用方法如下：[python] view plain copy#导入必要的模块 import numpy as np import matplotlib.pyplot as plt #产生测试数据 x = np.arange(1,10) y = x fig = plt.figure() ...
2018-03-24 14:10:59
352
转载 矩阵导数于tr
矩阵的导数与迹矩阵的导数 对于一个将m×nm×n的矩阵映射为实数的函数f:Rm×n↦Rf:Rm×n↦R，我们定义ff对矩阵AA的导数为▽Af(A)=⎡⎣⎢⎢⎢⎢⎢⎢⎢∂f∂A11⋮∂f∂Am1…⋱…∂f∂A1n⋮∂f∂Amn⎤⎦⎥⎥⎥⎥⎥⎥⎥▽Af(A)=[∂f∂A11…∂f∂A1n⋮⋱⋮∂f∂Am1…∂f∂Amn]而f(A)f(A)就是我们下面要介绍的迹。方阵的迹 对于一个nn阶方阵AA的迹...
2018-03-22 14:34:00
1187
转载 矩阵求导方法
矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母表示（列）向量，大写字母X表示矩阵。首先来琢磨一下定义，标量f对矩阵X的导数，定义为，即f对X逐元素求导排成与X尺寸相同的矩阵。然而，这个定义在计算中并不好用，实用上的原因是在...
2018-03-22 14:07:23
1997
转载 可视化——matploblib常见api（二）
可视化——matplotlib常用api（一）基本命令 说明plt.tight_layout() 针对fig, ax = plt.subplots(1, 3)plt.axis(‘equal’) 坐标轴刻度一致plt.legend(loc=”) center left/center/center rightupper left/upper ce...
2018-03-21 21:15:32
459
转载 可视化——matplotlib常用api（一）
可视化的目的之一是可视化，二是可视化要尽可能的美观大方善用alpha（透明度）选项，例如取，alpha=0.4*bar：条状在一条plot语句中绘制多条曲线此时无法分别指定color，marker以及legend了，如需区别对待、精细绘图，还是分别调用各自的plot为最好，和matlab不同的是，不同的plot之间自带hold（保持属性），除非开辟新的figure。分别指定各自的图例（legend...
2018-03-21 21:14:13
592
转载 微积分公式
微积分直观地说，对于一个给定的正实值函数，在一个实数区间上的定积分可以理解为在坐标平面上，由曲线、直线以及轴围成的曲边梯形的面积值（一种确定的实数值）。积分的一个严格的数学定义由波恩哈德·黎曼给出（参见条目“黎曼积分”）。 一．基本初等函数求导公式函数的和、差、积、商的求导法则反函数求导法则复合函数求导法则皮皮blog二、基本积分表 皮皮blog常用凑微分公式[常用的求导和定积分公式(完美)]分...
2018-03-21 13:45:27
825
转载 Python中scatter函数参数详解
最近开始学习Python编程，遇到scatter函数，感觉里面的参数不知道什么意思于是查资料,最后总结如下：1、scatter函数原型2、其中散点的形状参数marker如下：3、其中颜色参数c如下:4、基本的使用方法如下：[python] view plain copy#导入必要的模块 import numpy as np import matplotlib.pyplot as plt #产...
2018-03-20 08:44:56
1131
转载 Python数据可视化—seaborn简介和实例
Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，在大多数情况下使用seaborn就能做出很具有吸引力的图。这里实例采用的数据集都是seaborn提供的几个经典数据集，dataset文件可见于Github。本博客只总结了一些，方便博主自己查询，详细介绍可以看seaborn官方API和example gallery，官方文档还是写的很好的。1 set...
2018-03-20 08:42:20
472
转载 python pandas ix()的意思
loc——通过行标签索引行数据 iloc——通过行号索引行数据 ix——通过行标签或者行号索引行数据（基于loc和iloc 的混合） 同理，索引列数据也是如此！
2018-03-19 22:08:56
6158
转载 matplotlib subplot函数介绍
subplot函数介绍matplotlib下, 一个 Figure 对象可以包含多个子图(Axes), 可以使用 subplot() 快速绘制, 其调用形式如下 :subplot(numRows, numCols, plotNum)1图表的整个绘图区域被分成 numRows 行和 numCols 列然后按照从左到右，从上到下的顺序对每个子区域进行编号，左上的子区域的编号为1plotNum 参数指定...
2018-03-18 14:57:47
26211
2
转载 matplotlib 刻度设置
刻度设置参考文档：xticks 命令yticks 命令以xticks为例：matplotlib.pyplot.xticks(*args, **kwargs)获取或者设置当前刻度位置和文本的x-limits:# return locs, labels where locs is an array of tick locations and# labels is an array of tick ...
2018-03-18 11:53:19
5800
转载 matplotlib的pie参数
pie(x, explode=None, labels=None, colors=('b', 'g', 'r', 'c', 'm', 'y', 'k', 'w'), autopct=None, pctdistance=0.6, shadow=False, labeldistance=1.1, startangle=None, radius=None, cou...
2018-03-17 20:23:00
6448
机房系统培训课件PPT(共 46张)-c6bdb201b04e852458fb770bf78a6529657d3515.ppt
2022-04-08
1_HUAWEI TE30&TE40&TE50&TE60&TX50 会议电视终端 V500R002C00 配置案例集.docx
2022-04-03
ATX电源的工作原理
2009-02-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人