那个她，的博客

在我们使用爬虫进行大型网站数据的爬取时我们肯定会用到数据解析，正则表达式是数据解析方法的一种。正则表达式模式描述^匹配字符串的开头$匹配字符串的末尾。.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[…]用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’[^…]不在[]中的字符：...

本次案例涉及到requests的使用比较全面！！！首先我们打开网址：化妆品许可证图1：图2：这里我们要爬取的信息就是上图中的许可证信息。这里我们分析一下，如果我们要获取到图2中的信息，首先我们要得到它的url，它的url也只能通过图1中的数据获得。步入正题：我们使用抓包工具看一下数据到底是怎么传输的：这里我们找到了这个请求，我么发现在它的返回response中并没有有关企...

今天我们看一下如何爬取豆瓣的电影信息。首先我们打开豆瓣电影的网页，这里我随便一个分类。这里我们看到页面中只有这20个电影，点击加载更多会继续向服务器发送请求然后返回数据。话不多说，开发者工具看走一走。这里我们点击“加载更多”会发送这样一个请求。我们可以从这个请求中发现哪些我们需要的内容呢？1.Request Url2.数据类型3.传递的参数ok，需要的东西我们都找到了，接...

HTTP协议简介超文本传输协议（英文：HyperText Transfer Protocol，缩写：HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。HTTP协议是基于C/S架构进行通信的，而HTTP协议的服务器端实现程序有httpd、nginx等，其客户端的实现程序主要是Web浏览器，例如Firefox、InternetExplorer、Goo...

日常生活中我们浏览的那些网页例如：淘宝，百度，京东等等的网页，表面上看有各种特效和动画，实际上都是由后台的代码（HTML,CSS,JS等）经过浏览器解释才呈现出来的。今天我们要做的就是爬取网页的源码。1.urlopen：import urllib.requestresponse = urllib.request.urlopen("https://www.taobao.com/")dat...

这里我们用到matplotlib、numpy和Axes3D库from mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as pltimport numpy as np点线图：print("点线图")fig = plt.figure()ax = Axes3D(fig)X = np.arange(0,20,0.25...

import pandas as pdimport numpy as npse = pd.Series([1,2,3],index=['a','b','c'])print(se)print("索引：")print(se["b"])print(se[1])print(se[['b','c']])print(se.index)print(se.values)print("创建...

要求：列名：Vehicle_ID（车辆编号） Frame_ID（时间点） Local_X（车辆左前角x轴坐标）Local_Y（车辆左前角y轴坐标）v_length(车辆长度)v_Width（车辆宽度）Lane_ID（道路ID） v_Vel（车辆速度） v_Class（车辆类别） Preceding（前车ID） Following（后车ID） Space_Headway（车头距）需求：注...

Numpy比Python提供更多的索引方式，有助于我们提取数据，这里说一下整数数组索引，布尔索引和花式索引。整数数组索引：例1：import numpy as npx = np.array([[1, 2], [3, 4], [5, 6]]) y = x[[0,1,2], [0,1,0]]print (y)读一下代码，然后我们看输出结果：取得的是（0，0），（1，1）和（...

今天突然博客注册出现了问题，就是游客注册时需要邮件认证，刚开始还没问题，但是QQ被冻结后，认证邮件发送就出现了问题下面是Django项目邮件认证中的setting配置文件需要的一部分参数：EMAIL_BACKEND='django.core.mail.backends.smtp.EmailBackend'EMAIL_USE_SSL = True# 邮箱服务EMAIL_HOST = 'sm...

这个词云是我通过爬取网易云《公子啊》的评论提取出来的热词制作的，通过词云我们可以直观的看出文字的出现频率。首先我们需要安装下面几个库 pip install re # 正则表达式库 pip install collections # 词频统计库 pip install numpy # numpy数据处理库 pip install jieba # 结巴分词 p...

关于Puthon安装wordcloud库的方法和出现问题的解决方法wordcloud库是一个优秀的词云展示第三方库，安装时可能出现安装失败的情况。这里我们直接用命令行安装：pip install wordcloud正常是可以直接安装的，但是有时候会出现“VC++ 14的缺失问题，有一部分文章解决方案是安装上VC，实际上并不需要这么麻烦”我们通过下面的网址下载一个python的压缩包文件...