- 博客(19)
- 收藏
- 关注
RSS订阅原创 python爬虫爬取安居客并进行简单数据分析
此篇博客为普通方式爬取安居客租房数据一共提取出1200条，但是在进行大规模的数据爬取时，不建议使用这种方式,速度太慢是最大的诟病,在进行大规模爬取时，使用分布式爬虫是第一选择 爬取过程 一、指定爬取数据 二、设置请求头防止反爬 三、分析页面并且与网页源码进行比对 四、分析页面整理数据 五、保存到excel表中 六、使用jupyternotebook进行简单的数据分析 一、指定爬取数据 需求: 提取价格、面积、详细标题、名称、具体位置、房屋结构、装修情况 二、设置请求头 这里设置请求头依然使用最常见的.
2020-12-15 23:54:38
8066
4
原创 ELK学习（七） python操作 es基本操作
1.下载安装elasticsearch模块 pip install elasticsearch 2.python连接elasticsearch from elasticsearch import Elasticsearch es = Elasticsearch(["192.168.229.140:9200"])#连接自己的localhost 3.创建一篇文档\查询文档\删除文档 #创建一篇文档 es.index(index='p2',id=2,body={"name":"zhang"}) #查询文档 p
2020-12-12 12:36:43
879
原创 ELK学习(六、)
1.es的copy_to参数 2.嵌套类型的创建 3.es分片的设置 4.match其它参数的应用 5.ik分词器安装以及介绍 1.copy_to参数 copy_to字段是将一个字段的值传递给另一个字段 创建copy_to类型(在设置字段类型(mapping)时，传入这一参数) PUT s7 { "mappings": { "properties": { "t1":{ "type": "text", "copy_to": "t3" },.
2020-12-10 23:23:32
346
原创 ELK学习(五、)
1.聚合操作 2.高亮查询和过滤操作 3.mapping之.dynamic 4. es的mapping之ignore_above PUT s5 { “mappings”: { “dynamic”:“strict”, “properties”: { “name”:{ “type”: “text” } } } }# 一、聚合操作 聚合操作用到了 agg关键字 可以先用match关键字确定一个大范围 列如搜索男性的平均年龄,可以先设置match为gender；male在使用aggs进行关键词的聚合查询 1.列如.
2020-12-05 09:53:01
352
原创 elasticsearch学习 (四)
目录 1.elasticsearch基本增删改查 2.两种查询方法 3.match和match_all函数 4.sort排序 5.分页 6.bool索引 一、基本增删改查 1.增加文档并填写数据 put 索引/_doc/id 2.查看文档数据 get/索引/_doc/_search （查看所有文档数据） 3.修改文档 post 索引/_doc/id/_update { “doc”:{“要修改的字段”:”修改的数据”} } 列如修改第一个文档中的性别为famale 4.删除文档 .
2020-12-03 00:05:03
282
原创 ELK学习二、(elasticsearch基本概念)
1.基本概念 Node :单个节点 运行单个ES实例的服务器 Cluster :一个或多个节点构成集群 Index:索引是多个文档的集合 Document:Index里的每条记录称为Documet 若干个文档构成一个Index Type:一个index可以定义一种或者多种类型，将Document逻辑分组(7之后不在有这一概念每一个index默认分一个doc-_doc) Field 存储的最小单元 Shards:将INDEX分为若干份，每一份就是一个分片 Replicas:Index的一个或多个副本 二、与关
2020-11-28 09:17:36
144
原创 ELK学习一（基本概念）
一、 ELK 介绍 ELK分别是 Elastisearch logstash kibana的简写 1.logstash 是开源的数据处理管道 能够从多个来源采集数据,转换数据然后存储在数据库中 2.elasticsearch 搜索、分析和存储数据、是一个分布式数据库 3.kibana 数据可视化 4.Beats 轻量型采集器平台 5.filebeat轻量型日志采集器 大致流程如下 ELK Stack框架如下 input 输入数据 filter 过滤将日志格式化,有丰富的过滤插件 output 输出 .
2020-11-28 09:07:01
213
原创 ELK学习三、centos7安装elasticsearch以及集群配置和简单命令的使用
上一章介绍了ELK的基本概念,这一篇主要介绍在centos7中配置elasticsearch以及集群的配置 第一步环境准备 1.虚拟机和主机产生联系，在windows上使用secure crt操作虚拟机 2.清空防火墙,并且使用防火墙规则使各台虚拟机可以互相访问 设置防火墙规则的命令为 iptables -I INPUT -s 192.168.229.0 -j ACCEPT 表示各台虚拟机在此网段下可以互相访问 3.关闭SELINUX SELINUX是一个加强安全性的组件,如果不关闭肯能会导.
2020-11-26 00:09:59
352
原创 Mysql高级操作
大二学生党一枚 只是热爱 此篇博客主要讲述mysql高级操作 新增数据、更新数据、删除数据、查询数据。 目录 一、新增数据 二、更新数据 三、删除数据 四、查询数据 一、新增数据 1.插入多条数据 命令格式 insert into 表名 values (),(),() 2.主键冲突 当向表中插入数据时,无法判断是否向主键中会插入相同的数据因此mysql系统给出两种办法解决 （2.1）insert方法 命令格式:insert into 表名 values on duplicated key upda.
2020-11-17 23:59:15
194
原创 python爬虫selenium登陆-破解验证码
验证码目前最常见的有两种 一种是图片验证码 另一种是滑块验证码 本篇博客主要用来破解图片验证码 博主是大数据专业大二学生,如果有纰漏望各位大佬指正 本篇文章使用打码平台(超级鹰)对登陆验证码进行破解， 目的-使用自动化selenium框架输入 用户名 密码 验证码 之后点击登陆。 一、思路 1、首先使用selenium框架打开登陆界面,截取页面屏幕并保存 2、将保存的图片通过选取像素左上右下的方式截取到验证码的照片并保存。 3、通过超级鹰破解源码对验证码图片进行破解并提取出图片中的数字或者字母 .
2020-11-11 20:14:01
1377
原创 2020-11-06 MYSQL列类型
mysql学习-列类型 整型 小数型 时间类型 字符串类型 mysql记录长度 一、整型 分为五种形式 1 tinyint -迷你整型 系统使用一个字节保存 一个字节有16位 最大数值为255 2 smallint -小整型 系统使用两个字节保存 数值范围为0-65535 3 medium int 中整形 系统使用三个字节保存 4 int 标准整形 5 big int 系统使用八个字节保存 (一、)设置无标志符号 在整型中 列如 tinyint表示有255个长度数值范围是为 -127-128插入12
2020-11-06 16:19:46
183
原创 爬虫笔记(三)常见几种解析工具
一、正则表达式 目录 1.1正则表达式简介和match函数 1.2预定义字符集 1.3元字符 1.4重复匹配 1.5贪婪匹配和非贪婪匹配 1.6re模块介绍 1.7模块分组 1.8爬取百度图片实例 二、xpath使用 2.1xpath简介 2.2xpath语法说明 2.3模块的使用 三、Beautifulsoup 目录 3.1 bs4对象 3.2 bs4的使用 3.3 遍历子节点 3.4 遍历父节点 3.5搜索树 1.1正则表达式简介和match函数 首先使用pip install re 下载r
2020-08-06 12:07:00
864
2
原创 bs4爬取中国天气网(城市和天气)
import requests from bs4 import BeautifulSoup def getsorce(url): # proxy = {'http':'175.42.123.28: 9999'} headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.40
2020-08-06 12:05:36
591
原创 (三-1)xpath访问豆瓣实例
import requests from lxml import etree import csv url = "https://movie.douban.com/top250?start={}&filter=" def getcode(url): headers = { 'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.
2020-08-06 10:57:42
204
原创 爬虫2-requests
爬虫2-requests库 目录 1.requests基本介绍 2.读取网页源代码的三种方式 3.request设置代理ip 4.requests处理不信任的ssl证书 5.cookie值介绍 6.json数据类型 1.requests基本介绍 requests是一种请求网页源代码的方式，常见的用法有两种requests.get()和requests.post() 格式如下 requests.get(url,params,headers) params表示的是连接url的字符可以是字符串也可以是字典 2
2020-07-21 08:55:47
213
原创 urllib库基础入门
简介 目前获取请求的爬取工具-requests模块绝对是独占鳌头，但是urllib库作为python的内置模块，实力也不容小觑，在爬虫项目中，urllib还是时常会被用到，因此许多爬虫课也将urllib作为入门学习的前期课程。 目录 一、urllib库常见内置函数及其使用 1.urllib.request.urlretrieve 2.urllib.request.urlopen 3.urllib.request.Request 4.urllib.parse.urlencode 5.urllib.pars
2020-07-16 18:06:04
483
原创 使用urllib爬取百度贴吧
博主是新手，只是做个笔记，不好勿喷 爬取目标 手动输入主题，并爬取目标主题内容的前三页 爬取之后保存在html文件当中 爬取思路 第一步创建一个类，类中定义三个函数，分别为主函数、爬取函数和保存函数。 第二步找到相应的请求头以及url，为防止将url写死，观察url组成部分，为最终进行相应的拼接做准备。 第三步手动设置输入主题以及想获取的页数。 爬取函数主要运用urllib中的request和parse模块 保存函数中主要运用open方法保存文件 详见代码 import urllib.request
2020-07-15 17:24:22
2245
1
原创 我的第一个博客
访问网站步骤 第一步客户端向浏览器中输入url后按回车，客户端向服务器发送一个 http请求，请求包括get和post请求。 第二步输入url后浏览器向服务器发送一个request请求，之后服务器向浏览器反馈回一个response结果 第三步浏览器解析返回的response结果即HTNL，发现其中有许多类型文件列如 js、css等等。 第四位所有文件下载完成后，利用HTML语法将其完整的表现出来 代码： http请求是用来提交申请并获取资源 爬虫基本知识 1.爬虫简介 2.爬虫出现的作用以及意义 3爬
2020-07-14 10:27:10
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人