Python学习笔记(7)定位标志精确采集范围——以安居客租房采集为例

爬了杭州的租房数据,原来…… 大家好,我是“猫玛尼”,一名程序员。   在外打工,大部分人每个月总要花一笔钱在租房上面,一起来看看杭州的租房情况。   数据来源是F天下,该网站,按照百度的说法:“是全球最大的房地产家居网络平台”,数据源靠谱。   一共爬取到15485条出租房源数据,按照区域分布如下:   【数据分析】 一、房源分布 我们可以清晰地看到,几大城区,房源数量基本上都比较接近。上下两城和拱墅... 阅读详情

一、操作步骤

如果是通过直接标注信息生成的规则,虽然用它能采集到样本网页的数据,但是批量采集同类网页时就可能采集失败,这是因为简单标注得到的数据规则不太通用,还要人工调整优化。这种情况下做定位标志映射可以提高数据规则的精确度和适应性,降低网页变化带来的影响。下面用安居客网作为案例,操作步骤如下:

二、案例规则+操作步骤

第四步:定位标志

4.1,点击标题进行定位,做定位标志映射的节点它必须要有属性值(id或class值),如果定位到的节点没有属性值就往上层找。在本例中,找到的div节点有属性值@class=zu-info,可以作为定位标志值。

4.2,右击DIV节点,选择“定位标志映射”->“标题”,映射后,在整理箱的定位标志和类型这两列,可以看到zu-info和+class,表示把@class=zu-info的节点映射给了标题,这时,标题既有内容映射又有定位标志映射。

4.3,重复4.1和4.2步骤,对整理箱的其他抓取内容也做定位标志映射。

第五步:存规则,抓数据

5.1,规则测试成功后,点击“存规则”;

5.2,点击“爬数据”,弹出DS打数机,开始抓数据。

Tips1:有以下两种情况需要调整一下定位类型。

1、如果做定位标志映射的节点同时有id值和class值,要选择与同类网页相同的那个属性值,这样才能实现批量化采集。所以需要人工选择属性的类型。操作:整理箱里双击抓取内容,定位标志类型选择“id”或者“class”,这个修改是对单个抓取内容生效的。

2、如果抓到空白信息或错位信息,需要调整整理箱的定位,选择合适的定位类型,通常选择“绝对定位”可以解决,这个修改是对整理箱生效的。

Tips2:对整理箱顶点或者容器节点做定位标志映射可以精确采集范围,避免采集到错位信息。

如果要采集页面上不同模块的信息,最好是建立多层嵌套的整理箱结构,一个容器节点负责采集一个模块,并且对整理箱顶点和容器节点都做上定位标志映射,这样就能互不干扰地精确采集各个模块的信息,避免采集到错位信息。

Tips3:下面是定位标志的使用范围。

1、定位标志虽然不是必须的,但会大大提高规则的精确度和适用性。

2、整理箱都做内容映射后,同一个定位标志值可以映射给多个抓取内容。

3、当一个抓取内容做了样例复制后,不能再做定位标志映射给它。

4、当一个抓取内容做了样例复制,其下级抓取内容要选择样例1节点范围下的节点做定位标志映射才是有效的。

[求助贴]python图片全屏截取+定位坐标+图片识别 我是一名新手,一个问题都要鼓捣好几天都没解决,百度都搜遍了,楞是没解决 先说下我的需求,连接安卓模拟器 ,让机器自动找到app软件图标点击运行 找到QQ点击运行,QQ位置怎么调换都能运行 def test(self): imgsr = cv2.imread("615.png") imgtm = cv2.imread("709.png" 阅读详情

相关推荐

python实现物体定位

前段时间利用实验室的器材写了一个小小的项目,简单的整理了一下(并不完善),现在分享一下。实验的内容是:使用卫星定位信息接收器,接收物体的位置信息(包括经度纬度等等),然后解析这些数据,然后根据经度纬度等信息通关百度地图API获取物体的具体位置信息,实现对物体的定位!     我使用的开发语言重要是python,主要的有:serial串口通信,MySQLdb库,urllib2库,httplib库等

only_do_IT 2万+

【Python数据分析学习笔记Day2】(二)数据采集与操作

常用的数据分析文件格式: txt csv json xml xls,xlsx HDF 常用格式的本地数据读写: txt:由字符串组成,每行由EOL(End Of Line)字符隔开,\n 打开文件,注意编码 file_obj=open(filename,access_mode) access_mode:’r’,’w’ 读操作: file_obj.read()读取整...

乐亦亦乐的博客 472

1 网络爬虫概述

1 网络爬虫概述 1.1 理解数据 1.11什么是数据 “所有的数字都是数据” “图片、字母、文字等都是数据” 没错,只要承载了一定的信息,这些数字、图片、文本、声音等都可以认为是数据。没有承载信息的数字是不能作为数据的,认识清楚这个问题,是踏入大数据之门的第一步。 1.12数据从哪里来 从微观层面看,我们每个人都在生产着数据:早上8点,你使用支付宝购买了早餐;上午10点,你给100086打一次电话咨询话费余额;下午六点,你乘坐的公共交返回家中。然后,支付宝获取了你的使用习惯和消费能力,时时向你推荐花呗等应

wmoxie的博客 660

基于AdaBoost的车标识别定位实现【VC++6.0 Opencv】

基于AdaBoost的车标识别定位实现, 基于VC++6.0 Opencv实现 通过读取已知名称的图片,识别出图片中已经存在的车的商标【仅训练了大众汽车】 本程序属于识别部分的,训练部分不在其中

爱家租房网站(5)

爱家租房网站未完版,其中只有图片验证码、短信验证码、注册以及登陆,参考博客链接地址:https://blog.youkuaiyun.com/geek_xiong/article/details/99359146

python识别车辆标志

要使用Python来识别车辆标志,你通常会用到计算机视觉库,如OpenCV,结合深度学习框架如TensorFlow或PyTorch。这里我将提供一个基于OpenCV和TensorFlow(使用预训练模型,如MobileNetV2)的基本示例。

weixin_45570158的博客 1011

python基于keras网络模型的车牌识别

基于python的利用keras网络模型的车牌识别,有完整的代码,包括图像预处理和训练完的模型。

Python爬虫+Flask,带你创建个网站!

文化不分边界人,为什么要读书?举个例子:当看到天边飞鸟,你会说:“落霞与孤鹜齐飞,秋水共长天一色。”而不是:“卧靠,好多鸟。”;当你失恋时你低吟浅唱道:“人生若只如初见,何事秋风悲画扇。...

程序IT圈 1008

爱家租房网站(11)

爱家租房网站未完版,其中包括的功能有:图片、短信验证码,注册,登陆,个人中心,房屋管理,列表页等,对应的博客地址:https://blog.youkuaiyun.com/geek_xiong/article/details/99721702

车标检测基于opencv

车标检测,检测轮廓出来,粗定位和精定位提取车标,基于vs2013+opencv的方法

【深度学习】简单地利用keras做车标识别

一次简简单单的实验课的内容而已。 首先把给出的样本素材放缩的32*32的大小,这部分可以用Python的批处理和opencv中的放缩函数resize()来做,在此我就不列出代码了。 列举出一部分放缩好的图片。 然后在利用keras简历卷积神经网络的模型,在做此实验之前,电脑要配置好Python+Theano+Keras的环境。 #生成一个model def __CNN__(

ES丶舞弄的博客 9341

爱家租房网站(13)

爱家租房网站未完版,包括:注册、登陆、个人中心信息、上传图片、实名认证、发布房源信息、搜索房源、预定房源、接单、拒单、支付(支付宝接口)。 对应的博客地址:https://blog.youkuaiyun.com/geek_xiong/article/details/99952746

爬虫文件1:汽车品牌识别.py

爬虫文件1:汽车品牌识别.py 爬虫文件1:汽车品牌识别.py

爱家租房网站(完整)

爱家租房网站完结版,包括:注册(图片、短信验证码)、登陆、个人信息(上传头像、修改用户名)、我的房源(发布房源)、我的订单(支付、评论)、客户订单(接单、拒单)、房屋详情页、房屋搜索、房源预定、登出等。对应的博客地址:https://blog.youkuaiyun.com/geek_xiong/article/details/100108834

231个车标,图片大小100*100,已用首字母进行分类

231个车标,图片大小100*100,已用首字母进行分类,专业收集数据,有需求可私聊进行委托收集。

flask爱家租房网站(2)

此部分是爱家租房网站的一部分代码,并不完整,其中只到图片验证码部分,配合博客:https://blog.youkuaiyun.com/geek_xiong/article/details/99128590

车标检测与自动识别。

实现对大众车标、宝马车标的车标自动检测和识别。这个在智能交通中可以得到很好的应用。

上一篇: Python学习笔记(6) xml转换为excel
下一篇: Python学习笔记(8)定位标志采集列表数据——以百度旅游为例
Python老王
博客等级 码龄7年 159粉丝 224原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值