分析2000余张马蜂窝游记照片,只为找到泰国芭提雅最美“小姐姐”

使用Python爬取马蜂窝网站的游记和照片 使用Python爬取马蜂窝网站的游记和照片 特殊原因需要在马蜂窝上爬取一些游记和照片作为后续分析处理的数据,参考网上一些类似的爬虫文章,自己尝试了一下,这次爬取的是马蜂窝上所有有关苏州的游记(包括游记内容和照片) 我们进入一个游记,观察它的html,定位照片和游记内容所在的标签 知道了照片和游记内容的标签位置后,我们就可以利用Xpath定位到我们想要爬取的内容然后将它抓取下来了 #保存照片 ... 阅读详情

相信去过泰国旅游的小伙伴,无论是泰国的美食还是美景都让大家流连忘返。另一深刻印象便是泰国人妖啦,据老司机透露,泰国人妖秀场主要分布在芭提雅、普吉岛、曼谷、清迈等地。

而这其中尤其又以芭提雅的蒂芬妮人妖秀最为出名,每年的泰国人妖选美大赛,选出的冠亚季军,就在芭提雅的蒂芬妮人妖秀剧场里。本文主要基于蒂芬妮人妖秀的游记图片进行分析,寻找出蒂芬妮人妖秀最美人妖。

1

准备工作

本文涉及知识点较多,主要包括:爬虫、人脸识别、图像处理等。

编程环境为:anaconda。需要安装的依赖库有:

  • selenium

  • baidu-aip

  • opencv-python。

本次使用的浏览器为Chrome浏览器,由于Selenium中没有自带Chrome驱动,需要单独下载Chromedriver.exe最新版本,下载地址为:http://npm.taobao.org/mirrors/chromedriver/。

2

数据获取,本次数据获取主要基于马蜂窝旅游网,进行图像数据获取。

1).利用selenium进行爬取

目前只有极少数网站会对Selenium中的WebDriver进行识别反爬,本文采用Selenium控制浏览器来访问网页,这种方式虽然速度较慢,却能够自动解析网页中的JavaScript代码,其访问行为与人类无异,难以被反爬虫程序识别。页面解析不作过多介绍,程序如下:

在保证网络稳定的情况下,整个下载过程还是相对顺畅的。至此,除去异常图片,共下载图片2004张(这种方法的确很耗时)。

3

颜值打分

1).人脸检测并对颜值打分

纯手工打造一款人脸检测及颜值打分系统是一个庞大的工程,还好现在市面上已经有了一些免费的产品。优点当然是方便,绕过了算法,一个函数搞定。缺点也比较明显,无法搞清楚其对颜值的评判算法。不过颜值这个东西也是仁者见仁智者见智啦。

登录百度AI开放平台(http://ai.baidu.com/),进入控制台—人脸识别栏目,创建相关应用,最终获得APP_ID、API_KEY、SECRET_KEY三个数据。

2).调用百度api

获取每张图片的颜值评分。通过循环读取每张图片,首先判断图片是否含有人脸(不含人脸的图片过滤掉);然后判断每张图片的人脸颜值得分;再将“图片地址、图片颜值得分”存入数据框;得到含有“imagePath、beautyScore”数据框;最后再按颜值得分由高到底排序,得到颜值最高人妖图片。

程序运行结果如下:

从结果来看,含有人脸的图片共969张:

最高得分为93.1分(这也是唯一一位得分90分以上的人妖);

80分以上25张(占比2.58%);

60分以上300张(占比30.96%)

4

图像分类处理

调用OpenCV图像处理库,将得分在80分以上的人妖图片单独存在一个文件夹。

下面让我们来看一看得分在80分以上的人妖都长啥样。

不知道有多少小伙伴去过泰国旅游,泰国还有很多不错的景点,尤其是旅游热门城市普吉岛。最后弱弱的问一下,有看过人妖表演的请在留言区吱一声。

另外:本文的爬虫内容仅供个人学习使用,纯属练习Python提高技术。

上次的Python版本投票 还在火热进行中,目前有近650参与,欢迎参与!

更多有趣有用文章

懒人专用的奇淫技巧,用Python实现炫酷的语音操作电脑

Python里三个最高逼格的调试神器

九大神招,让Python里数据分析神器Jupyter,完美升华

推荐一款Python编辑器,集Pycharm和Sublime优点于一身的王者

老司机吐槽

建议看一下,零基础学Python都想问的6个问题,老司机给你两千字解答

51个Python鲜为人知的秘密特性,老司机看完都惊叹不已

[python 爬虫]Python爬虫抓取马蜂窝游记的照片 基于xpath 之前都只是使用urllib和urllib2这两个类库,接下来要发掘更多好用的工具了,比如这个xpath,对于分析HTML的网页结构实在是太方便。 http://blog.youkuaiyun.com/freeking101/article/details/52614291 http://www.w3school.com.cn/xpath/index.asp 大家可以参考一下这个网址学习一下xpath的使... 阅读详情

相关推荐

携程旅游网与马蜂窝游客记录爬取

前言:这是我学习Python爬虫以来,第一次使用python进行大规模的进行数据挖掘。邀请我加入她们科研项目的是工商学院的彭老师,做一个关于避暑旅游的课题。当他们需要获取携程旅游笔记时,由于文章的内容太多,思路也没有考虑好,无法使用数据采集器把笔记放入Excel。于是找到了我们信息学院寻求方法帮助,我的辅导员老师就向她推荐了我。终于有机会进行大型的项目实战了,非常幸运能参与这次的项目。但也由于平...

阿优乐扬的博客 9157

基于python3.7的爬取马蜂窝旅游的游记照片

为什么会选择爬取马蜂窝的游记照片呢?某次在csdn上看到一个博主爬取的案例后,兴趣就油然而生了。因为我刚接触爬虫不久,于是就想借这个案例练习一下,我一直认为,编程之道,越练越熟。本来以为应该会挺容易的,但真正做起来状况百出。主要停留在怎么创建一个文件夹,如何将图片下载到本地文件夹里,至于请求网页,解析网页相对来说还是比较简单的。 我是用selenium来模拟浏览器请求网页的,在马蜂窝上找到...

weixin_43405277的博客 1398

基于python3.x的爬取马蜂窝旅游的游记照片

前几天在csdn首页看到一个大佬爬取看准网数据并分析的博客,自己搞了一下,各种问题,已超过目前的认知领域,so,先从基本的做起吧,一点点添加新内容。 本次任务为爬取马蜂窝旅行达人的游记照片,之前搞过几次马蜂窝,中间停顿过长,再次回归吧。 上代码: import re import urllib.request import os from lxml import etree def sa...

想不出一个好的标题,就用这个吧 9771

Python 爬取马蜂窝

import requests import time import re import os from openpyxl import Workbook poi = int(input("请输入你想要爬取的poi:")) comment_poi_url = 'http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?' headers...

雪急飞绪博客 2273

马蜂窝爬虫案例解析

马蜂窝爬虫案例解析,本项目使用python scrapy写成,实现爬出的数据存储mongodb,本人亲测。没有问题,欢迎下载。仅供学习使用

python线程池爬取马蜂窝网站游记信息

python开启十个线程的线程池爬取马蜂窝网站的数据。其中包括线程安全的设计,网页超链接去重的处理

05_Python爬虫---xpath案例--爬取马蜂窝游记

目的:我们需要获取有关三亚旅行问答的有关数据.提取出每一个问题的评论并将数据保存在csv文件中。分析网页数据:我们滑动鼠标,拖拉至下方,点击 '加载更多' 的时候,发现数据会自动更新并且网页url没有发生变化,由此我们可以判断数据是通过另外一种方式加载页面数据的,我们按住fn+f12打开开发者工具,找到对应的url网址,通过抓包可以获取到我们想要的数据。由下图可知,我们想要的数据在一个html文档中,所以我们通过抓包获取到json数据,然后利用字典来提取这个html文件。

2401_83322621的博客 1573

批量获取蚂蜂窝游记照片

批量获取蚂蜂窝游记网站照片

送精选Python好书!

昨天发了一次送书活动,有粉丝提醒我,排版有问题,非常抱歉!写代码也好还是做人做事都要仔细一点,里面有好多书的封面没有加上,非常非常抱歉,所以今天重发一下,图灵的书还是不错的!我这个号有个...

cainiao_python的博客 269

马蜂窝游记爬虫

马蜂窝游记爬虫(使用模拟浏览器方法)结构清晰函数式编程

爬取马蜂窝旅游数据,包括酒店、美食、景点的评论数据以及游记数据(2021.6.28可用)

马蜂窝旅游数据,包括酒店、美食、景点的评论数据以及游记数据 仅用在输入目的地或者关键词可以爬取关于目的地的所有酒店评论、美食评论、以及景点自身评论等数据以及游记数据 具体数据 酒店评论、美食评论、以及景点自身评论: 评论用户、评论用户ID、用户等级、评论内容、评论有用性、评论时间等等 游记内容: 游记地址、浏览量、评论量、游记内容、游玩时间、游玩天数、同行人等等

Python 爬虫实战:某蜂窝网游记爬虫

大家好,我是程序员晓晓。今天给大家分享某蜂窝网游记的爬虫及爬取思路。我们以山西为例。打开网址,页面向下翻,便可以看到山西游记区域。

白帽阿叁的博客 3353

python 爬取马蜂窝景点翻页文字评论的实现

主要介绍了python 爬取马蜂窝景点翻页文字评论的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

Python爬取马蜂窝城市游记

游记标题、用户、日期、阅读数量、评论数量 上一篇: Python爬取马蜂窝各城市游记总数.爬取了马蜂窝所有城市的游记总数,本文爬取具体城市的游记详情 import os import time import random import pymysql import requests from lxml import etree import pandas as pd from sqlalchemy import create_engine def page(url): # ua伪装 h

qq_22301571的博客 1589

医疗器械软件测试输出内容(1)

*单元测试(Unit Testing):**单元测试是软件测试的最底层,用于验证软件中最小的可测试单元——函数、方法或模块。系统测试是在集成测试之后进行的,它对整个系统进行测试,验证系统在不同部分集成在一起后是否满足需求和规格。: 集成测试是在单元测试之后进行的,它关注不同单元之间的交互和集成。对于不同安全级别的软件(IEC 62304 A类、B类、C类),在体系上要求输出的文件内容有所区别。**说明:**将集成测试和软件系统测试合并为一项单一的计划和一组活动是可接收的。

ct745363083的博客 1867

SAP 物料的分割评估

SAP 物料的分割评估 前言 本文主要讲解SAP中物料的分割评估,通过分割评估来区分出同一物料不同来源下的核算方式。例如:同一物料分为自产或者采购,或者同一物料分为进口或者国内采购等。 一、概述 分割评估一般用于以下场景: 1、物料分为内部采购和外部采购; 2、物料分属于进口或者国内采购; 3、物料分属于不同的批次; 4、物料分为自制或者采购。 由于物料的来源不同可能导致物料的价格或者性质不同,需要用不同价格来区分出 二、配置步骤 1.激活分割评估 ...

五谷散熊 6792

使用python爬取马蜂窝游记

马蜂窝是 爬取2018年“南京”地区游记。 观察列表,发现以时间顺序url以类似“http://www.mafengwo.cn/yj/10684/2-0-74.html"的格式。其中74代表第74页。 首先爬取列表中目标url信息。 # coding=utf-8 # author=zhangjingyuan # python3 import urllib.request import urlli...

张景源的博客 9086

深入解析π型滤波电路:RC与LC滤波器的实战选型指南

本文深入解析了π型滤波电路的工作原理与实战选型。重点对比了RC型与LC型滤波器的核心差异:RC型成本低、体积小,但存在压降与能耗,适用于小电流场景;LC型效率高、滤波性能好,但成本与体积较大,适合中到大电流及高纹波抑制需求。文章提供了基于不同应用场景的选型指南与设计要点,帮助工程师做出精准决策。

weixin_29291069的博客 656

python利用selenium爬取X蜂窝热门游记

最近因项目需要,学习了下爬虫。之前都是完成的静态网页的爬去,但大部分网页都是动态加载AJAX,所以学习了selenium。当然也可以通过在network中查找隐藏的网页内容,在利用requests去爬去相关内容。本次主要是为了学习selenium,爬取某蜂窝的热门游记。from selenium import webdriver from selenium.webdriver.common.by ...

weixin_41512727的博客 1457

LM Studio Bionic:本地AI智能体从部署到实战完整指南

AI智能体作为能够自主规划、执行多步任务的人工智能系统,其核心原理在于结合大语言模型的推理能力与工具调用机制。通过状态保持和任务分解算法,智能体实现了从单次问答到持续协作的技术跃迁。在工程实践中,这种架构显著降低了复杂任务自动化的门槛,特别适用于数据敏感场景和定制化需求。以Tesla V100等专业硬件为例,本地部署能充分发挥其大显存优势,支持更高精度的模型量化格式。在实际应用层面,智能体可无缝集成到代码审查、文档生成等开发工作流中,而LM Studio Bionic通过统一界面整合了模型服务、任务规划器等

weixin_29053695的博客 654

FPGA纯Verilog实现I²C主机控制器与EEPROM读写

I²C是一种广泛应用的同步串行总线协议,用于连接微控制器与EEPROM、传感器等低速外设。其核心原理包括开漏结构、主从通信机制、START/STOP时序及ACK/NACK应答流程。技术价值在于硬件资源占用少、布线简洁、支持多从机扩展,特别适合FPGA嵌入式系统中轻量级外设控制。典型应用场景涵盖工业数据存储、配置参数持久化及实时传感器接口。本文基于Xilinx Spartan-6 FPGA,采用纯Verilog HDL实现参数化I²C主机控制器与AT24C02 EEPROM读写验证,深入解析状态机设计、SDA

weixin_33557333的博客 119
上一篇: 建议收藏!精心整理110道Python面试题,机器学习实战资料,教程、14G的项目案例!...
下一篇: 王思聪究竟上了多少次热搜?
菜鸟学Python
博客等级 码龄9年 8063粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值