爬取红娘网-征婚信息并导出文本文件!择偶选最好滴!

(python爬虫项目)某婚恋网的简单数据爬取 爬取项目目标网站: www.7rdao.com 想要获得的数据: 获取想要省份用户基本信息。 (你想要哪个省就爬哪个省份咯) 既然目标明确,工具齐备. 话不多说,直接打开网页分析. 网页分析: 这是我们想获取的信息.先提交一次看有什么反应! 完整的URL: http://www.7rdao.com/user/search.aspx?sex=0&ddl_StartAg... 阅读详情

import requests
##import库
url='http://www.hongniang.com/match'

req=requests.get(url)

req.status_code
##输出200【可以爬取】
req.request.url
##输出允许爬取的url:'http://www.hongniang.com/match'
req.text
##爬取页面的块代码
html=req.text
##html获取text的值
from bs4 import BeautifulSoup

soup=BeautifulSoup(html,"html.parser")
##html值赋值给soup
soup
##检查soup输出值
soup.find_all('li',class_='pin')
##将文本中class=pin  <li>标签中的文本文件分离出来

soup.find_all('li',class_='pin')[0]

soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')

soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0]

soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0].find_all('span')

soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0].find_all('span')[0].text

soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0].find_all('span')[1].text
#个人资料1
soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0].find_all('span')[2].text
#个人资料2
soup.find_all('li',class_='pin')[0].find_all('div',class_='xx')[0].find_all('span')[3].text
#个人资料3
soup.find_all('li',class_='pin')[0].find_all('div',class_='db')
##输出个人简介
soup.find_all('li',class_='pin')[0].find_all('div',class_='db')[0]
#检查[0]中包含的内容
soup.find_all('li',class_='pin')[0].find_all('div',class_='db')[0].text
##输出其中文本内容
soup.find_all('li',class_='pin')[0].find_all('div',class_='db')[0].text.replace('\t','')
##去除输出中的\t等多余字符
soup.find_all('li',class_='pin')[0].find_all('div',class_='db')[0].text.replace('\t','').replace('\r','').replace('\n','').replace(' ','')
##继续清理其中的多余空白和\n

根据以上的经验我们可以完成一个编号下的会员的相应征婚资料,接下来需要利用循环爬取一整页的征婚讯息。

我们先为爬取的数据设置分组和相关框架

import requests
from bs4 import BeautifulSoup
import pandas as pd
nianling=[]
diqu=[]
hunyin=[]
shenggao=[]
jieshao=[]

for i in range (10):
    url='http://www.hongniang.com/match?&page'+str(i+1)
    req=requests.get(url)
    html=req.text
    
    soup=BeautifulSoup(html,'html.parser')
    for info in soup.find_all('li',class_='pin'):
        nianling.append(info.find_all('div',class_='xx')[0].find_all('span')[0].text)
        diqu.append(info.find_all('div',class_='xx')[0].find_all('span')[1].text)
        hunyin.append(info.find_all('div',class_='xx')[0].find_all('span')[2].text)
        shenggao.append(info.find_all('div',class_='xx')[0].find_all('span')[3].text)
        jieshao.append(info.find_all('div',class_='db')[0].text.replace('\t','').replace('\r','').replace('\n','').replace(' ','')[5:] )
data=pd.DataFrame({'年龄':nianling,'地区':diqu,'婚姻':hunyin,'身高':shenggao,'介绍':jieshao})
writer=pd.ExcelWriter('data.xlsm')
data.to_excel(writer,'爬虫数据')
writer.save()

接下来开始爬取

import os
os.getcwd()
##确定打开路径
import requests
from bs4 import BeautifulSoup

for i in range (10):
    url='http://www.hongniang.com/match?&page'+str(i+1)
    req=requests.get(url)
    html=req.text
    
    soup=BeautifulSoup(html,'html.parser')
    for info in soup.find_all('li',class_='pin'):
       print(info.find_all('div',class_='xx')[0].find_all('span')[0].text,
             info.find_all('div',class_='xx')[0].find_all('span')[1].text,
             info.find_all('div',class_='xx')[0].find_all('span')[2].text,
             info.find_all('div',class_='xx')[0].find_all('span')[3].text,
             info.find_all('div',class_='db')[0].text.replace('\t','').replace('\r','').replace('\n','').replace(' ','')[5:])

 

输出所有内容并根据我们之前单人整理的经验进行循环整理
输出如下

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

Python爬取2万条相亲网站数据!看看中国单身男女都在挑什么! 想必昨天的七夕节,一定是有人欢喜有人忧的一天,朋友圈里的晒照惹恼了我的一个程序员朋友,在昨晚怒爬2万条相亲网站数据,做了一次相亲男女画像! 话不多说,我们今天就以“世纪佳缘”这个相亲网站为例子,爬取搜索页面当中所有的用户信息,包括“用户ID”、“年龄”、“城市”、“学历”、“属相”等内容,使用的工具是爬虫工具pycharm。 首先老规矩,爬虫之前我们先分析一些目标网页的构成,我们进入世纪佳缘的搜索页面,摁下F12打开开发者工具,找到网页选项,看一下网页的Request URL和请求方式、user-a 阅读详情

相关推荐

爬虫爬取相亲网站信息

简单的爬虫爬取相亲网站的信息

m0_51558171的博客 1965

爬取红娘网-征婚信息并导出文本文件

爬取如下中国红娘网的页面,要求把内容块中的咨询整理成一条并整合整页征婚讯息,导出 import requests ##import库 url='http://www.hongniang.com/match' req=requests.get(url) req.status_code ##输出200【可以爬取】 req.request.url ##输出允许爬取的url:'http://www.hongniang.com/match' req.text ##爬取页面的块代码 html=req.text #

py嘎嘎的博客 637

二阶锥松弛在配电网最优潮流计算中的应用(IEEE33节点配电网最优潮流算例matlab程序)(yalmip+cplex)

文献[7]建立了以支路潮流计算为基础的OPF模型,针对OPF中的非凸性约束,采用SOCR技术将其松弛为二阶锥约束,整个 OPF 模型则被转化为二阶锥规划( Second Order Cone Programming,SOCP)问题,对其求解可以得到全局最优解。其次结合辐射型配电网潮流特点建立支路潮流约束,并考虑配电网中的可控单元,包括分布式电源和离散、连续无功补偿装置,建立其出力约束,该模型为非凸非线性模型;式中,αj,t和βij,t分别为t时段内节点i电压的二次方和支路ij电流的二次方。

weixin_47365903的博客 1万+

红娘网爬数据

美团网爬数据 代码 import requests from bs4 import BeautifulSoup import pandas as pd header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'} nianling=[] dizhi=[] hun=[] shengao=[] hua=[] for i i

Milor12的博客 800

别再到处找模板了!手把手教你用Vue3+Element Plus搭建一个‘能跑起来’的管理后台原型

本文详细介绍了如何利用Vue3和Element Plus在72小时内快速搭建一个功能完整的管理后台原型。从环境准备到项目获取、依赖安装、原型定制、数据模拟以及构建优化,手把手教你打造一个可直接演示的后台系统,特别适合创业者快速验证产品逻辑。

weixin_26854555的博客 183

vaptcha手势验证码逆向分析:从行为识别到轨迹模拟的完整实战

验证码是网络安全中常见的人机识别机制,其核心原理在于区分人类用户与自动化脚本的交互行为。行为验证码通过分析用户操作过程中的轨迹、速度、加速度等生物特征来提升安全性,这为自动化测试和爬虫开发带来了技术挑战。其技术价值在于平衡安全性与用户体验,广泛应用于登录、注册、防刷等关键业务场景。本文聚焦于vaptcha手势验证码,深入剖析其前端加密逻辑与行为模拟的对抗策略。通过结合网络抓包和AST(抽象语法树)分析,逆向出数据加密流程,并利用轨迹生成算法模拟人类滑动特征,最终实现自动化绕过。文章提供了从环境搭建、逆向分析

weixin_33721427的博客 358

python---分布式爬虫

一、scrapy-redis redis 是高性能的 key-value 数据库。我们知道 MongoDB 将数据保存在了硬盘里,而 Redis 的神奇之处在于它将数据保存在了内存中,因此带来了更高的性能。 二、分布式原理 回顾 scrapy 框架,我们首先给定一些start_urls,spider 最先访问 start_urls 里面的 url,再根据我们的 parse 函数,对里面的元素...

qq_42543301的博客 412

携程登录风控逆向踩坑实录:从滑块到点选验证码,我是如何一步步拿到phantom-token的

本文详细解析了携程登录风控系统的逆向过程,从滑块验证码到点选验证码的破解,再到设备指纹生成和加密协议逆向,最终成功获取phantom-token。文章提供了关键代码示例和实战技巧,帮助开发者理解并绕过复杂的风控机制。

weixin_28049429的博客 975

scrapy-redis案例(三)爬取中国红娘相亲网站

前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站,并使用mysql将数据持久化。(1)修改第二篇的代码为scrapy-redis 分布式的代码废话不多说,从setting...

qq1164014750 1万+

AD9361跳频系统优化:Fast Lock功能实战配置指南(含Profile寄存器详解)

本文详细解析了AD9361跳频系统中Fast Lock功能的实战配置方法,包括Profile寄存器的深度解析与优化策略。通过预校准和快速调用机制,显著提升频率切换速度至7-15微秒,适用于TDD跳频系统。文章还提供了查找表选择、硬件控制优化和性能验证的实用指南,帮助开发者解决实际工程中的常见问题。

weixin_33725722的博客 209

AniME框架深度体验:用AI自动生成《修真小说》动画全流程记录

本文详细记录了使用开源多智能体框架AniME,结合其核心动画生成模型AniSora V3,将一段修真小说文本自动转化为风格统一动画视频的全流程实战。文章深入解析了从环境搭建、导演智能体任务分解,到多智能体协作生成分镜、角色、动画及最终合成的每一步操作与挑战,为AI驱动的长视频创作提供了宝贵的实践经验与流程优化思路。

ol789012345的博客 627

爬虫 for 统计局数据

环境: python3.6 + jupyter notebook 使用的库: 1.requests 一个HTTP客户端库,用来获取web网页,用法详见requests文档 2.BeautifulSoup可以从HTML或XML文件中提取数据,用法详见:beautifulsoup官方文档 具体实现 1.获取root页面的HTML代码 原页面: import requests ...

一位浪漫的极客 1586

WordPress搭建“外贸独立站”完整操作教程

  以往的文章,我们介绍了很多种搭建独立站的方式,有最省事的Shopify 、最专业的Magento以及最省钱的Wordpress Woocommerce。其中,通过主机托管的方式又分了免费的谷歌云vps主机、1美元Godaddy主机以及SiteGround共享主机三种。建站方法方式实在太多了,有免费的,有廉价的,有商业版的,有共享主机、有云主机主机以及各种各样的vps服务器,选择哪种方式,哪款主机,也只有真正试了才直到。   没错,上述的这些方法方式,无一例外,我都亲身折腾过。从个人实际需求和建站方式来

www25qi的博客 8085

大数据告诉你,世纪佳缘都是谁在相亲(python爬虫&分析,附全部代码)

公众号: 数据小斑马,关注即可获得价值1000元的数据分析学习资料 数据分析学习目录: 一、Excel系列——四大常用函数及十大高级图表 二、SQL系列——性能优化/多表关联/窗口分析函数等 三、统计学系列——概率论/置信区间/相关/抽样等 四、Pandas系列——数据读取/清洗/规整/分析实战等 五、Python做图系列——箱型图/散点图/回归图/热力图等 六、业务积累系列——流水预测/精细化运营/排序算法等 七、Kmeans系列——原理/评价指标/RFM实战等 八、决策树系列——算法原理/调参/pyt

cindy407的博客 6347

基于STM32设计的老人防摔倒报警设备(OneNet)_65

本文设计了一种基于STM32单片机的智能老人防摔倒报警设备。该系统结合MPU6050陀螺仪传感器实时监测老人的姿态变化,检测摔倒事件;通过SIM800C通信模块发送短信通知紧急联系人,并将GPS定位信息上传至云端平台,确保家属能够及时了解老人的准确位置。

1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

技术小白爬虫实践(1)-爬取某社交平台用户数据

先说一下写这篇文字的初衷,

u011922006的博客 8532

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

python多线程爬取世纪佳缘女生资料并简单数据分析

一. 目标 ​ 作为一只万年单身狗,一直很好奇女生找对象的时候都在想啥呢,这事也不好意思直接问身边的女生,不然别人还以为你要跟她表白啥的,况且工科出身的自己本来接触的女生就少,即使是挨个问遍,样本量也太少,毕竟每个人的标准都会有差异的。这时候想到婚恋网站,上面不就有现成的数据吗,刚好最近也在学习爬虫,如果能用爬虫把数据爬取下来,既练习了爬虫技术,又获得了想要的数据,一举两得。不如说干就干...

weixin_30364325的博客 686

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

90后婚恋交友行为报告 | 基于30万真实用户数据分析

女生真的比男生脱单难吗?现在真的流行姐弟恋吗?这是个看脸的社会吗?学历越高越容易脱单吗?平台上每人平均可以收到多少个“想认识”申请?什么类型的男女生最受欢迎?……相信你也好奇这些问题,今...

大数据星球-浪尖 2245

Python网络爬虫实战:世纪佳缘爬取近6万条小姐姐数据后发现惊天秘密

又是一年双十一了,不知道从什么时候开始,双十一从“光棍节”变成了“双十一购物狂欢节”,最后一个属于单身狗的节日也成功被攻陷,成为了情侣们送礼物秀恩爱的节日。 翻着安静到死寂的聊天列表,我忽然惊醒,不行,我们不能这样下去,光羡慕别人有什么用,我们要行动起来,去找自己的幸福!!! 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,却不知道如何去学习更加高深的知识。 那么针对这三类人,我给大家提供一个好的学习平台,免费领.

Python_sn的博客 1448

python根据性别身高匹配_Python爬取2万条相亲数据!看看中国单身男女都在挑什么...

话不多说,我们今天就以“ 世纪佳缘 ”这个相亲网站为例子,爬取搜索页面当中所有的用户信息,包括“用户ID”、“年龄”、“城市”、“学历”、“属相”等内容,使用的工具是爬虫工具pycharm。首先老规矩,爬虫之前我们先分析一些目标网页的构成,我们进入世纪佳缘的搜索页面,摁下F12打开开发者工具,找到网页选项,看一下网页的Request URL和请求方式、user-agent等基本信息:请求方式是po...

weixin_39856265的博客 596

利用 Python 爬取了近 3000 条单身女生的数据,究竟她们理想的择偶标准是什么?

灵感来源与学习:利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论? 本文原创作者:壹加柒 本文来源链接:https://blog.youkuaiyun.com/yu1300000363/article/details/107316568 前几天手机上优快云推荐了一篇文章《利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论?》,恰好最近也在学习爬虫相关知识,打开一看,从数据的爬取——》数据的清洗——》数据的可视化,涵盖的知识是很多我从前没有尝试过的。之前一直的实战一直停.

JackTian 1953

爬虫数据实时统计的一些思路

上周接了个需求,需要统计爬虫的一些数据,众所周知scrapy提供了一些统计数据的生成,如任务数:scheduler/dequeued,记录错误数:log_count/ERROR……,这不包括数据处理的数据,当然你其实可以在pipeline魔改加数据统计(只是我的一个思路,不知道能否实行). 然而,早在今年初期,我就对公司的爬虫系统做了拆分,将数据处理部分,拆分出来,作为一个独立的模块运行,这样既降了耦合,又提高了爬虫的速度.那么我需要在数据处理模块来进行一些数据统计,标记哪些数据做了处理,哪些没有变化. 思

笑笑布丁的博客 1399

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 184

【第 009 讲】全面掌握 Python 注释:注释的定义与作用 | 单行注释 | 三引号与多行注释 | 注释使用的最佳实践

本文系统讲解 Python 注释的完整知识体系:从注释的定义与作用讲起,梳理单行注释的书写位置、临时屏蔽用法与 PEP 8 排版规范,剖析注释被忽略的底层机制;进而说明三引号字符串的本质与嵌套问题;最后给出注释使用的三条实践原则,帮助读者写好可读性高的注释。

大模型全栈工程师 · Thanks_ks 1110
上一篇: Python爬取六间房小姐姐自拍小视频!真漂亮啊!
下一篇: 首次超越 Java,Python 成为第二大最受欢迎的编程语言!
pythonlaodi
博客等级 码龄6年 286粉丝 244原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值