爬取顺企网商户联系方式

最新推荐文章于 2024-04-22 21:29:14 发布
原创 最新推荐文章于 2024-04-22 21:29:14 发布 · 7.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #python

本文讲述了作者在暑假实习期间使用Python爬虫爬取顺企网企业联系方式的经历，包括如何解决频繁访问限制和图片形式的手机号码识别问题。通过分析网站机制，成功实现了模拟点击跳过验证和通过手机号码在图片URL中的规律直接提取号码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

暑假实习的时候，老板让收集北上广深公司的联系方式，最好是email或者手机。鉴于老板不想花钱，就拜托本菜鸟写爬虫，去爬取各色B2B网站企业信息。

现在的时代，数据就是金钱，各大网站是不可能让你轻而易举爬走数据滴，即使这些数据都是开源的。常见的反爬手段包括禁止频繁访问，将手机号码转换成图片显示。有些丧心病狂的网站，反爬工程师每月拿2万大洋，让萌新瑟瑟发抖。


顺企网是个比较有意思的网站（截图如下）（从爬虫角度来说），且听我细细道来。


 

1） 解决频繁访问


博主尝试过每发送一次请求，休息2秒，然而在300-400个请求后被拒绝，爬虫光荣阵亡。出离愤怒的博主，将出错的url通过浏览器访问，返回以下界面。

 

手动点击“点击继续”这个超链接后，即可跳转到需要的公司信息界面，正常访问（发送请求）。

由于要获取的企业数量在万级，必须要解决这个因频繁访问被验证非机器人的问题。

最直接的思路

最低0.47元/天 解锁文章

200万优质内容无限畅学
利用R通过顺企网根据公司名称爬取企业地址
qingchen98的博客
08-03 4093
利用R通过顺企网根据公司名称爬取企业地址 有时我们有公司名称数据但是没有地址，需要根据公司名称找出企业的地址，描述其空间布局，如果数据量很大，手动在网页中操作费时费力，R语言提供了一个解决的办法，前提是该网站能够与机器交互（即没有反爬机制，或者有但限制较小）。其过程如下 1. 首先读取数据并作简单处理 打开顺企网检索某个公司 发现其链接是以下形式，其特征是字符串+“公司名称”构成了一个完整的链接 因此可以对每个公司名称构建url地址，然后根据url地址获取页面信息 #library packeges &g
预训练网页数据爬取与预处理
热门推荐
herosunly的博客
08-04 20万+
本文主要介绍了预训练网页数据爬取与预处理，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 数据爬取与预处理
2024年Python大厂面试，Python利用百度地图抓取商家地址_百度地图爬取 cid，被面试官问的Python-Framework难倒了
2301_79985012的博客
04-22 485
背景：有的时候我们需要批量获取这个城市某个行业的全部商家信息，以便打电话调研行业信息，一个个查询，效率太低，如果能够批量获。取商家地址和联系方式的信息会事半功倍。我们先看一下全部的Python语句。
企业/公司老板联系方式如何获得比较精准的？
Enterprisbigdata的博客
11-23 2378
虽然目前有很多平台都可以查到企业的基本信息，像企*查，天*查，爱*查等，这些平台虽然成本不高，但是从这些平台找到的很多联系方式都不够精准，质量不高。如果您平均每单几千元或者上万，您需要批量地获取潜在客户的老板电话，不论从成本，还是从效率角度，都需要有更靠谱的方法来支持。），先从企*查上导出大量企业基本信息，然后找客服，通过匹配筛选电话号码是不是我们想要的老板号，从而精准获得企业联系方式。很多号码要么是固号，要么空号，要么代理记账公司的预留号码，想要找打关键联系人，即老板的电话很难。
企业数据(从天眼)抓取
追求卓越，成功就在不经意间追上你
03-09 2013
亲自实践天眼数据抓取,以平安数据为例 两类数据 -一 从html中直接获取 java可以使用jsoup实现 会用正则表达式,jsoup中会使用jquery的选择器. python可以使用scrapy -二,ajax请求直接返回json格式 专业数据抓取QQ:3684170(各种企业信息数据 比赛实时数据 专利数据等各种类型数据.)
互联网防反爬机制的六种反爬技术大解析
公众号：白又白学Python
10-19 1万+
目录 前言 反爬虫 仔细分析这七种反爬技术 1、user-agent 2、验证码 3、封IP 4、关联请求上下文 5、JavaScript 参与运算 6、提高数据获取成本 前言 ​ 互联网时代，无论在工作上，还是生活上都离不开网络，而网络能给我们带来什么？ ​ 新闻，小说，资料，各行业的数据或者报表等等； ​ 比如：快毕业了为了论文，在各种网站上爬取需要的数据进行分析；还有一些为了兴趣爱好，爬取各种类型的图片，视频，文章，数据等。 ​ 各网站的开发人员为了约束这种行为，开始绞尽脑
使用requests库爬取1688联系方式数据
qq_53917091的博客
10-26 1267
菜
python爬虫 爬取爱企查公司信息
weixin_45329040的博客
11-25 1万+
python爬虫、 爬取爱企查公司信息、投机取巧
用3种方式爬取动态网站数据：华南粮网
数据知道的博客
06-29 3万+
需求：爬取 华南粮网：https://gdgrain.com/#!/list?params=%7B%22type%22:7%7D 的标题和时间。 该网站查看网页源代码发现，无标题数据： 该网站通过requests请求是请求不到数据的，可以通过下面的方法来获取数据。 1. 分析网站，找出post请求 网站分析如图： 代码如下： import requests import json import time url = 'https://gdgrain.com/sgtcPortals-front/sgtc/
【5-1】获取目标企业的法人等信息
铁盒薄荷糖的博客
02-01 965
在搜索栏输入企业的完整名称，如“北京知乎科技有限责任公司”，观察搜索结果的地址有什么规则。发现规律，地址栏后面是要搜索的公司名称。、打开这个公司的链接，同样观察地址有什么规律。发现规律，通过一串数字来对应该公司。同时在不登陆天眼查的情况下，可以看到了网址。、分析网址的这一串数字从哪里来的。复制这个数字，在上一个网页的源码中去找。定位到公司介绍的链接地址，注意要做公司名的完整匹配。、分析该网页源码，发现关键字法定代表人 “就能匹配到唯一的网址。获取新链接页面的源码，通过关键。可以定位到我们想要的公司网址。
shunqiwang_by_scrapy:利用scrapy框架爬取顺企网企业的工商信息
04-27
shunqiwang_by_scrapy 利用scrapy框架爬取顺企网企业的工商信息
使用scrapy框架采集企业黄页数据
Since_you的博客
07-12 974
今天闲着无聊，好就没用scrapy框架写爬虫了，于是就写了一个企业黄页的爬虫脚本，采集顺企网黄页数据，保存到mongodb，话不多说，简单看下代码吧。 下面部分是spider代码（习惯使用beautifulsoup了QAQ） import scrapy from bs4 import BeautifulSoup from shunqi.items import ShunqiItem import ...
【Python网络爬虫】企查查批量查询接口爬虫
moyuweiqing的博客
10-24 5497
在http请求中，主要包含两种方式，一种是get请求另一种是post请求，在post请求中，请求headers中的哈希加密参数的生成a_default()函数和r_default()函数中生成，函数中的其中一个参数名为data，此时，data为post请求中的数据，为字典类型；但在get请求中，由于和post请求不一样，数据中并没有data部分的内容，因此，在get请求中，headers中哈希加密参数的生成不需要传递参数data，或者data的值为默认值，即为空字典。
python爬取企业名录
黑面狐
12-31 8554
爬取企业名录然后存储到数据库中。 #-*- coding:utf-8 -*- import requests import MySQLdb import re from bs4 import BeautifulSoup headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K
Python访问天眼查
weixin_39465984的博客
07-11 1万+
Python访问天眼查，浏览器获取cookie，爬虫的雏形
利用爬虫爬取看看豆网站站的数据信息
XiaoDong的博客
11-25 7233
其实很早我就开始关注爬虫技术，这两天特别学习了一下，并且做了一个简单的demo。爬取了看看豆网站的数据信息。总共11751本书，爬取了不到3个小时，基本每秒爬取1条。速度慢的原因主要是单线程，使用mysql数据库。想要提高速度的话可以使用多线程和redis。但是对于初学者来说只要能爬取下来就很不错了。在这里我使用了一个爬虫框架---phpspider。 爬取完成后，我把数据从数据库中导成.csv
零基础简单爬虫制作（以wjyt-china企业黄页爬虫为例）（下）
wld22145的博客
09-09 1037
六、urllib2 推荐学习文章合集《如何学习Python爬虫[入门篇]》https://zhuanlan.zhihu.com/p/21479334。该合集中整理的《Python爬虫入门三之Urllib库的基本使用》http://cuiqingcai.com/947.html更完整地介绍了urllib2库的入门知识。此合集的内容全面，由浅入深。Python正则表达式部分推荐的博客也来自此合集。
分享一个爬取B2B网站信息的程序 PHP版
幻影的专栏
03-15 916
今天看到一篇java程序员菜鸟进阶（八）分享一个爬取B2B网站信息的程序,感觉那个网站没有那么复杂,一时手痒,就用PHP写了个 include_once('HttpClient.class.php'); //页码 if(isset($_GET['page']) && is_int($_GET['page'])){ $page=$_GET['page']; }else{ $page=
顺企网python爬取
最新发布
02-15
### 使用 Python 实现顺企网的数据爬取 为了实现对顺企网数据的爬取，可以采用 `requests` 和 `BeautifulSoup` 库来发送 HTTP 请求并解析 HTML 文档。下面是一个简单的例子展示如何抓取顺企网上商户的信息： ```python import requests from bs4 import BeautifulSoup def fetch_company_info(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: response = requests.get(url=url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') company_name_tag = soup.find('h1', class_='company-name') contact_info_tags = soup.select('.contact-info li') company_name = company_name_tag.string.strip() if company_name_tag else None contacts = {} for tag in contact_info_tags: key = tag.span.string.replace("：", "").strip() value = tag.contents[-1].strip() contacts[key] = value return {"name": company_name, **contacts} elif response.status_code == 403 or response.status_code == 503: print("Crawler detected!") print(f"URL: {url}") # 可能被检测到为爬虫行为，尝试更换 IP 或者其他反爬措施 pass except Exception as e: print(e) if __name__ == '__main__': target_url = "http://www.example-company-url-from-shunqiwang.com" result = fetch_company_info(target_url) if isinstance(result, dict): for k, v in result.items(): print(f"{k}: {v}") ``` 这段代码展示了基本的企业信息提取逻辑[^3]。需要注意的是，在实际操作过程中可能会遇到网站采取的各种防爬机制，比如验证码、IP封禁等。 对于更复杂的场景，则可能需要用到 Selenium 这样的自动化测试框架模拟浏览器访问，甚至考虑分布式部署多个代理节点轮流发起请求以规避单一 IP 的频率限制等问题。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值