信用中国公司信用数据爬取

最新推荐文章于 2025-07-14 00:54:40 发布
最新推荐文章于 2025-07-14 00:54:40 发布
阅读量6k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： python 文章标签： encryStr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/master_ning/article/details/82912298

最近在爬取信用中国的时候，有个参数，encryStr，始终找不到，最后发现，只要拿到请求的网页，再从网页中取出来，encryStr，最后再拼到需要的地方就可以了

这是，搜索页url,https://www.creditchina.gov.cn/xinyongxinxi/index.html?index=0&keyword=%E5%B0%8F%E7%B1%B3%E7%A7%91%E6%8A%80

点击公司名称，跳转到新的网页

跳转过后的url,看到，有个参数，encryStr=MjE5LHI5dyx9UXQ%3D%0A，找了好久，没能找出生成 的方法，最后还是放弃。

用selenium，本身有个方法，browser.current_url，可以获得请求页面的url,从url 里面取出生成好的参数，再拼接到需要 的地方，完美解决。。。

企业信息爬虫实战：以天眼查和企查查为例的反爬技术全流程解析
2201_76125261的博客
05-29 1695
本文以天眼查和企查查为例，完整介绍了从登录验证、模拟操作、数据抓取到反爬绕过的全流程。Playwright + 分布式爬虫架构云验证码识别模型（如集成 YOLO 滑动识别）LangChain / GPT 助力爬虫语义分析。
12 | 爬取信用中国，里面的行政许可内容，行政处罚，守信激励的内容
微信号：RunsenLiu
08-25 4187
第一个作业就是信用中国里面能够输入一个公司，输出里面的行政许可内容，行政处罚，守信激励，失信惩戒，重点关注，资质资格，风险提示，其他。里面的内容，并以excel形式显示。最近爬取了信用中国，输出里面的行政许可内容，行政处罚，守信激励的内容，并以excel形式显示。网址：https://www.creditchina.gov.cn/就比如查询：国网江苏省电力有限公司江阴市供电分公司。下面是我写的爬代码，逻辑不写了。爬取 的结果如下所示。
信用中国爬虫
05-29
信用中国爬虫，根据企业名称，查询企业信息，并将数据入库。技术：requests、redis、mongodb。
爬取信用中国
前路艰险，路途漫长
05-06 5722
import requests import json a = [] def iskong(a): if len(str(a)) ==0: return '' else: return str(a) name = input("请输入爬取的网址:") url='https://www.creditchina.gov.cn/api/credit_i...
在信用中国网站爬取你想要查找的任何公司的所有相关信息
也许会有_hui的博客
05-06 4435
众所周知，小黄车的兴起速度非常快，但是它后来因为拖欠货款接近破产 2018年9月，因拖欠货款，ofo小黄车被凤凰自行车起诉 [8] ；同月，有网友反映称，在使用ofo小黄车APP时，充值押金或者退押金的时候被诱导消费。ofo相关负责人员介绍，不存在误导 [9] 。10月27日，又有媒体披露称ofo小黄车退押金周期再度延长，由原来1-10个工作日延长至1-15个工作日。 [10] 2018年...
漫鸽爬虫实例 - 采集信用中国的数据
Man_ge的博客
08-08 1290
效果图 简述 1. 需要用到 requests 库。 2. 利用多进程同步爬取，multiprocessing库。 3. 需要对目标网站做接口分析，找到读取数据的接口。 4. 获取到的数据可以利用正则清洗。 5. 采集的数据保存到csv. >code # -*- coding=utf-8 -*- __author__ = 'ManGe' ''' 信用中国 四...
爬取中国信用黑名单网站图片和数据到本地
weixin_30263277的博客
02-16 354
2 3 import java.io.File; 4 import java.io.IOException; 5 import java.io.InputStream; 6 import java.net.URL; 7 import java.net.URLConnection; 8 9 import org.apache.commons.io.Fi...
信用中国爬虫.zip
01-20
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
requests使用案例 爬取信用中国
weixin_44185953的博客
01-05 3631
信用中国 获取某公司的所有信息 不过该网站容易被限制ip 而且服务器性能也不好 经常出现各种bug 新手要耐心尝试 信用中国网址： url = “https://www.creditchina.gov.cn/api/credit_info_search?&templateId=&pageSize=10” 需要多层请求爬取 代码有点长 但是代码简单 耐心看能看懂 写博文时 没有进行精...
国家企业信用信息公示系统爬虫
梦醒繁花落的博客
12-22 5189
66
python3--Scrapy框架，某信用中国返回json数据（spider源码)
Songsong
07-15 4336
学了本文你能学到什么？仅供学习，如有疑问，请留言。。。 直接上代码 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request from kunnanyuan.spider.spider.common import deal_date, transfrom, get_id from ..items import ...
北京工商企业信息查询页面抓取
09-22
北京工商企业信息查询页面抓取
国家企业信用信息公示系统爬虫——流程分析
weixin_42156283的博客
10-14 7238
本文仅供学习交流使用，请勿用于商业用途或不正当行为 如果侵犯到贵公司的隐私或权益，请联系我立即删除 1、第一次访问http://www.gsxt.gov.cn/index.html, 获取cookie:__jsluid_h(Set-Cookie), __jsl_clearance(响应生成) 2、 第二次访问http://www.gsxt.gov.cn/index.html, 更新cookie:__jsl_clearance, 本步骤可以先用ast对混淆的代码进行还原, 然后调试改写 3、第三次访问htt
Python爬虫实战：爬取国家企业信用信息公示系统（最新反反爬技术解析）
最新发布
2201_76125261的博客
07-14 1416
在当今大数据时代，企业信用数据对于市场分析、风险评估和商业决策具有重要价值。国家企业信用信息公示系统作为官方权威的企业信息平台，包含了全国各类企业的注册信息、行政处罚、经营异常等关键数据。复杂的反爬机制（动态Token、验证码、请求频率限制）数据渲染方式多样（部分内容由JavaScript动态加载）法律与合规风险（需遵守《网络安全法》和网站Robots协议）本文将详细介绍如何使用Python最新技术栈构建一个高效、稳定的企业信用信息爬虫，并重点解析应对各种反爬策略的解决方案。
国家企业信用信息查询工商数据爬虫
weixin_42358470的博客
08-31 5009
国家企业信用信息公示系统及30多个省份的子系统均采用了加速乐和极验的反扒，并且即使拿到了cookie后，获取所有详情也很费劲，每一部分数据都是一个请求，算下来一个公司少说也有三四十个请求才能完整地获取所有数据
19-爬取信用中国（山西）-行政处罚-法人的详细信息-【解析网页函数，经典！】...
chuiai8582的博客
01-15 1080
目的：爬取信用中国（山西）中行政处罚和法人的详细信息，包括：行政处罚决定书文号、案件名称、处罚类型、处罚事由、处罚依据、......、数据报送时间 结果呈现：采用MySQL存储数据 注：这个简单的例子很经典，我花了很长时间分析网站，在“小耿童鞋”的指导下，我才知道要对函数进行分析，创建新的...
投标之---信用中国查询信用
wtt234的专栏
11-03 2015
挨个点 ，有的需要跳转网页，输入企业信息就是可以的，具体按照招标要求，如果没有具体的，那就是多查询几个。
【API】企业失信人信息查询
zhaoxiongkui的专栏
07-17 4025
数据介绍 本接口通过企业全名或者注册号返回失信人信息，包括：执行法院、法定代表人、省份、执行依据号、立案时间、失信被执行人行为具体情形、发布日期、组织机构号等，可以帮助客户掌握企业信用、风险、财务、经营、行政处罚等方面的信息，为客户决策提供帮助。查看详情 应用场景  1、企业征信评级：通过企业涉诉信息的多少及相关的裁判结果，为金融机构提供可靠的数据支持，为降低银行、互联网金融平台的信贷业务...
中征征信java_java登录央行征信网站
weixin_28775381的博客
02-13 662
1 packagecom.entrym.crawler.test;23 importjava.util.HashMap;4 importjava.util.Map;56 importorg.apache.commons.lang.StringUtils;7 importorg.apache.http.client.methods.HttpGet;8 importorg.apache.http.cl...
统一社会信用代码爬取
03-09
### 使用 Python 爬取中国统一社会信用代码数据 为了有效爬取中国的统一社会信用代码数据，可以采用基于 Python 的 Web 抓取框架 Scrapy 或 BeautifulSoup 结合 requests 库来完成这一任务[^2]。 #### 准备工作 安装必要的库可以通过 pip 完成。确保已安装最新版本的 Python 后，在命令行输入如下指令： ```bash pip install scrapy beautifulsoup4 lxml requests ``` #### 数据源定位 选择合适的数据源至关重要。政府官方网站、企业信用信息公开网等都是可靠的公开资源。例如全国企业信用信息公示系统提供了企业的基本信息查询服务，其中包含了统一社会信用代码字段[^3]。 #### 编写 Spider 脚本 下面是一个简单的例子展示如何利用 Scrapy 构建一个 spider 来抓取网页上的特定信息： ```python import scrapy from bs4 import BeautifulSoup class CreditCodeSpider(scrapy.Spider): name = 'credit_code_spider' start_urls = ['http://example.com/list_of_companies'] # 替换成实际网址 def parse(self, response): soup = BeautifulSoup(response.text,'lxml') companies = soup.find_all('div', class_='company-entry') # 假设公司条目位于此类 div 中 for company in companies: credit_code = company.select_one('.social-credit-code').text.strip() # 获取统一社会信用代码 yield { 'name': company.h2.a.get_text(), 'credit_code': credit_code, } next_page = response.css('a.next-page::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 此脚本会遍历指定 URL 页面中的所有公司记录，并提取每家公司的名称及其对应的统一社会信用代码。注意要根据实际情况调整 HTML 解析逻辑以匹配目标站点结构[^1]。 #### 遵守法律与道德准则 在执行任何网络爬虫活动之前，请务必确认该行为符合当地法律法规以及网站的服务条款。尊重版权和个人隐私权是非常重要的原则之一[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值