信用中国公司信用数据爬取

最新推荐文章于 2023-11-03 11:49:51 发布
最新推荐文章于 2023-11-03 11:49:51 发布
阅读量5.9k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： python 文章标签： encryStr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/master_ning/article/details/82912298

最近在爬取信用中国的时候，有个参数，encryStr，始终找不到，最后发现，只要拿到请求的网页，再从网页中取出来，encryStr，最后再拼到需要的地方就可以了

这是，搜索页url,https://www.creditchina.gov.cn/xinyongxinxi/index.html?index=0&keyword=%E5%B0%8F%E7%B1%B3%E7%A7%91%E6%8A%80

点击公司名称，跳转到新的网页

跳转过后的url,看到，有个参数，encryStr=MjE5LHI5dyx9UXQ%3D%0A，找了好久，没能找出生成 的方法，最后还是放弃。

用selenium，本身有个方法，browser.current_url，可以获得请求页面的url,从url 里面取出生成好的参数，再拼接到需要 的地方，完美解决。。。

Python爬虫实战：如何抓取天眼查/企查查企业信息（反反爬虫技术）
2201_76125261的博客
05-12 1667
抓取天眼查和企查查等平台的企业信息是一个充满挑战的过程，尤其是在面对反爬虫机制时。通过合理的策略、技术手段以及反反爬虫机制的应对，我们能够实现高效且稳定的抓取。在实际操作中，抓取到的数据可以为各类分析提供基础，如企业风险评估、行业研究等。
12 | 爬取信用中国，里面的行政许可内容，行政处罚，守信激励的内容
微信号：RunsenLiu
08-25 4145
第一个作业就是信用中国里面能够输入一个公司，输出里面的行政许可内容，行政处罚，守信激励，失信惩戒，重点关注，资质资格，风险提示，其他。里面的内容，并以excel形式显示。最近爬取了信用中国，输出里面的行政许可内容，行政处罚，守信激励的内容，并以excel形式显示。网址：https://www.creditchina.gov.cn/就比如查询：国网江苏省电力有限公司江阴市供电分公司。下面是我写的爬代码，逻辑不写了。爬取 的结果如下所示。
信用中国爬虫
05-29
信用中国爬虫，根据企业名称，查询企业信息，并将数据入库。技术：requests、redis、mongodb。
漫鸽爬虫实例 - 采集信用中国的数据
Man_ge的博客
08-08 1274
效果图 简述 1. 需要用到 requests 库。 2. 利用多进程同步爬取，multiprocessing库。 3. 需要对目标网站做接口分析，找到读取数据的接口。 4. 获取到的数据可以利用正则清洗。 5. 采集的数据保存到csv. >code # -*- coding=utf-8 -*- __author__ = 'ManGe' ''' 信用中国 四...
记录爬取信用中国
weixin_33872660的博客
05-29 1700
刷新页面抓包，找到接口，记为接口1 分析请求头部，需要请求参数encryStr和MmEwMD，写请求时发现只需要encryStr，MmEwMD可以不带 在页面上搜索，抓包分析 发现有接口直接返回encryStr，记为接口2 分析请求头部只需要输入的关键字 可以看出encryStr是加密后的公司名称字符串，接口2通过加密的字符串获得黑名单信息，而接口1通过明文字符串获...
requests使用案例 爬取信用中国
weixin_44185953的博客
01-05 3577
信用中国 获取某公司的所有信息 不过该网站容易被限制ip 而且服务器性能也不好 经常出现各种bug 新手要耐心尝试 信用中国网址： url = “https://www.creditchina.gov.cn/api/credit_info_search?&templateId=&pageSize=10” 需要多层请求爬取 代码有点长 但是代码简单 耐心看能看懂 写博文时 没有进行精...
爬取信用中国
前路艰险，路途漫长
05-06 5691
import requests import json a = [] def iskong(a): if len(str(a)) ==0: return '' else: return str(a) name = input("请输入爬取的网址:") url='https://www.creditchina.gov.cn/api/credit_i...
在信用中国网站爬取你想要查找的任何公司的所有相关信息
也许会有_hui的博客
05-06 4415
众所周知，小黄车的兴起速度非常快，但是它后来因为拖欠货款接近破产 2018年9月，因拖欠货款，ofo小黄车被凤凰自行车起诉 [8] ；同月，有网友反映称，在使用ofo小黄车APP时，充值押金或者退押金的时候被诱导消费。ofo相关负责人员介绍，不存在误导 [9] 。10月27日，又有媒体披露称ofo小黄车退押金周期再度延长，由原来1-10个工作日延长至1-15个工作日。 [10] 2018年...
爬取中国信用黑名单网站图片和数据到本地
weixin_30263277的博客
02-16 351
2 3 import java.io.File; 4 import java.io.IOException; 5 import java.io.InputStream; 6 import java.net.URL; 7 import java.net.URLConnection; 8 9 import org.apache.commons.io.Fi...
信用中国爬虫.zip
01-20
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
国家企业信用信息公示系统爬虫
梦醒繁花落的博客
12-22 5026
66
北京工商企业信息查询页面抓取
09-22
北京工商企业信息查询页面抓取
python3--Scrapy框架，某信用中国返回json数据（spider源码)
Songsong
07-15 4332
学了本文你能学到什么？仅供学习，如有疑问，请留言。。。 直接上代码 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request from kunnanyuan.spider.spider.common import deal_date, transfrom, get_id from ..items import ...
国家企业信用信息公示系统爬虫——流程分析
weixin_42156283的博客
10-14 7147
本文仅供学习交流使用，请勿用于商业用途或不正当行为 如果侵犯到贵公司的隐私或权益，请联系我立即删除 1、第一次访问http://www.gsxt.gov.cn/index.html, 获取cookie:__jsluid_h(Set-Cookie), __jsl_clearance(响应生成) 2、 第二次访问http://www.gsxt.gov.cn/index.html, 更新cookie:__jsl_clearance, 本步骤可以先用ast对混淆的代码进行还原, 然后调试改写 3、第三次访问htt
国家企业信用信息查询工商数据爬虫
weixin_42358470的博客
08-31 4957
国家企业信用信息公示系统及30多个省份的子系统均采用了加速乐和极验的反扒，并且即使拿到了cookie后，获取所有详情也很费劲，每一部分数据都是一个请求，算下来一个公司少说也有三四十个请求才能完整地获取所有数据
19-爬取信用中国（山西）-行政处罚-法人的详细信息-【解析网页函数，经典！】...
chuiai8582的博客
01-15 1075
目的：爬取信用中国（山西）中行政处罚和法人的详细信息，包括：行政处罚决定书文号、案件名称、处罚类型、处罚事由、处罚依据、......、数据报送时间 结果呈现：采用MySQL存储数据 注：这个简单的例子很经典，我花了很长时间分析网站，在“小耿童鞋”的指导下，我才知道要对函数进行分析，创建新的...
投标之---信用中国查询信用
wtt234的专栏
11-03 1905
挨个点 ，有的需要跳转网页，输入企业信息就是可以的，具体按照招标要求，如果没有具体的，那就是多查询几个。
【API】企业失信人信息查询
zhaoxiongkui的专栏
07-17 3928
数据介绍 本接口通过企业全名或者注册号返回失信人信息，包括：执行法院、法定代表人、省份、执行依据号、立案时间、失信被执行人行为具体情形、发布日期、组织机构号等，可以帮助客户掌握企业信用、风险、财务、经营、行政处罚等方面的信息，为客户决策提供帮助。查看详情 应用场景  1、企业征信评级：通过企业涉诉信息的多少及相关的裁判结果，为金融机构提供可靠的数据支持，为降低银行、互联网金融平台的信贷业务...
中征征信java_java登录央行征信网站
weixin_28775381的博客
02-13 647
1 packagecom.entrym.crawler.test;23 importjava.util.HashMap;4 importjava.util.Map;56 importorg.apache.commons.lang.StringUtils;7 importorg.apache.http.client.methods.HttpGet;8 importorg.apache.http.cl...
统一社会信用代码爬取
最新发布
03-09
### 使用 Python 爬取中国统一社会信用代码数据 为了有效爬取中国的统一社会信用代码数据，可以采用基于 Python 的 Web 抓取框架 Scrapy 或 BeautifulSoup 结合 requests 库来完成这一任务[^2]。 #### 准备工作 安装必要的库可以通过 pip 完成。确保已安装最新版本的 Python 后，在命令行输入如下指令： ```bash pip install scrapy beautifulsoup4 lxml requests ``` #### 数据源定位 选择合适的数据源至关重要。政府官方网站、企业信用信息公开网等都是可靠的公开资源。例如全国企业信用信息公示系统提供了企业的基本信息查询服务，其中包含了统一社会信用代码字段[^3]。 #### 编写 Spider 脚本 下面是一个简单的例子展示如何利用 Scrapy 构建一个 spider 来抓取网页上的特定信息： ```python import scrapy from bs4 import BeautifulSoup class CreditCodeSpider(scrapy.Spider): name = 'credit_code_spider' start_urls = ['http://example.com/list_of_companies'] # 替换成实际网址 def parse(self, response): soup = BeautifulSoup(response.text,'lxml') companies = soup.find_all('div', class_='company-entry') # 假设公司条目位于此类 div 中 for company in companies: credit_code = company.select_one('.social-credit-code').text.strip() # 获取统一社会信用代码 yield { 'name': company.h2.a.get_text(), 'credit_code': credit_code, } next_page = response.css('a.next-page::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 此脚本会遍历指定 URL 页面中的所有公司记录，并提取每家公司的名称及其对应的统一社会信用代码。注意要根据实际情况调整 HTML 解析逻辑以匹配目标站点结构[^1]。 #### 遵守法律与道德准则 在执行任何网络爬虫活动之前，请务必确认该行为符合当地法律法规以及网站的服务条款。尊重版权和个人隐私权是非常重要的原则之一[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值