漫鸽爬虫实例 - 采集信用中国的数据

最新推荐文章于 2024-05-21 15:54:26 发布
原创 最新推荐文章于 2024-05-21 15:54:26 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #python #实例

本文通过实例展示了如何使用Python爬虫采集信用中国网站的数据，并详细介绍了如何将获取的数据写入CSV文件、MySQL数据库以及Oracle数据库。同时，文章还提及了检查数据更新的方法。
部署运行你感兴趣的模型镜像

效果图

在这里插入图片描述
在这里插入图片描述

简述

1.   需要用到 requests 库。
2.   利用多进程同步爬取，multiprocessing库。
3.   需要对目标网站做接口分析，找到读取数据的接口。
4.   获取到的数据可以利用正则清洗。
5.   采集的数据保存到csv.

>code

# -*- coding=utf-8 -*-
__author__ = 'ManGe' 
'''
  信用中国  四川成都  信用代码公示爬虫
  地址：http://credit.chengdu.gov.cn/www/index.html#/m///xydm/1/1/%7B10%7D/

'''

import os
import re
import sys
import time
import json
import requests
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
from string import Template
import csv
from multiprocessing import Process
import datetime

defaultencoding = 'utf-8'
if sys.getdefaultencoding() != defaultencoding:
    reload(sys)
    sys.setdefaultencoding(defaultencoding)

#USER_AGENTS 随机头信息
USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
]

#构造请求头
HEADER = {
    'User-Agent': random.choice(USER_AGENTS),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.5',
    'Connection': 'keep-alive',
    'Accept-Encoding': 'gzip, deflate',
}

#Get网页，返回内容
def get_html( url_path, payload = '', cookies = '',proxies = ''):
	try:
		s = requests.Session()
		r = s.get(
				url_path,#路径
				headers=HEADER,#请求头
				params=payload,#传参 @payload 字典或者json
				cookies=cookies,#cookies
				verify=True,#SSL验证 @verify False忽略;True开启
				proxies=proxies,#代理
				timeout=30)#@timeout 超时单位 秒
		r.raise_for_status()
		#print r.headers#获取响应头
		#print r.cookies#获取cookies
		return r.text
	except HTTPError:
		print('HTTPError')
	except ReadTimeout:
		print('Timeout')
	except ConnectionError:
		print('Connection error')
	except RequestException:
		print('RequestException')


#Get网页，返回内容
def post_html( url_path, datas, payload = '', cookies = '',proxies = ''):
    try:
        s = requests.Session()
        r = s.post(
                url_path,#路径
                headers=HEADER,
                data = datas,#请求头
                params=payload,#传参 @payload 字典或者json
                cookies=cookies,#cookies
                verify=True,#SSL验证 @verify False忽略;True开启
                proxies=proxies,#代理
                timeout=30)#@timeout 超时单位 秒
        #r.raise_for_status()
        #print r.headers#获取响应头
        #print r.cookies#获取cookies
        return r.text
    except ReadTimeout:
        print('Timeout')
    except ConnectionError:
        print('Connection error')
    except RequestException:
        print('RequestException')


test_url ="http://credit.chengdu.gov.cn/dr/getCreditCodeList.do"
# 1页分 100   1408145/100 页
# 1页分 1000  1408145/1000 页
# 1页分 10000 1408145/10000 页  141页 
#datas_test = {'type': '1', 'page': '1',"pageSize":"1000","keyWord":"","appType":"APP001"}
'''
[
              {
                "name": "type",
                "value": "1"
              },
              {
                "name": "page",
                "value": "1"
              },
              {
                "name": "pageSize",
                "value": "10"
              },
              {
                "name": "keyWord",
                "value": ""
              },
              {
                "name": "appType",
                "value": "APP001"
              }
            ]
'''     
#html_data = post_html(test_url,datas_test)
#print(html_data)


#获取 options
def get_options(html):
    reg = r'\{"time"(.*?)\},'
    reger = re.compile(reg)
    data = re.findall(reger, html)
    return data

#写入 csv
# 2分钟爬 140万数据
def get_all_datas(n_s,n_d):
    n=n_s
    while n<n_d:
        datas_test = {'type': '1', 'page': n,"pageSize":"10000","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        print('D:/py_test/yibiao_Auto/report/xyzg_data/XYZG_datas_'+str(n)+'.csv')
        with open('D:/py_test/yibiao_Auto/report/xyzg_data/XYZG_datas_'+str(n)+'.csv', 'a', newline='', encoding='utf-8') as f:
            for datas4 in datas3:
                [f.write('{0} , '.format(value)) for key, value in datas4.items()]
                f.write('\n')
                #print(row)
                #writer.writerow(str(row))
        n+=1


def main():
    #print("主进程执行中>>> pid={0}".format(os.getpid()))
    PID_test_number = 15
    ps=[]
    # 创建子进程实例
    for i in range(PID_test_number):
        if i == 0:
            p=Process(target=get_all_datas,name="get_all_datas"+str(i),args=(0,10,))
        else:
            p=Process(target=get_all_datas,name="get_all_datas"+str(i),args=(i*10,(i+1)*10,))
        ps.append(p)
 
    # 开启进程
    for i in range(PID_test_number):
        ps[i].start()
 
    # 阻塞进程
    for i in range(PID_test_number):
        ps[i].join()

 
if __name__ == '__main__':
    main()

写入 CSV

#类型2    机关群团
def get_all_datas_Type_2():
        datas_test = {'type': '2', 'page': 1,"pageSize":"2096","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        print('D:/py_test/yibiao_Auto/report/XYZG_datas_Type2.csv')
        with open('D:/py_test/yibiao_Auto/report/XYZG_datas_Type2.csv', 'a', newline='', encoding='utf-8') as f:
            for datas4 in datas3:
                [f.write('{0} , '.format(value)) for key, value in datas4.items()]
                f.write('\n')

#类型3    事业单位
def get_all_datas_Type_3():
        datas_test = {'type': '3', 'page': 1,"pageSize":"6554","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        print('D:/py_test/yibiao_Auto/report/XYZG_datas_Type3.csv')
        with open('D:/py_test/yibiao_Auto/report/XYZG_datas_Type3.csv', 'a', newline='', encoding='utf-8') as f:
            for datas4 in datas3:
                [f.write('{0} , '.format(value)) for key, value in datas4.items()]
                f.write('\n')


#类型4    社会组织
def get_all_datas_Type_4():
        datas_test = {'type': '4', 'page': 1,"pageSize":"12147","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        print('D:/py_test/yibiao_Auto/report/XYZG_datas_Type4.csv')
        with open('D:/py_test/yibiao_Auto/report/XYZG_datas_Type4.csv', 'a', newline='', encoding='utf-8') as f:
            for datas4 in datas3:
                [f.write('{0} , '.format(value)) for key, value in datas4.items()]
                f.write('\n')

写入 Mysql

在这里插入图片描述

社会主体表
CREATE TABLE `main_c` (
  `comp_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `comp_name` char(250) DEFAULT NULL,
  `comp_type` char(10) DEFAULT NULL,
  `comp_estdate` char(30) DEFAULT NULL,
  `comp_lega` char(250) DEFAULT NULL,
  `comp_uscc` char(80) DEFAULT NULL,
  PRIMARY KEY (`comp_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1457915 DEFAULT CHARSET=utf8;

import unitys.mysql_do as manmy
def input_to_my_db_4(comp_name_val,comp_type_val,comp_reg_val,comp_lega_val,comp_uscc_val):
    mydb = manmy.DB_funtion('127.0.0.1',3306,'cinfo','root','123')
    sql="INSERT INTO regime_c (comp_name,comp_type,comp_reg,comp_lega,comp_uscc) \
    VALUES ('"+comp_name_val+"','"+comp_type_val+"','"+comp_reg_val+"','"+comp_lega_val+"','"+comp_uscc_val+"');"
    mydb.exect(sql)

def input_all_datas_Type_4_to_mysql():
        datas_test = {'type': '4', 'page': 1,"pageSize":"12147","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        for datas4 in datas3:
            print(datas4)
            #print(datas4["name"])
            COMPANY_val = datas4["name"]
            print("【公司名称】 = "+COMPANY_val)
            COMTYPE_val = "社会组织"
            print("【类型】 = "+COMTYPE_val)
            REGTYPE_val = datas4["four"]
            print("【登记类型】 = "+REGTYPE_val)
            LEGALPSN_val = datas4["fr"]
            print("【法人代表】 = "+LEGALPSN_val)
            USCC_val = datas4["idno"]
            print("【统一社会编码】 = "+USCC_val)
            print(str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))))
            CRTIME_val = str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
            input_to_my_db_4(COMPANY_val,COMTYPE_val,REGTYPE_val,LEGALPSN_val,USCC_val)
            print("\n\n")


def input_to_my_db_3(comp_name_val,comp_type_val,comp_host_val,comp_lega_val,comp_uscc_val):
    mydb = manmy.DB_funtion('127.0.0.1',3306,'cinfo','root','123')
    sql="INSERT INTO gover_c (comp_name,comp_type,comp_host,comp_lega,comp_uscc) \
    VALUES ('"+comp_name_val+"','"+comp_type_val+"','"+comp_host_val+"','"+comp_lega_val+"','"+comp_uscc_val+"')"
    mydb.exect(sql)


def input_all_datas_Type_3_to_mysql():
        datas_test = {'type': '3', 'page': 1,"pageSize":"6554","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        for datas4 in datas3:
            print(datas4)
            #print(datas4["name"])
            COMPANY_val = datas4["name"]
            COMPANY_val = COMPANY_val.replace("'","")
            print("【公司名称】 = "+COMPANY_val)
            COMTYPE_val = "事业单位"
            print("【类型】 = "+COMTYPE_val)
            HOSTUNIT_val = datas4["four"]
            print("【登记类型】 = "+HOSTUNIT_val)
            LEGALPSN_val = datas4["fr"]
            print("【法人代表】 = "+LEGALPSN_val)
            LEGALPSN_val = LEGALPSN_val.replace("'","")
            USCC_val = datas4["idno"]
            print("【统一社会编码】 = "+USCC_val)
            print(str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))))
            CRTIME_val = str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
            input_to_my_db_3(COMPANY_val,COMTYPE_val,HOSTUNIT_val,LEGALPSN_val,USCC_val)
            print("\n\n")
      
    ... ...

数据直接写入 Oracle 数据库

import unitys.man_oracle as mano 
mydb = mano.ORACLE_DB_funtion()

def input_to_o_db_4(COMPANY_val,COMTYPE_val,LEGALPSN_val,USCC_val,REGTYPE_val,CRTIME_val):
    sql="INSERT INTO CREDITCD (COMPANY,COMTYPE,LEGALPSN,USCC,REGTYPE,CRTIME) VALUES ('"+COMPANY_val+"','"+COMTYPE_val+"','"+LEGALPSN_val+"','"+USCC_val+"','"+REGTYPE_val+"','"+CRTIME_val+"')"
    mydb.exect(sql)

def input_all_datas_Type_4_to_oracle():
        datas_test = {'type': '4', 'page': 1,"pageSize":"12147","keyWord":"","appType":"APP001"}
        html_data = post_html(test_url,datas_test)
        a_dic = json.loads(html_data)
        datas_2 = a_dic["msg"]
        datas3 = datas_2["rows"]
        for datas4 in datas3:
            print(datas4)
            #print(datas4["name"])
            COMPANY_val = datas4["name"]
            print("【公司名称】 = "+COMPANY_val)
            COMTYPE_val = "社会组织"
            print("【类型】 = "+COMTYPE_val)
            REGTYPE_val = datas4["four"]
            print("【登记类型】 = "+REGTYPE_val)
            LEGALPSN_val = datas4["fr"]
            print("【法人代表】 = "+LEGALPSN_val)
            USCC_val = datas4["idno"]
            print("【统一社会编码】 = "+USCC_val)
            print(str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))))
            CRTIME_val = str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
            input_to_o_db_4(COMPANY_val,COMTYPE_val,LEGALPSN_val,USCC_val,REGTYPE_val,CRTIME_val)
            print("\n\n")


	   ... ...

检查更新的方法

def get_max_time_1():
    sql="SELECT MAX(ESTDATE) FROM CREDITCD where COMTYPE = '市场主体'"
    #print(mydb.execute_sql(sql)[0][0])
    #time1= time.mktime()
    #print(time1)
    return mydb.execute_sql(sql)[0][0]

#print(get_max_time_1())


def time_bijiao(time1,time2):
    print("--***数据里最大时间："+str(time1))
    print("--***当前数据的时间："+str(time2))
    d1 = datetime.datetime.strptime(time1, '%Y-%m-%d')
    d2 = datetime.datetime.strptime(time2, '%Y-%m-%d')
    delta = d1 - d2
    print(delta.days)
    #如果大于 0 则没有最新的数据
    if delta.days >0:
        return True
    else:
        return False
        
# 信用中国(成都) 检查更新的方法
def input_new_datas_Type_1_to_oracle():
    Max_time = get_max_time_1()
    n=0
    while True:
        try:
            datas_test = {'type': '1', 'page': n,"pageSize":"1000","keyWord":"","appType":"APP001"}
            html_data = post_html(test_url,datas_test)
            print(html_data)
            print(type(html_data))
            if html_data != "":
                a_dic = json.loads(html_data)
                datas_2 = a_dic["msg"]
                datas3 = datas_2["rows"]
                for datas4 in datas3:
                    print(datas4)
                    COMPANY_val = datas4["name"]
                    #非法字符处理
                    #COMPANY_val = COMPANY_val.strip("\'\",","")
                    print("【公司名称】 = "+COMPANY_val)
                    if COMPANY_val =="":
                        COMPANY_val = " "
                    COMTYPE_val = "市场主体"
                    print("【类型】 = "+COMTYPE_val)
                    ESTDATE_val = datas4["time"]
                    print("【时间】 = "+ESTDATE_val)
                    LEGALPSN_val = datas4["fr"]
                    print("【法人代表】 = "+LEGALPSN_val)
                    USCC_val = datas4["idno"]
                    print("【统一社会编码】 = "+USCC_val)
                    print(str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))))
                    CRTIME_val = str(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))
                    print("通过时间判断是否是最新内容")
                    updata_yesno = time_bijiao(Max_time,ESTDATE_val)
                    print(updata_yesno)
                    print("\n\n")
                    if updata_yesno == False:
                        print("添加最新内容")
                        input_to_o_db_1(COMPANY_val,COMTYPE_val,LEGALPSN_val,USCC_val,ESTDATE_val,CRTIME_val)
                    elif updata_yesno == True:
                        print("\n\n******************** 没有最新内容了 ********************")
                        exit(0)
                    else:
                        print("时间判断出现了异常")
            else:
                print("访问被限制")
            n+=1
        #保护程序在网络环境极差的情况下断开，下次循环继续执行上一次的页数， 由游标n 控制页数
        except:
            print("当前网络异常")
        continue

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

12 | 爬取信用中国，里面的行政许可内容，行政处罚，守信激励的内容
微信号：RunsenLiu
08-25 4390
第一个作业就是信用中国里面能够输入一个公司，输出里面的行政许可内容，行政处罚，守信激励，失信惩戒，重点关注，资质资格，风险提示，其他。里面的内容，并以excel形式显示。最近爬取了信用中国，输出里面的行政许可内容，行政处罚，守信激励的内容，并以excel形式显示。网址：https://www.creditchina.gov.cn/就比如查询：国网江苏省电力有限公司江阴市供电分公司。下面是我写的爬代码，逻辑不写了。爬取 的结果如下所示。
在信用中国网站爬取你想要查找的任何公司的所有相关信息
也许会有_hui的博客
05-06 4540
众所周知，小黄车的兴起速度非常快，但是它后来因为拖欠货款接近破产 2018年9月，因拖欠货款，ofo小黄车被凤凰自行车起诉 [8] ；同月，有网友反映称，在使用ofo小黄车APP时，充值押金或者退押金的时候被诱导消费。ofo相关负责人员介绍，不存在误导 [9] 。10月27日，又有媒体披露称ofo小黄车退押金周期再度延长，由原来1-10个工作日延长至1-15个工作日。 [10] 2018年...
信用中国爬虫
05-29
信用中国爬虫，根据企业名称，查询企业信息，并将数据入库。技术：requests、redis、mongodb。
爬取信用中国里面的行政处罚
最新发布
qq_42863025的博客
05-21 1387
result字段名为行政处罚文书号、处罚决定日期、处罚内容、处罚金额、违法事实、处罚机关、公司名称，行政处罚次数。file_path=r'E:\Data analyze\python\行政处罚爬虫/'#路径需要按实际修改。writer = pd.ExcelWriter('统计.xlsx')# 写入Excel文件。src_workbook=file_path+r'行政处罚（名单）.xls' #表格名称也要更改。# keyword = input("输入爬取的公司全称必须是全称")
爬取信用中国
前路艰险，路途漫长
05-06 5840
import requests import json a = [] def iskong(a): if len(str(a)) ==0: return '' else: return str(a) name = input("请输入爬取的网址:") url='https://www.creditchina.gov.cn/api/credit_i...
信用中国公司信用数据爬取
master_ning的博客
09-30 6219
最近在爬取信用中国的时候，有个参数，encryStr，始终找不到，最后发现，只要拿到请求的网页，再从网页中取出来，encryStr，最后再拼到需要的地方就可以了 这是，搜索页url,https://www.creditchina.gov.cn/xinyongxinxi/index.html?index=0&amp;keyword=%E5%B0%8F%E7%B1%B3%E7%A7%91%E6%8A...
Python系列-自动化-机器学习-人脸识别-高级爬虫工程师-数据采集-爬虫实例-大小1-2t按需转存
03-16
Python系列--自动化-机器学习-人脸识别-高级爬虫工程师-数据采集-黑马-爬虫实例-大小1-2t按需转存
Python网络爬虫教程 数据采集 信息提取课程 09-实例3-股票数据定向爬虫（共23页）.pptx
11-13
06-实例1-中国大学排名爬虫（共26页）.pptx 07-Re(正则表达式)库入门（共51页）.pptx 08-实例2-淘宝商品信息定向爬虫（共17页）.pptx 09-实例3-股票数据定向爬虫（共23页）.pptx 10-Scrapy爬虫框架（共34页）.pptx ...
精选资源
完整版精品Python网络爬虫教程 数据采集 信息提取课程 08-实例2-淘宝商品信息定向爬虫（共17页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门（共51页）.pptx Python网络爬虫教程 数据采集 信息提取...
精选资源
完整版精品Python网络爬虫教程 数据采集 信息提取课程 全套PPT课件 共12个章节.rar
11-21
Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门（共51页）.pptx Python网络爬虫教程 数据采集 信息提取...
信用中国爬虫.zip
01-20
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
精选资源
Python网络爬虫教程 数据采集课程 10-Scrapy爬虫框架（共34页）.pptx
04-15
06-实例1-中国大学排名爬虫（共26页）.pptx 07-Re(正则表达式)库入门（共51页）.pptx 08-实例2-淘宝商品信息定向爬虫（共17页）.pptx 09-实例3-股票数据定向爬虫（共23页）.pptx 10-Scrapy爬虫框架（共34页）.pptx ...
重庆市企业数据名录爬取采集-信用中国(重庆)
tngou的博客
05-20 1524
信用中国（重庆） 一、平台介绍 网址：http://www.creditsc.gov.cn 该网站主要收集了重庆市企业名录库，当前总计151万 条结果，2020年重庆市公布的市场主体已经有280万市场主体。该重庆新用户中的150万条，主要是公司类型：有限公司，个人独资公司，集团公司……其中不包含个体工商。 二、全量数据抓取分析： 重庆信用平台相对其他平台抓取简单地多，我们可以访问搜索界面， 网站： http://www.xycq.gov.cn/html/query/cre...
记录爬取信用中国
weixin_33872660的博客
05-29 1756
刷新页面抓包，找到接口，记为接口1 分析请求头部，需要请求参数encryStr和MmEwMD，写请求时发现只需要encryStr，MmEwMD可以不带 在页面上搜索，抓包分析 发现有接口直接返回encryStr，记为接口2 分析请求头部只需要输入的关键字 可以看出encryStr是加密后的公司名称字符串，接口2通过加密的字符串获得黑名单信息，而接口1通过明文字符串获...
requests使用案例 爬取信用中国
weixin_44185953的博客
01-05 3803
信用中国 获取某公司的所有信息 不过该网站容易被限制ip 而且服务器性能也不好 经常出现各种bug 新手要耐心尝试 信用中国网址： url = “https://www.creditchina.gov.cn/api/credit_info_search?&amp;templateId=&amp;pageSize=10” 需要多层请求爬取 代码有点长 但是代码简单 耐心看能看懂 写博文时 没有进行精...
爬取中国信用黑名单网站图片和数据到本地
weixin_30263277的博客
02-16 377
2 3 import java.io.File; 4 import java.io.IOException; 5 import java.io.InputStream; 6 import java.net.URL; 7 import java.net.URLConnection; 8 9 import org.apache.commons.io.Fi...
使用Python爬取全国企业信用信息抓取内容的简单爬虫程序
w15189597283的博客
12-11 2641
注意，这只是一个简单的爬虫程序，实际使用时可能需要根据网站的具体结构和反爬机制进行修改。另外，爬取网站内容时需要遵守网站的robots.txt协议，避免对网站造成过大的访问压力。同时，使用代理IP进行爬取时需要注意代理IP的合法性，避免因为使用非法代理IP而被封IP。以下是一个使用Python爬取全国企业信用信息抓取内容的简单爬虫程序。注意，这个程序只是一个简单的示例，实际使用时可能需要根据网站的具体结构和反爬机制进行修改。4. 使用requests.get()函数发送GET请求，指定代理IP和端口。
国家企业信用信息公示系统爬虫
梦醒繁花落的博客
12-22 5733
66
爬虫简单实例-爬取拼多多商品信息
热门推荐
Man_ge的博客
11-07 3万+
接口 https://youhui.pinduoduo.com/goods/goods-detail?goodsId=商品信息ID 思路 通过遍历商品信息ID来获取商品的信息， 1 ~ 99999999999 然后使用多线程或多进程进行抓取 优点 ： 无反爬，实现简单 缺点 ： 效率慢，资源损耗大，时间长 效果 实现 #!/usr/bin/env python # -*- co...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值