Python 小白上手的简单爬虫——肯德基——一蓑烟雨任平生

利用python如何从高德地图获取全国肯德基店铺位置 上述代码会通过请求高德接口并解析响应结果,抓取全国范围内的肯德基门店位置数据,将爬取到的数据保存至指定路径下的 JSON 格式文件中。请注意,高德 API 并不允许直接爬取全部数据,只能在最多50页之内,每页20条进行分批获取,需要按页面顺序逐一爬取才能得到全量数据。可以使用 Python 中的 requests 和 json 库,利用高德地图的 Web 服务 API 获取全国肯德基店铺位置信息。3. 解析获取的 JSON 格式数据,提取所需的经度、纬度、地址等信息,保存至本地文件或数据库。 阅读详情

老规矩,直接上代码

# -*- coding: utf-8 -*-
"""
@Time : 2021/1/22 10:46
@Auth : 张张呀
@File :肯德基.py
@IDE :PyCharm
@Motto:ABC(Always Be Coding)

"""
from tkinter import Tk, messagebox
import easygui

import requests

top = Tk()
top.withdraw()


class kendeji:
    def __init__(self):
        self.url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75',
            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8'
        }
        self.data = {
            'cname': '',
            'pid': '',
            'keyword': '',
            'pageIndex': 1,
            'pageSize': 10,
        }

    def write_txt(self, filename1, response):
        with open(filename1, 'w', encoding='utf-8') as fp:
            fp.write(str(response))
        messagebox.showinfo("提示", "抓取数据完成,详情请看txt文件")

    def run(self):
        area = easygui.multenterbox('肯德基餐厅查询', '一蓑烟雨任平生',
                                    fields=['请输入您要查询的餐厅关键字:'],
                                    values=[''])[0]

        self.data['keyword'] = area
        response = requests.post(self.url, self.data, self.headers).json()
        print(response)
        self.write_txt(area + '.txt', response)


if __name__ == '__main__':
    kendeji().run()

在这里插入图片描述

python爬虫案例之动态加载数据(二),爬取肯德基餐厅位置信息 目标网址:http://www.kfc.com.cn/kfccda/storelist/index.aspx 当我们输入城市关键字点击查询之后,网址的url并没有改变,说明我们想要的数据并没有在该网址上,数据都是动态加载出来的 使用抓包工具当点击查询的时候得到如下一个请求 在response中得到一个json字符串,格式化之后得到这样一个列表 可知这才是我们想要数据的url 直接对该ur... 阅读详情

相关推荐

Python解决反爬机制_滑块解锁的思路以及踩的坑+心得_一蓑烟雨任平生

文章目录前言一、下载滑块与背景图二、对比像素算出距离三、模仿人为滑动破解总结 前言 网上的的滑块解锁图形,五花八门,十个里面九个瘫,步步都是坑 一、下载滑块与背景图 二、对比像素算出距离 三、模仿人为滑动破解 总结 ...

Jaeger_Java的博客 4235

Python爬虫爬取肯德基餐厅信息案例实现(含源码及详细解释)

需求:爬取肯德基某一地区的餐厅数量以及其具体信息 (以下代码我仅仅展示出餐厅的店名信息,并将其用列表方式保存在.txt文件中) 学习python爬虫的好课推荐: b站上的路飞学城IT,提醒:该课程适合对web、计算机网络和python有一定基础的朋友学习,因为爬虫需要对页面源码进行分析,所以有以上基础更加容易入门。此外,学习爬虫的过程其实也是学习python的过程,没有必要为了爬虫专门先学习python,这样容易懈怠学习爬虫的动力。 过程: 第一步:首先进入到需要爬取的静态页面,其网址为: ht..

记录个人在工作学习中的思考和遇到的问题。 1万+

惠农网_破译反爬虫_使用代理IP爬取数据(源码)_一蓑烟雨任平生

费话不多说直接上代码 今天要倒霉的网站是www.cnhnb.com import requests from bs4 import BeautifulSoup # 用来解析网页 import uuid import pymysql import time # 导入时间隔 import random from fake_useragent import UserAgent cookk = { 'Cookie': 'sessionId=S_0KHA8RH66NM124OL; Hm_lvt_91cf

Jaeger_Java的博客 2254

MySQL主从复制与读写分离

mysql主从复制与读写分离欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 我们需要五台虚拟机(01主。02,03从。04代理。05客户端) 接下来配置ntp服务器,01 挂在镜像文件安装 0

m0_51050455的博客 312

KFC源代码(python)

KFC python源代码,采用了工厂模式的设计模式,能够连接Mysql数据库和读写文件,模拟点餐、结算(包括使用优惠卷)、统计销售量、周五优惠活动和当天营业额统计。并将所有数据写入数据库等功能

抖音批量取消关注神器:5行JS代码搞定,告别手动操作(附详细步骤)

本文介绍了一种利用JS脚本在抖音创作者平台批量取消关注的高效方法。通过浏览器开发者工具执行简单的JavaScript代码,即可自动化模拟点击操作,快速清理大量关注列表,告别繁琐的手动操作。文中提供了详细的步骤和核心代码,适合有一定技术基础的用户参考。

weixin_29009971的博客 593

Python爬虫:第二章 requests模块基础 example5 爬取肯德基餐厅查询(7)

第二章 requests模块基础 example5_爬取肯德基餐厅查询爬取肯德基餐厅查询 #----- 实战代码5:----- # 基于requests模块ajax的post请求 # 需求:爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据 import requests if __name__ == "__main__": #指定ajax-post请求的url(通过抓包进行获取) url = 'http://www.kfc

qq_47805483的博客 431

J-Flash手动添加华大HC32F460型号全攻略

在嵌入式开发中,Flash编程算法是连接调试工具与微控制器的重要桥梁,它定义了芯片存储器的擦除、编程和校验等底层操作规范。其原理是通过调试接口将算法代码加载到目标芯片的RAM中执行,从而实现对Flash存储器的访问与控制。这项技术的核心价值在于打破了工具链对芯片型号的固有支持限制,使得开发者能够灵活适配各种新兴或定制化的微控制器。在工程实践中,当面对J-Link等主流调试器官方支持包更新滞后时,手动添加芯片型号成为保障开发效率的关键技能。本文以华大半导体的HC32F460系列MCU为例,详细解析了如何通过配

weixin_29192365的博客 348

一蓑烟雨任平生_年度总结

文章目录前言一、谈研发二、回顾20201.中牟项目的代码开发2.临邑项目的代码开发3.干休所的辅助工作4.爬虫数据的抓取5.Python方面的探索三、展望20211、将学习的 springsecurity整合到我们自己搭建的ssh框架,2、利用搭建的ssh框架,开发一套oa系统平台。3、做好xx、xκ家政网络服务中心的维护工作。4、希望公司能够大量拿下湖北省其他市的家政网络服务中心,继续开发和实施xx省其他市的家政网络服务中心。5、继续学习新技术,努力提高自己的个人能力。为以后能够更好,更顺利的工作奠定基础

Jaeger_Java的博客 1283

告别手动发日报!用n8n+钉钉打造智能报告机器人(含模板下载)

本文详细介绍了如何利用n8n开源工作流自动化平台与钉钉机器人搭建智能日报系统,实现数据自动采集、处理和发送。通过实战步骤和模板下载,帮助用户告别手动处理日报的繁琐,提升工作效率和数据准确性。

h3i4j的博客 855

深入浅出卡尔曼滤波器算法

深入浅出讲解卡尔曼滤波器的工作原理及其公式推导,讨论卡尔曼滤波器的核心公式所代表的意义及个人的理解。

m0_37835056的博客 1364

Python文件运行说明书以及解决的过程_一蓑烟雨任平生

文章目录前言一、安装Python环境1-安装Python解析器2-安装所需要的包第一步:第二步二、运行Python文件1.修改数据库连接2.舆情和特色添加定时器方法如下第一:第二:3.供需和价格价格遇到的难点1价格遇到的难点24.文章爬取总结 前言 这篇文章主要是讲解下,爬虫爬取数据的使用方法,针对于有点点电脑基础的人,比如说会开机,会使用鼠标,会打字这些基本方法 一、安装Python环境 1-安装Python解析器 如果你的电脑没有Python环境,是无法运行脚本的,这里有下载好的Python解释器,

Jaeger_Java的博客 761

告别U盘!在Ubuntu 22.04上从零搭建PXE网络装机服务器(支持UEFI/Legacy双启动)

本文详细介绍了在Ubuntu 22.04上搭建PXE网络装机服务器的完整流程,支持UEFI/Legacy双启动模式。通过配置DHCP、TFTP和HTTP服务,实现无需U盘的高效批量系统部署,解决传统安装方式的介质依赖、版本控制和时间成本问题,显著提升机房维护和设备部署效率。

weixin_42569329的博客 248

Python爬取彼岸图网10万张高清图片(入门级爬虫)_一蓑烟雨任平生

来张爬取的美女镇楼 先上代码,再给你讲解 import re import requests import os import easygui (min, max) = easygui.multenterbox(fields=['起始数', '终止数'], values=['1', '100']) min = int(min) max = int(max) if os.path.exists('zhiwei'): os.chdir('zhiwei') else: os.mkdir('z

Jaeger_Java的博客 2188

第一讲:halcon模板匹配捆绑测量矩形检测芯片针脚

使用halcon模板匹配捆绑测量矩形,检测位置发生变换的芯片针脚缺陷。

uiopmn1的博客 2993

马达种类全解析:VCM、Stepper、Piezo 在手机相机中的驱动原理与工程差异

在现代手机影像系统中,马达承担着核心成像组件的动态调节任务,如自动对焦(AF)、光学防抖(OIS)以及变焦调节。目前主流采用三类驱动器件:VCM(Voice Coil Motor)、Stepper(步进马达)、Piezo(压电马达)。不同马达方案在结构复杂度、响应速度、功耗、驱动方式与模组厚度适配等方面差异显著,对成像系统的性能表现有直接影响。本文将结合最新旗舰设备的应用现状,系统剖析这三类驱动马达的工作原理、架构特点与工程应用经验,为工程实践中选型与调试提供参考。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 3772

Python爬虫使用Oracle数据库,cx_Oracle安装问题汇总——一蓑烟雨任平生

前几天写了一个爬虫,爬取网站信息,一开始用的MySQL,存库成功,本地测试完美没问题,然后项目经理说用Oracle,我说没问题,都差不多,然后本地一顿调试,成功了(因为之前写过数据库用Oracle的脚本)但是当时那个cx_Oracle错误记忆犹新,下载了各种版本才解决,当时没深度思考就过了,今天报应就来了,当服务器上部署执行爬虫脚本之后那个我不想面对的问题出现了,问题如下 OK,没引入包,第一反应就是引入包呗 pip install cx_Oracle 本以为引包之后程序就可以正常运行了,结果出现新的问

Jaeger_Java的博客 781

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Python某宝数据爬取_一蓑烟雨任平生

文章目录前言一、前期准备二、使用步骤1.引入库2.读入数据总结 前言 本篇文章仅供Python学习,禁止商业用途,其中需要优化的地方很多,比如爬取页数,又比如按条件排序爬取,想拿走就拿走,毕竟得不到什么,这里对自己的成果做一下记录,仅此而已 一、前期准备 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下(示例): import numpy as np import pandas as pd import matplotlib.p

Jaeger_Java的博客 664

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Python爬虫_宅男福利?妹纸勿点__一蓑烟雨任平生

咳咳直接上代码 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/12/15 19:10 # @Author : huni # @File : 图库大全1000.py # @Software: PyCharm import requests from lxml import etree import os if __name__ == '__main__': headers = { 'User-A

Jaeger_Java的博客 1万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Python两种获取cookie方法以及拼接cookie_一蓑烟雨任平生

文章目录前言cookie有什么用呢?下面两种法介绍获取网页Cookieselenium获取cookie后进行组装requests获取cookie总结 前言 cookie有什么用呢? 我的理解就是保持登录状态,有时候爬取网页不需要输入账号密码,就是因为携带了cookie 下面两种法介绍获取网页Cookie selenium获取cookie后进行组装 cookie = driver.get_cookies() pp = '' for i, key in enumerate(cookie[0]):

Jaeger_Java的博客 2058

Python_爬虫_多线程入门_一蓑烟雨任平生

文章目录前言一、基础知识二、Demo代码总结 前言 使用这篇Dome的代码可以入门多线程 一、基础知识 1.python多线程 生产者与消费者模式官方文档:17.1. threading — 基于线程的并行点这里 两个案例参考:用Python多线程实现生产者消费者模式点这里 python-多线程3-生产者消费者点这里 2.@property 装饰器既要保护类的封装特性,又要让开发者可以使用“对象.属性”的方式操作操作类属性,除了使用 property() 函数,Python 还提供了 @property

Jaeger_Java的博客 473

Python爬虫抓取气象_bs4+定时器+mysql+对象_一蓑烟雨任平生

文章目录前言说啥呢?直接扔代码吧看不懂的话你细品 留言也可以 进群也可以总结 前言 麻雀虽小 五脏俱全 这篇爬虫文章涉及的技术不少 bs4抓取数据 (之前一直用xpath感觉一种东西吃多了会腻) 定时器(一次执行终身执行 懒人必备) mysql(数据库 存数据的地方) 对象(面向对象编程) 说啥呢?直接扔代码吧 看不懂的话你细品 留言也可以 进群也可以 # -*- coding: utf-8 -*- """ # @Time : 2021/4/6 10:10 # @Author : 一蓑烟雨任平生

Jaeger_Java的博客 416

爬虫爬取LOL和TiMi,文章最后有福利,已打包EXE文件_一蓑烟雨任平生

import os import requests url = 'https://pvp.qq.com/web201605/js/herolist.json' response = requests.get(url) heroList_json = response.json() hero_dir = 'wangzhe' if not os.path.exists(hero_dir): os.mkdir(hero_dir) # 创建存储的文件,判断是否存在,不存在就创建,自己可以更改 for m

Jaeger_Java的博客 503

Python解决乱码万能方法以及一些个人思路_一蓑烟雨任平生

文章目录前言一、乱码是什么二、解决方法1.第一种:2.第二种:第一步:查看网页编码第二步:转换编码总结 前言 最近粉丝在爬取文章时,总遇到乱码,而不知道该如何下手,这里就总结一下应对乱码的方法 一、乱码是什么 乱码,指的是由于本地计算机在用文本编辑器打开源文件时,使用了不相应字符集而造成部分或所有字符无法被阅读的一系列字符。造成其结果的原因是多种多样的。 二、解决方法 1.第一种: 乱码的产生可能是因为 全部搞成utf-8格式,然后忽略别的所有格式格式 具体操作就不写了,请看我的另外一篇文章 编码解码解决

Jaeger_Java的博客 1015

Python_selenium_自动化_一蓑烟雨任平生

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、selenium是什么?二、使用步骤1.下载自动化谷歌浏览器2.使用selenium下载一张图片总结 前言 自动化爬虫,实现了机器帮人点开网页进行操作,可以解决99%的问题 一、selenium是什么? Selenium [1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,S

Jaeger_Java的博客 486
上一篇: 一蓑烟雨任平生_年度总结
下一篇: Python解决乱码万能方法以及一些个人思路_一蓑烟雨任平生
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值