一木.溪桥学爬虫-02： 爬虫简介、常用概念（GET、POST、User-Agent、Referer、状态码）、抓包工具

最新推荐文章于 2025-03-06 14:57:49 发布
原创 最新推荐文章于 2025-03-06 14:57:49 发布 · 417 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

本文介绍了爬虫的基本概念，包括爬虫的作用、Python爬虫的优势，以及通用和聚焦网络爬虫的分类。重点讲解了GET、POST请求的区别，URL的组成，User-Agent和Referer的作用，以及常见的HTTP状态码。此外，还提到了使用抓包工具分析网络请求的重要性。

一木.溪桥 在Logic Education跟Jerry学爬虫

07期：Python 爬虫
一木.溪桥学爬虫-02： 爬虫简介、常用概念（GET、POST、User-Agent、Referer、状态码）、抓包工具
日期：2021年1月23日

学习目标：

  • 爬虫简介

  • 常用概念（GET、POST、User-Agent、Referer、状态码）

  • 抓包工具

学习内容：

爬虫简介

什么是爬虫？
  • 简单的说爬虫就是代替人模拟浏览器进行网页操作。
爬虫的作用？
  • 为其他程序提供数据源，如搜索引擎（百度、Google）
最低0.47元/天 解锁文章
Servlet与JSP进阶一：HTTP请求结构；get&post请求简单展示；请求头User-Agent开发多端应用；
小枯林的博客
01-04 830
Servlet与JSP进阶部分主要阐述：JavaWeb更深入的核心特性；Servlet核心对象；JSP九大内置对象； 一：HTTP请求的结构 请求：是从浏览器向Tomcat服务器所发送的数据包； （1）请求行：说明请求方法，请求的url，HTTP的版本信息； （2）请求头：包含了很多辅助性的信息，可以为程序处理提供额外的数据支持； ：当前浏览器所设置的语言； 比如，同样是访问谷歌，国内的浏览器显示的是中文，国外的浏览器显示的是英文；谷歌为什么在不同的浏览器上显示内容不一样呐？就是因为不.
使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截
程高伟
01-05 1万+
使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截
抓包分析-User-agent-switcher
underdogs的博客
12-12 2331
为浏览器安装User-agent-switcher插件，可以切换浏览器user-agent，可以抓取某些网站设置的手机网站的参数，可以避免通过为电脑设置wifi，手机连接到电脑的繁琐步骤，直接通过浏览器进行抓包分析。
常用的浏览器请求头User-Agent
chang995196962的博客
06-26 1万+
user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) Ap...
ajax post useragent,ajax异步请求post方式
weixin_33957278的博客
08-06 454
//创建浏览器对象function createXhr(){//判定浏览器类型处理第一种方法/* var xhr;var str=window.navigator.userAgent;if(str.indexOf('MSIE')>0){xhr=new ActiveXObject('Microsoft.XMLHTTP');}else{xhr=new XMLHttpRequest();}ret...
一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、.unquote()
FaFrFu的博客
02-04 557
一木.溪桥 在Logic Education跟Jerry学爬虫 07期：Python 爬虫 一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、parse.unquote() 日期：2021年1月26日 学习目标： 请求模块urllib urllib.request urllib.parse.urlencode urllib.pa..
一木.溪桥学Python-01: Python介绍、编译器与解释器、Python环境搭建（pip换源安装）、代码编辑器
FaFrFu的博客
12-17 381
一木.溪桥 在Logic Education跟着Amy学Python 12期：Python基础课 01课: 计算机要点 日期：2020年12月15日 学习目标： Python介绍、编译器与解释器、Python环境搭建、代码编辑器 学习内容： Python介绍 Python logo Guido van Rossum The Monty Python ABC --> Python特点： 简单易学、明确优雅、开发速度快 跨平台（树莓派）、可移植、可扩展、交互式、解释型、面向..
一木.溪桥学Python-11：迭代器、生成器、面象对象class MyClass:、self 参数、 __init__() 方法、__str__() 方法
FaFrFu的博客
01-10 330
一木.溪桥 在Logic Education跟Amy学Python 逻辑教育 ：https://logicedu.ke.qq.com 12期：Python基础课 一木.溪桥学Python-11：迭代器、生成器、面象对象class MyClass:、self 参数、 __init__() 方法、__str__() 方法 日期：2021年1月8日 学习目标： 迭代器 生成器 面象对象class MyClass: self 参数 __init__() 方法 __st..
一木.溪桥---Python数据分析之Jupyter
FaFrFu的博客
08-13 503
一木.溪桥---Python数据分析之JupyterJupyter安装Jupyter使用快捷键 Jupyter安装 安装命令:pip install jupyter Jupyter使用 Step 1.首先需要建立单独项目文件夹(建议名称不要包含中文) 2.windows+R输入cmd进入windows终端 3.切换到建立好的文件夹路径下 ：cd 路径 4.打开命令:jupyter notebook 打开笔记本后，看到顶部有三个选项卡：Files、Running 和 Clusters。 1.Files
Java获取客户端操作系统类型-HTTP请求头User-Agent
u014295903的博客
07-01 1万+
Java通过HTTP请求头User-Agent获取客户端操作系统类型
user-agent（UA）
weixin_34392906的博客
07-04 571
1. 什么是user-agent？ User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 浏览器的UA字段标准格式：浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息 。 2. 如何查看...
【第一章】Python爬虫教程（urllib模块、requests模块、get/post请求、User-Agent）
qq_43629945的博客
08-19 760
urllib模块、requests模块、get/post请求、User-Agent
User-Agent（用户代理）是什么
热门推荐
ccc369639963的博客
03-10 3万+
User-Agent（用户代理）是什么 User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。 我们知道，网络爬虫使用程序代码来访问网站，而非人类亲自点击访问，因此爬虫程序也被称为“网络机器人”。绝大多数网站都具备一定的反爬能力，禁止网爬虫大量地访问网站，以免给网站服务器带来压力。本节即将要讲解的 User-Agent 就是反爬策略的第一步。 网
初学爬虫的User-agent
qq_37799799的博客
08-28 375
关于初学爬虫的一个小助力 许多人在刚开始接触爬虫时，对于请求的头部，也就是User-Agent需要每次都去复制抓包中的或者搜索一个。其实python中有一个第三方标准库，可以省去不少事，有人知道，也有人不知道，简单的介绍一下用法。这个就是fake_useragent from fake_useragent import UserAgent,FakeUserAgentError ua = UserAgent() headers = {"User-Agent": ua.random} print(head
Android进阶之路 - 网络请求中user-agent的使用
Android、前端、小程序、后端
09-05 7782
首次听到user-agent的概念，及时来恶补一下~
GET和POST的区别及含义
m0_56214376的博客
03-28 287
http中的请求方法 1、GET 2、POST 3、PUT 4、DELETE 5、HEAD 6、PATCH 7、OPTIONS 我们常遇到的是GET和POST俩种 最显而易见的是传参的不同，GET传参在URL中，POST传参只有抓包才能看到，再有就是数据的大小不同，POST传参数据大小基本没有被限制，但是GET传参的数据大小被限制2048还是多少忘记了 先来看看这俩种传参的区别（图片来自网络） GET请求方...
User-Agent（用户代理）是什么？
宇宙超粒终端控制中心的博客
01-15 4879
User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。网络爬虫使用程序代码来访问网站，而非人类亲自点击访问，因此爬虫程序也被称为“网络机器人”。绝大多数网站都具备一定的反爬能力，禁止网爬虫大量地访问网站，以免给网站服务器带来压力。这里要学习的 User-Agent 就是反爬策略的第一步。
User-Agent大全
Used the same
09-30 9577
一、基础知识篇： Http Header之User-Agent User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问是不一样的，这些是谷歌根据访问者的 UA来判断的。UA可以进行伪装。 浏览器的UA字串的标准格...
如何设置爬虫的User-Agent？
2401_87849163的博客
03-06 2623
如果需要，可以自定义 User-Agent，但建议包含常见的浏览器标识（如），以避免被识别为爬虫。设置合适的 User-Agent 是爬虫开发中的重要步骤，可以有效降低被识别为爬虫的风险。通过模拟常见浏览器的 User-Agent，并合理控制请求频率，可以确保爬虫行为更加自然和安全。希望本文能为你提供有价值的参考，帮助你更好地开发爬虫程序。
Using legacy 'setup.py install' for python-geohash, since package 'wheel' is not installed. Installing collected packages: python-geohash
最新发布
04-25
<think>好的，我现在需要帮助用户解决在Linux上安装python-geohash时由于缺少wheel包而不得不使用legacy setup.py install的问题。用户希望避免这种情况，转而使用wheel包来安装。 首先，我得回忆一下用户之前的对话历史。用户之前询问过如何在Linux安装python-geohash，我给出了步骤，包括安装依赖、使用pip安装，处理导入错误等。现在用户遇到了新的问题，涉及wheel包的缺失，导致pip回退到旧的安装方法。这可能是因为python-geohash没有提供预编译的wheel，或者用户的环境中没有安装wheel包，导致pip无法生成wheel，只能使用setup.py。 根据用户提供的引用内容，特别是引用[2]和[3]，问题通常出现在项目缺少pyproject.toml且没有安装wheel包时，pip会使用旧的setup.py方式。解决方法可能包括安装wheel包，强制使用PEP 517标准，或者手动构建wheel。 首先，用户需要确保系统中已经安装了wheel包。根据引用[3]，安装wheel可以避免使用legacy方法。所以在步骤里，应该先让用户安装wheel。命令是pip install wheel，如果用户使用Python3，可能需要用pip3。 然后，可能需要强制pip使用PEP 517模式，这可以通过--use-pep517选项实现，如引用[2]提到的。所以安装命令应该是pip install --use-pep517 python-geohash。不过，我需要确认这个选项是否适用于当前的情况，或者是否需要其他参数。 另外，用户可能遇到的情况是，即使安装了wheel，但python-geohash本身可能没有提供合适的配置，导致pip仍然无法生成wheel。这时候可能需要用户手动构建wheel。步骤包括下载源码包，使用python setup.py bdist_wheel生成wheel文件，然后安装。但这种方法需要用户先获取源码，可能稍微复杂，但可以作为备选方案。 另外，用户可能需要升级pip本身，因为旧版本的pip可能存在兼容性问题。所以建议用户先升级pip：pip install --upgrade pip。 此外，引用[4]提到另一种安装方法是用python setup.py install，但用户想避免这个，所以重点应该放在如何让pip使用wheel。 可能的步骤总结： 1. 安装wheel包。 2. 升级pip到最新版本。 3. 使用--use-pep517选项安装。 4. 如果仍然失败，手动构建wheel。 另外，需要考虑Linux环境下可能的依赖问题，比如是否安装了编译所需的工具，如gcc、python-dev等，这些在之前的回答中已经提到，用户可能已经安装过了，但可能需要再次确认，避免编译时出错。 还要检查python-geohash的PyPI页面，看看它是否提供了wheel分发。如果官方没有提供wheel，那么用户可能需要从源码构建wheel，或者等待维护者提供。但根据用户的情况，可能需要手动处理。 最后，验证安装是否成功，用import geohash测试，如之前的步骤所示。 综上，分步骤的解决方案应包括安装wheel、升级pip、使用PEP 517，以及备选的手动构建方法，并确保系统依赖已安装。</think>### 分步解决方案 #### 步骤1: 安装或更新`wheel`包 Wheel是Python的二进制包格式，可避免使用`setup.py install`的旧安装方式。 ```bash pip install --upgrade wheel # 确保已安装最新版wheel # 若使用Python3且默认命令为pip3： pip3 install --upgrade wheel ``` #### 步骤2: 强制启用PEP 517模式 通过添加`--use-pep517`参数，强制pip使用现代构建系统（避免回退到`setup.py`）[^2]： ```bash pip install python-geohash --use-pep517 ``` #### 步骤3: 安装编译依赖（备用） 若仍提示构建失败，需确保系统已安装编译工具链： ```bash sudo apt-get update sudo apt-get install python3-dev gcc # 提供Python头文件和C编译器[^1] ``` #### 步骤4: 手动构建Wheel并安装（终极方案） 如果上述方法无效，可手动下载源码并构建Wheel： ```bash # 下载源码包 pip download python-geohash --no-binary :all: tar -xzf python-geohash-*.tar.gz # 解压源码 cd python-geohash-*/ # 生成Wheel文件 python setup.py bdist_wheel # 生成.whl文件 # 安装生成的Wheel pip install dist/*.whl # 自动使用二进制包 ``` #### 验证安装 ```python import geohash print(geohash.encode(39.9, 116.4)) # 预期输出类似'wx4g' ``` --- ### 关键问题解析 1. **为何强制使用PEP 517？** PEP 517定义了无需`setup.py`的构建标准，通过`pyproject.toml`声明构建依赖，避免传统安装方式的不稳定性。 2. **手动构建Wheel的作用** 当PyPI未提供预编译Wheel时（如某些库未适配Linux平台），手动构建可生成适配当前系统的二进制包，后续安装无需重复编译[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值