爬虫 ----了解爬虫 爬虫的虚拟环境 http和https

最新推荐文章于 2023-09-19 21:45:41 发布
原创 最新推荐文章于 2023-09-19 21:45:41 发布 · 349 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

本文深入讲解了网络爬虫的基本概念，包括爬虫的定义、作用、所需知识、分类及流程。探讨了数据获取的多种途径，如用户产生的数据、数据平台购买等。同时，文章详细解释了web的共同特性、Robots协议、Python虚拟环境搭建，以及http和https协议的区别。

爬虫

爬虫？

什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人）, 是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
简单来说：就是一个爬取web或者app数据的程序，他又名数据采集。

获取数据几种途径

爬虫的作用

  • 数据分析
  • 购物助手
  • 咨询网站
  • 搜索引擎

爬虫需要知识

  • Python 基础知识
  • HTML 基础知识
  • 数据持久化知识
  • Scrapy框架知识
    在这里插入图片描述

爬虫的分类

  • 通用爬虫

    • 不管什么样的诗剧都给你爬下来
    • 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

  • 聚焦爬虫

    • 聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：

  • 不同

    • 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

爬虫的流程

1、定位url的时候，要简单处理一下URL的参数
2、分析URL的参数（参数的变化）
3、发生请求
4、解析数据

web 共同点

  • 1、每个网页都有唯一的URL（资源定位符)
  • 2、网页一定是html css js 组成的
  • 3、网页数据通过htpp https传输的

Robots协议

全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，

例如：https://www.jd.com/robots.txt

虚拟环境

Python虚拟环境搭建和使用Ubuntu下配置virtualenv和virtualenvwrapper

一、安装环境

sudo pip3 install virtualenv -i https://pypi.douban.com/simple/

二、安装virtualenvwrapper

sudo pip3 install virtualenvwrapper -i https://pypi.douban.com/simple/

三、配置

  • sudo vim ~/.bashrc
export WORKON_HOME=/home/ljh/.virtualenvs 
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3.5 
source  /usr/local/bin/virtualenvwrapper.sh
  • source ~/.bashrc

四、创建虚拟环境

mkvirtualenv testlev

五、切换虚拟环境

workon testlev

六、关闭虚拟环境

deactivate testlev

七、删除虚拟环境

rmvirtualenv testlev

http和https

  • HTTP协议

    • 中文名叫超文本传输协议： 是用于从网络传送超文本数据到本地浏览器的传送协议

  • HTTPS协议

    • 简单讲是HTTP的安全版，在HTTP协议的基础上加入SSL层(HTTP+SSL) 。 SSL（Secure Sockets Layer 安全套接层）主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Internet上数据传输的安全。

  • 端口

    • HTTP的端口号为80， HTTPS的端口号为443

  • SSL

    • HTTPS的安全基础是SSL,因此通过它可以传输的内容都是经过SSL加密的
      • 建立一个安全有效的信息传送通道，保证数据传送的安全性
      • 确定网站的真实性和有效性

  • 请求与响应

    • 1.域名解析 -->

      2.发起TCP的3次握手 -->

      3.建立TCP连接后发起http请求 -->

      4.服务器响应http请求，浏览器得到html代码 -->

      5.浏览器解析html代码，并请求html代码中的资源（如js、css、图片等） -->

      6.浏览器对页面进行渲染呈现给用户.

  • URL

    • 统一资源定位符，是用于完整地描述Internet上网页和其他资源的地址的一种标识方法。
    • 组成 https://book.qidian.com/info/1004608738#Catalog
      • scheme：协议
      • host：服务器的IP地址或者域名
      • port：服务器的端口
      • path：访问资源的路径
      • query-string：参数
      • anchor：锚

  • 请求方法

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hl0hVQj2-1591600818041)(http://tp.jikedaohang.com/20191028104547_VK4hEO_Screenshot.jpeg)]

  • 常用请求头

    • Accept:指定客户端能够接收的内容类型。

    • Accept-Charset :浏览器可以接受的字符编码集。

    • Accept-Encoding:指定浏览器可以支持的web服务器返回内容压缩编码类型。

    • Accept-Language:浏览器可接受的语言。

    • Accept-Ranges:可以请求网页实体的一个或者多个子范围字段。

    • AuthorizationHTTP:授权的授权证书。

    • Cache-Control:指定请求和响应遵循的缓存机制。

    • Connection:表示是否需要持久连接。（HTTP 1.1默认进行持久连接）

    • CookieHTTP:请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。

    • Content-Length:请求的内容长度。

    • Content-Type:请求的与实体对应的MIME信息。

    • Date:请求发送的日期和时间。

    • Expect:请求的特定的服务器行为。

    • From:发出请求的用户的Email。

    • Host指定请求的服务器的域名和端口号。

    • If-Match只有请求内容与实体相匹配才有效。

    • If-Modified-Since如果请求的部分在指定时间之后被修改则请求成功，未被修改则返回304代码。

    • If-None-Match如果内容未改变返回304代码，参数为服务器先前发送的Etag，与服务器回应的Etag比较判断是否改变。

    • If-Range如果实体未改变，服务器发送客户端丢失的部分，否则发送整个实体。

    • If-Unmodified-Since只在实体在指定时间之后未被修改才请求成功。

    • Max-Forwards限制信息通过代理和网关传送的时间。

    • Pragma用来包含实现特定的指令。

    • Proxy-Authorization连接到代理的授权证书。

    • Range只请求实体的一部分，指定范围。

    • Referer先前网页的地址，当前请求网页紧随其后,即来路。

    • TE客户端愿意接受的传输编码，并通知服务器接受接受尾加头信息。

    • Upgrade向服务器指定某种传输协议以便服务器进行转换（如果支持。

    • User-Agent 是否是浏览器。

    • Via通知中间网关或代理服务器地址，通信协议。

    • Warning关于消息实体的警告信息

  • 响应头

    • Accept-Ranges表明服务器是否支持指定范围请求及哪种类型的分段请求。

    • Age从原始服务器到代理缓存形成的估算时间（以秒计，非负）。

    • Allow对某网络资源的有效的请求行为，不允许则返回405。

    • Cache-Control告诉所有的缓存机制是否可以缓存及哪种类型。

    • Content-Encodingweb服务器支持的返回内容压缩编码类型。。

    • Content-Language响应体的语言。

    • Content-Length响应体的长度。

    • Content-Location请求资源可替代的备用的另一地址。

    • Content-MD5返回资源的MD5校验值。

    • Content-Range在整个返回体中本部分的字节位置。

    • Content-Type返回内容的MIME类型。

    • Date原始服务器消息发出的时间。

    • ETag请求变量的实体标签的当前值。

    • **Expire：**响应过期的日期和时间。

    • Last-Modified请求资源的最后修改时间。

    • Location用来重定向接收方到非请求URL的位置来完成请求或标识新的资源。

    • Pragma包括实现特定的指令，它可应用到响应链上的任何接收方。

    • Proxy-Authenticate它指出认证方案和可应用到代理的该URL上的参数。

    • refresh应用于重定向或一个新的资源被创造，在5秒之后重定向（由网景提出，被大部分浏览器支持）

    • Retry-After如果实体暂时不可取，通知客户端在指定时间之后再次尝试。

    • Serverweb服务器软件名称。

    • Set-Cookie设置Http Cookie。

    • Trailer指出头域在分块传输编码的尾部存在。

    • Transfer-Encoding文件传输编码。

    • Vary告诉下游代理是使用缓存响应还是从原始服务器请求。

    • Via告知代理客户端响应是通过哪里发送的。

    • Warning警告实体可能存在的问题。

    • WWW-Authenticate表明客户端请求实体应该使用的授权方案。

  • 状态码

    • 200 - 请求成功
    • 301 - 资源（网页等）被永久转移到其它URL
    • 302 - 资源（网页等）被临时转移到其它URL
    • 401 - 未授权
    • 403 - 禁止访问
    • 408 - 请求超时
    • 404 - 请求的资源（网页等）不存在
    • 500 - 内部服务器错误
    • 503 - 服务器不可用
py爬虫sina-weibo-crawler-master
04-20
- **虚拟环境**：建议使用virtualenv或conda创建虚拟环境，以避免环境冲突。 #### 3.2 获取源码 由于该项目的下载链接为百度网盘分享地址（https://pan.baidu.com/s/1uTZH6SOIQod0mnyG_YsKKQ），提取码为rl10ѹ:...
py爬虫stockholm-master
最新发布
04-20
- 如果需要，可以使用虚拟环境来管理项目的依赖关系，避免与其他项目冲突。 #### 2. 安装依赖 大多数Python项目都会有一个`requirements.txt`文件，其中列出了运行项目所需的第三方库及其版本号。可以通过以下命令...
python之Scrapyd部署爬虫项目（使用虚拟环境）
Mrical的博客
03-22 2721
1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包新建虚拟环境： mkvirtualenv --python=C:\python36\scripts\python.exe scrapySpider 进入虚拟环境使用pip将所需包安装完成2、打开命令行工具执行pip install scrapyd3、输入scrapyd启动scrapyd服务，在浏览器输入127.0.0.1:...
python爬虫之虚拟环境的使用
weixin_44356081的博客
11-05 408
Window 下创建python的虚拟环境 下载工具 　pip install virtualenv 创建虚拟环境目录 # 注意此命令创建的虚拟环境目录是在当前目录下 virtualenv chen 使用虚拟环境 cd testenv/Scripts 　　activate 退出虚拟环境 　deactivate.bat 指定使用python版本创建虚拟环境 　virtualenv -p C:\Users\Administrator\AppData\Local\Programs\Python
爬虫系列0安装虚拟环境
runnoob_1115的博客
11-12 527
easy_install virtualenvvirtualenv venvdeactivescripts activepip install django==1.8.18资源网址https://bitbucket.org/wswp/code/src/tip/chapter02/linkcrawler.py
爬虫虚拟登录
tel19912480279的博客
11-12 395
模拟登录这块我本来试着scrapy，但是我觉得真的很不灵活，倒腾了半天，也不行。后来还是用了我之前写的代码，用requests模块模拟。requests模块特别好用，比urllib2以及其他的都好用（至少我是这么觉得地）。 模拟登录其实主要掌握了几点，就很好下手。 要抓住真正要登录的URL； 要拿到要post的表单数据Form data，一般是以字典形式； 填写好header，有的网站可能会认证User-Agent,Host,Referer等等请求头。 下面就来逐步说说我写模
爬虫基础、http和https
想拯救发际线的博客
10-27 1118
一、爬虫 网络爬虫的定义：自动的抓取互联网上的信息的程序或者脚本 （一）爬虫可以解决的问题 解决冷启动问题 搜索引擎的根基 建立知识图谱，帮助建立机器学习知识图谱 可以制作各种商品的比价软件，趋势分析 二、通用爬虫和聚焦爬虫 根据使用场景，网络爬虫分为通用爬虫和聚焦爬虫。 （一）通用爬虫 搜索引擎 搜索引擎的主要组成 通用爬虫：将互联网页面整体爬取下来后，保存在本地。（没有做数据清洗的） 通...
网络爬虫-----爬虫的分类及原理
m0_73633088的博客
09-19 7690
比如用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关的再根据一定的排名规则进行排序后展现给用户，那么就需要尽可能多的互联网的优质网页。增量式更新指的是再更新的时候只更新改变的地方，而为改变的地方则不更新，所以该爬虫。取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。通常，我们会把获取响应，解析放在一个步骤中完成，所以说，聚焦爬虫的步骤，通俗的来讲一共四步。
爬虫V3.8.2-64位python_x64_v3.8.2.zip
05-13
这份文档可能会涵盖Python的命令行选项，如何管理Python的虚拟环境，以及推荐的爬虫库如Scrapy、BeautifulSoup和Requests的简介。这些库是构建网络爬虫的基础，Scrapy提供了一个强大的框架，BeautifulSoup则方便解析...
Go-一个DHT爬虫
08-14
此外，`net/http`库支持搭建简单的HTTP服务器，便于对爬虫进行模拟测试和日志分析。 10. **性能优化**：Go语言的GOMAXPROCS环境变量可以控制并行执行的goroutine数量，合理设置能进一步提升DHT爬虫的性能。另外，...
一：爬虫储备知识 http与https协议
a778203081的博客
09-26 223
HTTP 协议是（超文本传输协议）服务器传输超文本到本地浏览器的传送协议。HTTP 是一个基于 TCP/IP 通信协议来传递数据（HTML 文件、图片文件、查询结果等）。HTTPS 协议是（超文本传输安全协议）的缩写，是一种通过计算机网络进行安全通信的传输协议。HTTPS 经由 HTTP 进行通信，但利用 SSL/TLS 来加密数据包，HTTPS 开发的主要目的，是提供对网站服务器的身份认证，保护交换资料的隐私与完整性。
Authentication Proxy原理
jasenwan88的专栏
07-09 1409
Authentication Proxy原理 当一个用户发起HTTP访问穿过ROUTER，the authentication proxy is triggered(在接口截获用户通过ROUTER的http包进行认证) auth proxy先检查现存的entry有没有此用户的entry 没有，就根据其http request包，发回一个http repond包，但显示的是一个
Proxy Authentication Required解决
热门推荐
水上漂的专栏
04-29 10万+
 症状loadTOCNode(1, symptoms);如果 Internet Security and Acceleration (ISA) Server 2000 是链接到上游 Web 代理服务器, Web 浏览器中可能会收到完整 HTML 页和随机身份验证提示。 如果下游 ISAServer 计算机配置需要集成验证并且如果上游 Web 代理服务器也配置需要代理验证可能会发生这
响应首部:Proxy-Authenticate
program is a art
04-21 1327
首部字段Proxy-Authenticate会把由代理服务器所要求的认证信息发送给客户端. 它与客户端和服务器之间的HTTP访问认证的行为相似,不同之处在于其认证行为是在客户端与代理之间进行的.而客户端与服务器之间进行认证时,首部字段WWW-Authorization有着相同的作用. Proxy-Authenticate: Basic realm="Usagidesign Auth"...
如何通过ip追踪对方的虚拟地址
weixin_45418665的博客
12-31 2404
1.首先，我们在“开始“ 运行“输入cmd，之后打开cmd 2.我们输入“tracert”加你要查的那个人的ip 3.再输入“nbtstat”加ip 搜索不到主机因为对方在运行虚拟机vmware 下面显示的“wifi”和ip地址xxx就是你需要查的地址，0.0.0.0是因为对方没有开启ethernet ...
HTML请求与相应
weixin_30590285的博客
02-24 691
HTTP的请求与响应 HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息 浏览器发送HTTP请求的过程： 　　当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。 当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获...
python网络爬虫：爬虫环境与爬虫简介
m0_51877411的博客
04-26 1247
python网络爬虫 python爬虫环境与爬虫简介 认识爬虫 浏览网页基本流程 网络爬虫模拟了浏览器去发送请求并且返回响应结果的一个过程。 爬虫概念 网络爬虫也被称为网络蜘蛛、网络机器人,是一个自动下载网页的计算机程序或自动化脚本。 网络爬虫就像一只蜘蛛一样在互联网上沿着URL的丝线爬行，下载每一个URL所指向的网页,分析页面内容。 爬虫的原理 (1)通用网络爬虫 通用网络爬虫又称为全网爬虫，其爬行对象由一批种子URL扩充至整个Web，该类爬虫比较适合为搜索引擎搜索广泛的主题，主要由搜索引擎
Scrapy爬取起点小说网数据导入MongoDB数据库
LMR的博客
06-12 9384
本文中我们将详细介绍使用Scrapy抓取数据并存入MongoDB数据库，首先给出我们需要抓取得数据： 抓取起点网得全部作品，网址为：https://www.qidian.com/all 关于Scrapy的下载与安装请移步上篇博客Scrapy简单案例 关于MongoDB的下载安装请移步博客MongoDB安装 下面直接给出相关代码; (1) 数据封装类item.py # -*- co...
在windows下如何新建爬虫虚拟环境和进行scrapy安装
weixin_33728708的博客
02-11 261
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。1、关于虚拟环境的创建可以参考之前发布的两篇博文，在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境（默认情况下）。下面...
Python-Sasila：一种结合gevent的轻量级爬虫框架
了解如何创建和管理Python虚拟环境、安装和管理依赖包是使用Sasila以及其他Python开发项目的重要前提。 6. 实际应用场景 Sasila框架可能在需要高效处理大量数据的场景下表现出色，尤其适用于需要高度定制化和扩展性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值