Amo Xiang的博客

目录一、为什么需要安装 Anaconda?二、下载 Anaconda三、安装 AnacondaAnaconda 是适合数据分析的 Python 开发环境，在全球有超过1100万用户(网上看到的数据)，它是一个开源的 Python 发行版本，其中包含了 conda(包管理和环境管理)、Python 等180多个科学包及其依赖项，本文为大家进行详细介绍。一、为什么需要安装 Anaconda?相信一些具有 Python 基础的读者，Python 开发环境已经搭建好了，也学会了编写简单的程序。那我们为什么还要

目录1. 项目管道的核心方法2. 爬取京东数据并存储至 MySQL 数据库当爬取的数据已经被存放在 Items 以后，如果 Spider(爬虫) 解析完 Response(响应结果)，Items 就会传递到 Item Pipeline(项目管道) 中，然后在 Item Pipeline 中创建用于处理数据的类，这个类就是项目管道组件，通过执行一连串的处理即可实现数据的清洗、存储等工作。1. 项目管道的核心方法Item Pipeline（项目管道）的典型用途如下：清洗 HTML 数据。验证抓取的数

目录1、Chrome 开发者工具Elements 面板2、二级目录三级目录1、Chrome 开发者工具Google Chrome 浏览器中内置了一套强大的开发者工具，无论是做源码分析还是 JS 脚本的调试都是比较方便的。要进行抓包或者调试前端的加密脚本，和控制台的交互必不可少。不少做了安全防护的网站都会禁止用户打开 Chrome 开发者工具，下面总结所有 Chrome 控制台的打开方法。按 F12 键。按 Ctrl + Shift + I 键。右击网页页面，出现菜单后，单击检查菜单项。如下图所示

目录1. 网站分析2. 示例代码3. 注意事项1. 网站分析本文实现的爬虫是抓取京东商城指定苹果手机的评论信息。使用 requests 抓取手机评论 API 信息，然后通过 json 模块的相应 API 将返回的 JSON 格式的字符串转换为 JSON 对象，并提取其中感兴趣的信息。读者可以点击此处打开 京东商城，如下图所示：URL 是 苹果手机商品 。商品页面如下图所示：在页面的下方是导航条，读者可以单击导航条上的数字按钮，切换到不同的页面，会发现浏览器地址栏的 URL 并没改变，这种情况

目录一、Scrapy 简介二、Scrapy 安装和配置三、Scrapy Shell 抓取 Web 资源Scrapy 是一个非常优秀的爬虫框架，通过 Scrapy 框架，可以非常轻松地实现强大的爬虫系统，我们只需要将精力放在抓取规则以及如何处理抓取的数据上即可，本章介绍 Scrapy 的基础架构、安装以及 Scrapy Shell 的使用。一、Scrapy 简介Scrapy 是适用于 Python 的一个快速、高层次的屏幕抓取和 web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy

目录1. CrawlSpider2. Item Loader3. 基本使用前面几个小节已经讲解的爬虫都是抓取一个或几个页面，然后分析页面中的内容，这种爬虫可以称为专用爬虫，通常是用来抓取特定页面中感兴趣的内容，例如，某个城市的天气预报信息，或特定商品的信息等。除了专用爬虫外，还有一类爬虫应用非常广泛，这就是通用爬虫。这种爬虫需要抓取的页面数据量通常非常大。例如，像 Google、百度这样的搜索引擎就是使用这种通用爬虫抓取了整个互联网的数据，然后经过复杂的处理，最终将处理过的数据保存到分布式数据库中，通过搜

目录一、启动、连接、断开和停止MySQL服务器命令1.1 本小节练习二、MySQL数据库管理2.1 本小节练习三、MySQL表结构管理3.1 MySQL 数据类型3.2 创建表、修改表、查看表、删除表操作3.3 本节练习五、表记录的更新操作六、表记录的检索七、视图、触发器一、启动、连接、断开和停止MySQL服务器命令1.1 启动、停止 MySQL 服务器【方式1】图形化界面方式操作。Windows + R 快捷键调出如下窗口，并输入命令：services.msc，回车，打开 Windows 服务管理器

目录1. 背景介绍2. 分析3. 代码实现4. 总结从本篇博文开始，我们将一起去学习开发中经常用到的编码、消息摘要算法和加密算法方面的知识。作为开发者，掌握这些知识可以让我们在设计反爬虫时有更丰富的搭配。而作为爬虫工程师，掌握这些知识可以让我们在面对 奇怪 的字符串时能够更快地找到突破口。在学习和掌握了 js 加密及逆向之后，我们可以处理的爬虫问题如下：(1) 模拟登录中密码加密和其他请求参数加密处理(2) 动态加载且加密数据的捕获和破解1. 背景介绍微信公众平台，简称公众号。曾命名为 官号平台、

Scrapy 中提供了可以专门处理下载的 Pipeline (项目管道)，其中包括 Files Pipeline(文件管道) 以及 Images Pipeline（图像管道）。两种项目管道的使用方式相同，只是在使用 Images Pipeline （图像管道）时可以将所有下载的图片格式转换为 JPEG/RGB 格式以及设置缩略图。以继承 ImagesPipeline 类为例，可以重写以下三个方法：file_path()：该方法用于返回指定文件名的下载路径，第一个 request 参数是当前下载对应的 r

目录1. 基本用法2. 实战：抓取当当图书排行榜1. 基本用法test.html 代码如下：<div> <div id="panel"> <ul class="list1"> <li class="item" value1="1234" value2="hello world"><a href="https://geekori.com"> geekori.com<a>ok</a

目录1. 非对称加密与 RSA1.1 介绍1.2 Python 实现 RSA 加密1.3 JavaScript 实现 RSA 加密2. STEAM 网站逆向分析3. 编码实现从本篇博文开始，我们将一起去学习开发中经常用到的编码、消息摘要算法和加密算法方面的知识。作为开发者，掌握这些知识可以让我们在设计反爬虫时有更丰富的搭配。而作为爬虫工程师，掌握这些知识可以让我们在面对 奇怪 的字符串时能够更快地找到突破口。在学习和掌握了 js 加密及逆向之后，我们可以处理的爬虫问题如下：(1) 模拟登录中密码加密和其

1. 爬虫逆向必备js语法基础与js反爬原理 --js 基础三元表达式2. 爬虫逆向必备js语法基础与js反爬原理 --js 基础位操作符

目录1. 凡科网逆向分析2. 代码实现3. 总结1. 凡科网逆向分析点击 此处 进入到 凡科网 的主页面，在键盘中按下 <Fl2> 快捷键或者是鼠标右键单击选择 检查(inspect)，打开浏览器开发者工具 (这里使用谷歌浏览器)，然后在顶部导航条中选择 Network 选项，又由于登录一般都是使用的 ajax 请求，所以接着我们单击下方的 XHR，在这些准备工作都做好之后，我们就可以点击页面中的 登录 按钮，监听请求的 URL，如下图所示：我们在全局当中对 pwd = 进行搜索，如下

目录1. 通过代理服务发送请求2. 获取免费的代理 IP3. 检测代理 IP 是否有效1. 通过代理服务发送请求在爬取网页的过程中，经常会出现不久前可以爬取的网页现在无法爬取的情况，这是因为您的 IP 被爬取网站的服务器屏蔽了。此时，代理服务可以为您解决这一麻烦，设置代理时，首先需要找到代理地址，例如，58.220.95.80，对应的端口号为 9401，完整的格式为 58.220.95.80:9401。代码如下：# -*- coding: UTF-8 -*-"""@author:AmoXiang

目录一、字符验证码1.1 搭建 OCR 环境1.2 下载验证码图片1.3 识别验证码图片二、第三方验证码识别2.1 第三方打码平台中验证码识别过程三、滑动拼图验证码四、总结验证码是许多网站都采取的反爬虫机制，随着技术的发展，验证码出现了各种各样的形态。从一开始的几个数字，发展到随机添加几个英文字母以及混淆曲线、彩色斑点、滑动拼图等，形态越来越复杂。本篇博文将介绍如何使用 OCR 技术实现字符验证码的识别、如何使用第三方验证码识别平台识别验证码以及滑动拼图验证码的校验工作。一、字符验证码字符验证码的特点

目录一、表记录的检索(单表)1.1 基本查询语句1.2 单表查询一、表记录的检索(单表)1.1 基本查询语句SELECT 语句是最常用的查询语句，它的使用方式有些复杂，但功能是相当强大的。SELECT 语句的基本语法如下：SELECT selection_list --要查询的内容，选择哪些列FROM 数据表名 --指定数据表WHERE primary_constraint --查询时需要满足的条件，行必须满足的条件GROUP BY grouping_columns --如何对结果进

目录一、SVG 基础二、绘制图形2.1 绘制矩形2.2 绘制圆形2.3 绘制椭圆2.4 绘制多边形2.5 绘制直线2.6 绘制曲线2.7 绘制路径2.8 绘制文本三、SVG 中的滤镜3.1 SVG 滤镜类型3.2 SVG 实现马赛克效果四、SVG 实现动画五、SVG 中的渐变5.1 线性渐变5.2 径向渐变最近笔者在抓取数据的时候，遇到了 SVG 反爬，故找了一份 SVG 学习笔记，本文用于记录 SVG 学习过程中的知识点。一、SVG 基础SVG 指可伸缩矢量图形，是定义用于网络的基于矢量的图形，并且

目录1. 网站分析2. 示例代码1. 网站分析本篇文章使用 requests 库抓取糗事百科网的段子。读者可以点击 此处 访问糗事百科段子页面。页面如下图所示：在页面的下方是带有数字链接的导航条，可以切换到不同的页面，每一页会显示 25 个段子。所以要实现抓取多页段子的爬虫，不仅要分析当前页面的 HTML 代码，还要可以抓取多页的 HTML 代码。现在切换到其他页面，看一下 URL 的规律。第 1、2、3 页对应的 URL 如下：https://www.qiushibaike.com/text/

目录一、前置知识二、初识 NumpyNumPy 是数据分析的三大剑客之一，主要用于数组计算、矩阵运算和科学计算。对于刚开始学习数据分析的读者，建议灵活选择，重点掌握数组创建、数组的简单操作和计算即可。(不要死磕、钻牛角尖，先上手会使用，后续再深入理解)。为了便于理解，本文运用了大量的示意图，示例简单，力求使读者能够轻松地融入到 NumPy 的学习当中去。通过典型案例，让您充分理解 NumPy，应用 NumPy。下面让我们揭开 NumPy 的神秘面纱，开启 NumPy 之旅！本文学完之后，笔者还会提供相应的

目录一、Charles 工具的下载与安装二、SSL 证书的安装2.1 安装 PC 端证书2.2 设置代理2.3 配置网络2.4 安装手机端证书三、总结爬虫不仅仅只对 Web 页面的信息进行爬取，还可以爬取应用中存在的大量数据，例如移动端的 App。由于 App 中的数据都是通过异步的方式从后台服务器中获取的，类似于 Web 中的 Ajax 请求，所以在爬取数据前同样需要分析 App 用于获取数据的 URL。由于 App 运行在手机或平板电脑中，在获取请求地址时无法像 Web 一样在 PC 端通过浏览器进

目录1. 下载器中间件1.1 核心方法2. 爬虫中间件3. Item管道1. 下载器中间件Scrapy 允许使用中间件干预数据的抓取过程，以及完成其他数据处理工作。其中一类非常重要的中间件就是 下载器中间件。下载器中间件 可以对数据的下载和处理过程进行拦截。在 Scrapy 爬虫中，数据下载和处理分为如下两步完成。指定 Web 资源的 URL，并向服务端发送请求。这一步需要依赖爬虫类的 start_urls 变量或 start_requests 方法。当服务端响应 Scrapy 爬虫的请求后，就

目录一、安装 Splash二、Splash 的使用一、安装 SplashSplash 是一个 JavaScript 渲染服务，是一个含有 HTTP API 的轻量级浏览器，它还对接了 Python 中的 Twisted 库和 QT 库。利用它，同样可以爬取动态渲染的页面。利用 Splash，可以实现如下功能：异步处理多个网页的渲染过程；获取渲染后页面的源代码或截图。通过关闭图片渲染或者使用 Adblock 规则的方式加快页面渲染的速度；执行特定的 JavaScript 脚本；通过 Lua 脚

目录一、安装 Selenium二、Selenium 的使用一、安装 Selenium利用 Ajax 接口 爬取数据的方法通常有两种：一种是深挖其中的逻辑，把请求需要的参数的构造逻辑完全找出来，在使用 Python 代码复现，构造 Ajax 请求；另一种是直接模拟浏览器的运行，绕过这个过程，因为在浏览器里是可以看到这个数据的，所以如果能把看到的数据直接爬取下来，当然就能获取对应的信息了。两种方式各有优劣，具体采用哪一种，需要根据实际情况进行分析。举个简单例子：如果你的工作时间紧任务重，老板数据要

文章目录一、判断闰年二、模拟加载进度条一、判断闰年需求：要求用户输入一个年份，然后判断该年份是否为闰年。分析如下：(1) 用户要输入，则要使用 input() 函数，并且要注意 input() 函数的特点即用户录入的数据都为字符串类型。⇒ 要进行计算的话，需要使用类型转换函数。(2) 闰年判断的条件：四年一闰，百年不闰，四百年再闰。所以闰年的判断条件是能被 4 整除且不能被 100 整除，或者能被 400 整除，满足条件的即为闰年。⇒ 有判断则要使用 if 语句，而且条件有并且和或者的关系，所以还要

本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系列文章涉及的算法包括搜索、回溯、递归、排

文章目录一、数字组合二、小球反弹运动本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系列

文章目录一、计算圆的周长、面积和体积二、输出平方和立方表本系列文章通过 1000 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系列文章涉及

文章目录一、统计字符二、用户登录系统三、不重复的随机数本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的

文章目录一、设计条件运算二、打印成绩等级三、出租车计费问题本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚

文章目录一、需求及分析二、代码实现本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系列文

文章目录一、比较数字大小二、比较字符串大小三、统计和筛选学生成绩本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步

文章目录一、学生成绩明细单二、购物车三、挂号就诊系统本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编

文章目录一、使用字典实现 switch 结构二、通讯录本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的

文章目录一、以当前日期时间批量创建文件二、实现字符串与列表等数据的去重本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，

文章目录一、拿鸡蛋问题二、回文数问题本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系列

文章目录一、快算游戏二、数字四则运算器本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一步步打下坚实的编程基础。本系

文章目录一、案例：特招录取选拔二、案例：抓小偷三、案例：阿姆斯特朗数本系列文章通过 1000（一篇文章表示 1 个实例） 个实例 ，为读者提供较为详细的练习题目，以便读者举一反三，深度学习。本系列的文章涉及到 Python 知识点包括：Python 语言基础、运算符和表达式、语句和程序结构、列表和元组、字典和集合、字符串、正则表达式、函数、面向对象编程、模块和包、异常处理和程序调试、文件和目录操作、数据库编程、界面编程、网络编程、WEB 编程、进程和线程、网络爬虫、游戏编程等知识点，由易到难，由浅入深，一

有一对兔子，从出生后的第3个月起每个月都生一对兔子。小兔子长到第3个月后每个月又生一对兔子，假设所有的兔子都不死，问30个月内每个月的兔子总对数为多少，用Python实现？

目录一、问题描述二、问题分析一、问题描述一辆卡车违反交通规则，撞人后逃跑。现场有三人目击该事件，但都没有记住车号，只记下了车号的一些特征。甲说：牌照的前两位数字是相同的；乙说：牌照的后两位数字是相同的，但与前两位不同；丙是数学家，他说：4位的车号刚好是一个整数的平方。请根据以上线索求出车号。二、问题分析按照题目的要求造出一个前两位数相同、后两位数相同且相互间又不同的4位整数，然后判断该整数是否是另一个整数的平方。即求一个4位数a1a2a3a4a_1a_2a_3a_4a1​a2​a3​a4​，满足如下

目录1. 爬取在线课程Excel版2. 爬取在线课程MySQL版1. 爬取在线课程Excel版昨天呢笔者外出去吃了一顿火锅，疫情期间在家馋了好久勒，所以就没有更新Python的每日一练，今天中午吃了饭之后，赶紧打开电脑给补上，嘿嘿。今天的案例主要是去爬取网易云课堂上与Python相关的1200多门课程。如图所示。如果我们要在网易云上发布一门Python课程，那么就要对竞品进行分析。而要对竞品...