₍˄·͈༝·͈˄*₎◞ ̑̑的博客

由于Hadoop不直接支持Windows系统，因此，需要修改一些配置才能运行。进到目录：E:\hadoop-3.4.0\etc\hadoop。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。修改：mapred-site.xml。修改：hadoop-env.cmd。修改：hdfs-site.xml。修改：yarn-site.xml。修改：core-sit.xml。

Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop项目的两大核心之一，是针对谷歌文件系统（Google File System，GFS）的开源实现。兼容廉价的硬件设备。流数据读写。大数据集。简单的文件模型。强大的跨平台兼容性。

该项目是基于Python爬虫的淘宝服装数据分析项目，以致于帮助商家了解当前服装市场的需求，制定更加精确的营销策略。首先，需要爬取淘宝中关于服装的大量数据，然后对数据进行处理和分析，比如处理重复值，提取关键信息，统计分析等等，最后，通过Echarts将处理后的数据进行可视化展示，可以更为直观的看到服装市场的趋势和变化。代码分析导入模块代码首先从主函数进入，传入三个参数，运行TaobaoCrawler爬虫类初始化方法 _init：方法 create_images_folder： 检查并创建存储图片的

Figma是一款全平台可使用的使用软件，和Sketch功能差不多；但是他可以在Mac，Windows PC，Linux计算机甚至Chromebook，目前iPad也可以使用。不再受系统的限制，只要你可以打开网页，理论上基本可以使用这款工具它不需要使用苹果笔记本电脑也能使用它储存文件不需要占用本地内存它可以将你的设计以一个链接的形式分享给所有人。

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它是JavaScript的子集，易于人阅读和编写。JSON用来存储和交换文本信息，比xml更小/更快/更易解析，易于读写，占用带宽小，网络传输速度快的特性，适用于数据量大，不要求保留原有类型的情况。。前端和后端进行数据交互，其实就是JS和Python进行数据交互！dump：存入的实例对象object（序列化）dumps：存入的JSON的字符串数据load：读取的实例对象object（反序列化）

Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。GadFlymSQLMySQLPostgreSQLInformixInterbaseOracleSybase不同的数据库你需要下载不同的DB API模块，例如你需要访问Oracle数据库和Mysql数据，你需要下载Oracle和MySQL数据库模块。

Scrapy是一个用于抓取网站和提取结构化数据的应用程序框架，可用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。尽管 Scrapy 最初是为网络抓取设计的，但它也可以用于使用 API（如Amazon Associates Web Services）提取数据，或用作通用网络爬虫。使用扩展 CSS 选择器和 XPath 表达式，以及使用正则表达式进行提取的帮助器方法，内置支持从 HTML/XML 源中选择和提取数据。

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；group(num=0) |匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。匹配成功 re.match 方法返回一个匹配的对象，否则返回 None。匹配成功re.search方法返回一个匹配的对象，否则返回None。

​。

Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑里头形成一个基本的面向对象的概念，这样有助于你更容易的学习Python的面向对象编程。接下来我们先来简单的了解下面向对象的一些基本特征。特征概念类(Class)用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。

os模块

函数+文件IO流

迭代器跟日期

字典+集合

序列是 Python 中最基本的数据结构。列表都可以进行的操作包括索引，切片，加，乘，检查成员。创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可。

在Python中，对象是数据的抽象表示，而引用则是指向对象的指针。Python中的所有事物都是对象，包括数字、、函数等等。引用是Python中的一种数据类型，它存储了对象的地址。当我们使用变量来存储对象时，实际上是将对象的地址存储在变量中，这个变量就是一个引用。a = 666在这个例子中，我们定义了一个变量a，并将其赋值为整数666。实际上，a是一个引用，它存储了整数对象666的地址。现在我们定义了另一个变量b，并将其赋值为变量a的值。由于a存储的是整数对象666的地址，因此b也存储了这个地址。

在 python 用 import 或者 from…import 来导入相应的模块。

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。这意味着Python支持面向对象的风格或代码封装在对象的编程技术。