wsq__的博客

原创 运算符

赋值（复合）运算符 逻辑运算符 位运算符

原创 数据的处理

算术运算符 比较（关系）运算符

原创 数据的表示

数据类型 编写程序目的：解决现实生活中的问题 Python中必然有和他对应的数据类型 常见的数据类型： 数值类型：整数、浮点类型 字符串类型： 布尔类型：true/false 对象类型：包含多个 基础类型（数值、字符串…） 变量 变量：值是可以变化的 变量的类型：根据 值 来确定。和Java不一样，和JS是一样，弱类型查看变量的类型（type): type(变量) 命名规范 规则：必须遵守，不遵守解释不通过 （0） 字母、数字，特殊（_,$）字符组成 （1） 变量不能以数字开头 （2） 不能使用python

原创 python2.X与Python3.x版本介绍

原创 Python基础单词

error 错误 name 名字 defined 已经定义，default默认值 syntax 语法 invalid ⽆效 , valid 验证 Indentation 索引 unexpected 意外的，不期望的 character 字符 char line⾏ col 列 encoding 编码 declared 声明 details 细节，详细信息 ASCII 一种字符编码 ...

原创 Python 源程序的基本概念

1．Python源程序就是一个特殊格式的文本文件，可以使用任意文本编辑软件做Python的开发 2．Python的程序的文件扩展名通常是.py 文本文件：没有任何的格式 在window下，能够实用记事本打开的文件 Linux下，能够使用more/cat/less等命令打开的文件。 ...

原创 Python 的优缺点

原创 Python的特点

（1） Python是完全 面向对象的语言 函数、模块、数字、字符串都是对象，在Python中一切皆对象 完全支持继承、重载、多重继承 支持重载运算符，也支持泛型设计 （2） Python拥有一个强大的标准库 Python标准库提供了系统管理、网络通信、文本处理、数据库接口图形系统、XML 处理 等额外的功能 类似于MySQL：avg，sum （3） Python社区提供了大量的第三方模块 使用方式与标准库类似。它们的功能覆盖 科学计算、人工智能、机器学习、Web开发、数据库接口、图形系统 多个领域 ..

原创 解释器

高级语言的转换器 编译：将我们编写的语言 转成 计算机可以识别的 机器语言； 解释器有很多：Python解释器，JavaSeript解释器，Java解释器 编译器翻译的方式有两种： 一个是编译：提前翻译所有的内容 一个是解释：看一行，里面翻译一行 总结：代码要运行，必须进行转换（翻译），什么时候翻译； （1） 编译：提前转换好所有内容，直接运行 （2） 解释：转换一行，运行一行，再转换一行，再运行一行 解释性语言：Python,JavaSeript 编译性语言：Java,C,C++ ...

原创 模糊查询

聚合函数 Mysql系统提供了很多的函数 Count：统计个数，次数，null不统计 Max：最大值 Min：最小值 Sum：求和 Avg：平均值 Round：四舍五入 分组查询 group by Where：过滤；分组之前的过滤；对数据源进行过滤 Having：过滤；分组之后的过滤 Limit限制查询结果的条目数 ...

原创 条件查询、 模糊查询

关系运算符：=、！=、<>、>=、<= 区间：between A and B ->[A,B] And：并且，和 Or：或者 Is null：空 Not：否，非 Is not null：非空 In：在什么里面

原创 SQL关键字

Create：创建 Show：展示，查看 Database：数据库 Data：数据 Date：日期 Alter：修改 Table：表格，表 Drop：删除 Select：查询 Query：查询 Where：在条件，条件 Update：更新 Modify：修改 Delete：删除 Remove：移除，删除 Type：类型 Key：钥匙，键 Field：字段，列 Row：行，多少行 Col：列 ...

原创 表与表之间的关系

一对一 人与身份证的关系： 注意： （1） 一对一不存在数据冗余问题？可以不拆表吗？可以 （2） 什么场景需要拆分 用户信息+身份证 + …->表中的字段太多了 一对多 最常见的关系： 学生和成绩的关系：1个学生有多个成绩 部门和员工的关系：1个部门有多个员工 这种关系怎么去建立，怎么去表达 在“多”的一方，存储“一”的主键ID 在成绩表中存储用户的ID 在员工表中存储部门的ID 建表：使用主外键实现。 多对多 常见的案例： 老师与学生的关系：一个老师对应多个学生，一个学生对应多位老师 用户与商品的关

原创 数据的完整性

什么是数据的完整性 作用：保证 用户的输入的数据 保存到数据库 是正确的 比如： 年龄，应该是数字 学号：应该是不重复的 成绩：不能为空 怎么去保证数据的完整性：添加约束 完整性约束分类： 实体（记录）完整性 域完整性 引用完整性 实体的完整性（行） 实体（entity）：就是表中一行的（记录）数据 实体完整性：标识 每一条数据不重复 约束类型（通过什么方式解决这个问题） 主键约束（primary key） 不能为空，不重复 唯一约束（unique） 不重复，可以为空 自增长列（auto_increment

原创 SQL语句

数据库的概念 MySQL：数据库软件 数据库：在软件里面创建多个数据库（逻辑、文件夹） 表：在数据库中，可以创建多个表 数据：数据必须存储在表中。 SQL语句分类 DQL查询语言 对表中 数据 的查询 DM（manager）L操作语言 对表中 数据 的操作 添加数据、删除数据、更新数据、查询数据（DQL） 对excel中的数据进行处理 DDL定义语言 对数据库（database）、表（table）结构的定义 创建数据库、删除、修改 创建表、删除、修改 创建一个excel文件 DCL权限控制 对用户的权限的管

原创 数据库的分类

关系型数据库（RDBMS：relative database manager system） 特点： （1） 表与表之间有关系 （2） 有行有列（和excel类似） （3） 是通过SQL语句去操作数据库。 比较有名代表： Mysql：免费，开源。 Oracle：甲骨文，收费，大型公司，一年费用9位数 SQL Server:微软公司，可以安装Windows DB2 非关系型数据库（no-sql） 特点： （1） 表与表之间没有关系 （2） 通过API（Java、PHP、Python代码）去操作 （3） 充分使

原创 mysql

原创 Hadoop生态系统

（1） HDFS是在最底层，YARN（MapReduce）和HBASE都依赖于HDFS。 （2） Hive、pig、Oozie都是一些额外的工具；hive将SQL语句转化成MapReduce程序；Oozie是任务调度，假设有10个任务，每个任务什么时候运行，由它帮我处理好。 （3） HBASE是分布式的数据库，他也是依赖HDFS的，HBase的数据本质是存放在HDFS上。 （4） sqoop（Sql和Hadoop2个单词的组成），复杂从关系型数据库中采集数据到HDFS中。 （5） flume的功能和sqo.

原创 Hadoop框架介绍

定义 是一个框架，对于大数据来讲，按照功能来划分：存储和分析。 Hadoop有多个模块，既可以解决存储问题，也可以解决分析问题。 官网：https://hadoop.apache.org/ 模块 • Hadoop Common: The common utilities that support the other Hadoop modules. 为其他模块提供支撑，工具模块，基础模块。 • Hadoop Distributed File System (HDFS™): A distributed file

原创 Hadoop数据类型

系统数据类型 Hadoop他有自己的一套数据类型，该数据类型实在原有的Java的基础上进行封装，功能比之前的更加强大。 LongWritable IntWritable XXXWritable ->xxx 使用get方法获取 XXX -> XXXWritable 使用set方法获取 文本Text:长的字符串。 Text –>String : toString(); String ->Text : set（） 自定义数据类型 （1）创建一个类，实现WritableCompar

原创 分布式文件系统

Google三大论文 虽然Google没有公布这三个的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法的基础！ Google FS （1）2003年，Google File System论文：分布式文件系统。 Hadoop HDFS是一样的 （2）运行于廉价的普通硬件上，提供容错功能。从根本上说：文件被分割成很多块，使用冗余的方式储存于商用机器集群上。 （3）集群由一个master和多个chunkServer HDFS （4）将大文件拆分成固定大小的小文件（128MB） （5）为了避免

原创 数据的表示

数据类型 计算机程序就是解决现实世界的各种问题，而现实世界的数据显然是有类型的，故计算机程序必然有对应的数据类型。 年龄（整数 int） 是否已婚（是/否 boolean 布尔） 专业名称（大数据 String 字符串） Java中的类型 int float double boolean String byte 常量:在程序运行期间之不可改变的量 12 （十进制） 012 （八进制） 0x45（十六进制） 符号常量 就是给常量区一个有意义的符号（名字） 作用： （1）有意义的符号能够表达更清晰的含义 （2