Mr.Sheep的博客

原创 maven依赖

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...

原创 Hadoop面试基础

Hadoop生态系统HDFS写入NameNode工作机制DataNode工作机制HDFS文件块大小

原创 HDFS的读写流程

HDFS读流程：客户端访问NameNode获得文件数据块位置列表；就近选择一个数据节点，建立输入流；DataNode从数据节点读到客户端；当数据块读取完毕时，关闭连接，连接下一个最近数据节点；当数据读取完毕，关闭连接，结束；# 详细理解首先 Client 通过 File System 的 Open 函数打开文件，Distributed File System 用 RPC调用 Na...

原创 HBase安装和基本使用

HBase安装和基本使用安装前的规划集群中机器名：master、slave1、slave2单机方式安装注意：单机方式安装时若安装所在的机器上有已经启动的zookeeper，要将其关闭，因为HBase内部会启动一个单机版的zookeeper，一般两者都使用2181端口，可能会造成端口冲突。 配置JAVA_HOME进入到Hbase的安装路径下的conf目录，在hbase-env.sh文件...

原创 hive排序和随机

6.排序order by 全局排序sort by 保证reduce中的数据有序 但不一定全局有序 asc正序 desc倒序distribute by 从map段指定hash算法到reduce端按照指定字段分发数据cluster by （不能指定舒徐规则，只能用正序） == disteribute by + sort by asc7.随机---随机抽样select * from ta...

原创 hive的复杂数据类型

文章目录4.复杂数据类型4.1 array4.2 map4.3 sturct4.4 补充：嵌套4.复杂数据类型4.1 array创建create table if not exists tablename(id int,name string,news array<string>)row format delimited fields terminated by ' 'c...

原创 hive分桶

文章目录5.分桶5.1建表语句5.2属性5.3添加数据5.4查询5.分桶分桶意义–1.提高查询效率。使用链接查询的两个字段进行过分桶。–2.提高抽样效率–分桶关键字：bucket5.1建表语句怎么知道对那个字段分桶？？分几个桶？？create table if not exists tablename(id int,name string,sex string)#对性别分两个桶...

原创 hive与分区

1.创建及添加数据#创建外部表create external table if not exists tablename(id bigint,name string,age int) #分区partitioned by (sex string,class string) #文件格式row format delimited fields terminated by ' ' #上传数据...

原创 Hive基础语句

–查看所有库show databases;– 使用库use log;–查看所有表show tables;–创建库–语法create database [if not exists] databaseName [comment '注释'];create database if not exists log;create database if not exists logtemp...

原创 Hive的面试题

1.什么是hive？hive 数据仓库工具Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用编程语言开发MapReduce那么麻烦。Hive就是我们所说的使用传统的sql来分析海量数据的工具hive就是一个翻译器，将传统的sql转化成mapreduce...

原创 hive的安装

hive的安装1.解压tar –xzvf apache-hive-1.1.0-bin.tar.gz2.配置环境vim /etc/profileexport HIVE_HOME=/home/bigdata/hiveexport PATH=$PATH:$HIVE_HOME/bin:3.hive配置文件cd /home/bigdata/hive/confmv hive-defaul...

原创 centOS卸载及安装包安装MySQL

centOS卸载及安装包安装MySQL1.卸载MySQL#查看关于mysql的有关依赖rpm -qa | grep mysql#删除依赖rpm -e -nodeps mysql....版本2.安装MySQL#安装语句（服务器端、客户端）rpm -ivh Mysql......(压缩包）3.启动服务service mysql start#查看MySQL版本mysql -V...

转载 zookeeper选举机制

理解zookeeper选举机制原文转自：https://www.cnblogs.com/ASPNET2008/p/6421571.html https://blog.youkuaiyun.com/cnh294141800/article/details/52959028/ http://blog.itpub.net/30109892/viewspace-2089610/一、zookeepe...

原创 zookeeper集群搭建流程

1.上传压缩包压缩包放置home/bigdata目录下解压命名为zookeeper2.配置环境变量export ZK_HOME=/home/bigdata/zookeeperexport PATH=$PATH:$ZK_HOME/bin:$ZK_HOME/conf:使环境变量生效source /etc/profile发送给另外两台机器scp /etc/profile 机器名1:/...

原创 centOS6.5克隆需要改的文件

第一部分的删除第二部分的NAME改为与ens文件的相同

原创 centOS安装类型选择

Desktop ：基本的桌面系统，包括常用的桌面软件，如文档查看工具。Minimal Desktop：基本的桌面系统，包含的软件更少。Minimal：基本的系统，不含有任何可选的软件包。Basic Server ：安装的基本系统的平台支持，不包含桌面。Database Server：基本系统平台，加上MySQL和PostgreSQL数据库，无桌面。Web Server：基本系统平台，加上...

原创 CentOS7关闭防火墙

https://www.cnblogs.com/shizhijie/p/8005727.html查看防火墙的状态的命令为：sudo systemctl status firewalld。打开防火墙的方式有两种，一种是打开后重启会恢复回原来的状态，命令为：sudo systemctl start firewalld；另一种是打开后重启不会恢复到原来的状态，命令为：sudo systemctl...

原创 Hadoop 配置集群的步骤

Hadoop 配置集群的步骤1.创建虚拟机2.ping通IP地址3.上传hadoop jdk4.修改环境变量5.ssh免密6.传给另外几台虚拟机7.传送环境变量文件8.格式化集群9.启动集群10.查看节点（关闭）...

原创 hadoop中配置的六个文件

文件一：hadoop-env.shexport JAVA_HOME=/home/bigdata/jdk文件二：core-site.xml<property><name>fs.defaultFS</name><value>hdfs://主机:8020</value></property><property&...

原创 Hadoop介绍

Hadoop基础介绍云计算云计算是对现有资源集中优化后，对客户提供服务，从现在的情况来看云计算真实的为大家提供了服务，比如：网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作...

原创 配置静态IP失败总结

文章目录配置静态IP失败总结1.基础配置2.IP无法显示问题3.各种IP不能ping通1.域名问题2.IP问题3.网络适配器问题4.忘记关IP分配4.能Ping通IP，不能Ping通外网1.网络管理问题2.防火墙问题3.网关问题自己配置静态IP的各种错误记录~希望能帮到别人配置静态IP失败总结Linux系统通用，部分写法不同，这里以CentOS7为例1.基础配置CentOS7可参考：ht...

原创 templates

templates​ Django自带的是DTL(Django Templates language)​ DTL模版是一种带有特殊语法的HTML文件。​渲染模版方式有两种方式1: render_to_string()找到模版，然后将模版编译后渲染成Python的字符串格式。最后再通过HttpResource类包装成一个HttpResponse对象返回from dja...

原创 pymysql的使用

我们在Python3.7.1中创建一个实例：import pymysql conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='*****',db='db_school',charset='utf8') # 创建游标 cur=conn.cursor() # 执行SQL，并返回收影响行数 ...

原创 mysql表操作-2

文章目录6.修改表：1）修改表名2）修改字段的数据类型3）修改字段名：4）增加字段5）删除字段6)更改表的存储引擎7)删除表的外键约束6.删除表7.表数据的操作一、增二、删三、改四、查6.修改表：1）修改表名表名可以在一个数据库中唯一的确定一张表。格式：ALTER TABLE 旧表名 RENAME 新表名;示例：mysql> ALTER TABLE student RENAME ...

原创 mysql表操作-1

文章目录数据库表的操作**1.登陆数据库系统**2.创建数据库**3.删除数据库：**4**.数据库存储引擎**5.创建表注意数据库的数据类型数值类型**字符串类型**CHAR 和 VARCHAR 类型TEXT 和 BLOB 类型**日期和时间类型**DATE、TIME 和 TEAR 类型复合类型ENUM 类型SET 类型1）创建表的形式：2）设置表的主键在创建表时设置主键约束在创建表时设置复合主...

原创 mysql的安装

mysql数据库的安装参考链接： https://www.cnblogs.com/xsmile/p/7753984.html1.下载官网下载地址1：https://dev.mysql.com/downloads/mysql/官网下载地址2， https://downloads.mysql.com/archives/community/2.拉到网页下面，选择 Windows (x86, 6...

原创 django返回及保持登陆

文章目录1. 视图及HttpRequest 和HttpResponse1.1 HttpRequest1.2 HttpResponse2. Cookies 和Session2.1 Cookies2.2 Session1. 视图及HttpRequest 和HttpResponseDjango中的视图主要用来接受Web请求，并做出响应。视图的本质就是一个Python中的函数视图的响应分为两大类...

原创 models 进阶

文章目录1.models基本操作2. 模块关联关系3. Model连表结构4.F和Q5.models的Manager1.models基本操作django中遵循 Code Frist 的原则，即：根据代码中定义的类来自动生成数据库表。对于ORM框架里： 我们写的类表示数据库的表 如果根据这个类创建的对象是数据库表里的一行数据 那么对象.属性（对象.id 对象.value）就是每一行里的数...

原创 models初级

文章目录1. models 定义属性2. 常用字段选项3. models基本操作增删改查1.models基本操作2. 模块关联关系3. Model连表结构4.F和Q5.models的Manager1. models 定义属性概述 django根据属性的类型确定以下信息 ·当前选择的数据库支持字段的类型 ·渲染管理表单时使用的默认html控件 ·在管理站点最低限度的验证djang...

原创 hello django

文章目录一 hello django创建虚拟环境**(virtualenv 和virtualenvwrapper)退出:deactivate安装django创建一个Django项目测试服务器的启动练习：1. URL2. 反向解析3. 模板一 hello django创建虚拟环境**(virtualenv 和virtualenvwrapper)1.1, virtualenv的概述virt...

原创 超好理解的‘三次握手’和‘四次挥手’

三次握手四次挥手流程2.1三次握手1.客户端发送SYN（seq=x)报交给服务器端，进入SYN_SEND状态2.服务器端收到SYN报文，会因一个SYN（seq=y）+ACK（x+）报文，进入SYN_RECV状态；3.客户端收到服务器端的SYN报文，回应一个ACK（y+1）报文，进入Established状态三次握手完成后，成功建立连接，可以开始传输数据2.2四次挥手1.某...

原创 GIL(全局解释器锁)一看就懂的解释！

今天提起GIL突然有点懵，于是小白搜遍了全网想深入了解下，硬是越看越懵，解释的真的难咽，所以个人整理了一下，希望大佬们有好的解释和用法，分享下！GILGIL（Global Interpreter Lock）全局解释器锁**注意：**GIL并不是Python语言的特性，它是在现实Python解释器时引用的一个概念。首先从官方概念来看：In CPython, the global int...

转载 python最全面试题！

Python基础篇1：为什么学习Python家里有在这个IT圈子里面，也想让我接触这个圈子，然后给我建议学的Python，然后自己通过百度和向有学过Python的同学了解了Python，Python这门语言，入门比较简单，它简单易学，生态圈比较强大，涉及的地方比较多，特别是在人工智能，和数据分析这方面。在未来我觉得是往自动化，人工智能这方面发展的，所以学习了Python2：通过什么途...

原创 python最强基础整理图！可设电脑桌面背景！

原创 Linux操作指令

文章目录Linux系统**1.Linux简介****1 Linux的发展历史****2 Linux与Windows的不同****3 Linux学习的系统版本的选择**2.文件和目录操作的基本指令**1. pwd (Print woring directory)****2. cd （Change Directory）****3. ls****4. tree****5. mkdir****6.t...

原创 python进程线程-21

文章目录2.线程进程1.多种任务介绍2.进程3.线程线程的工作方式进程与线程的区别4.多线程-共享全局变量4.1多线程可能遇到的问题·**4.2互斥锁**2.线程进程1.多种任务介绍1.现实中的多任务：看着番吃着饭2.计算机中的多任务：计算机中的多任务是指操作系统同时完成多项任务的处理。此处，同时是指同一个时间段内，而非某个瞬间时间点。多任务处理是指，用户在同一时间段内运行多个应用程序，...

原创 python网络编程理念-20

文章目录1.网络编程**1.引子****2.软件的开发架构****3.网络编程的定义****4.IP地址分类****3.1 A类IP地址**3.2 B类IP地址**3.3 C类IP地址**3.4 D类地址用于多点广播3.5 E类IP地址3.6 私有ip**3.7 回路地址**5.网络通信过程5.1 2台电脑的网络说明5.2. 使用集线器组成一个网络说明5.3. 使用交换机组成一个网络说明5.4. ...

原创 python正则-19

菜鸟更加详细：https://www.runoob.com/python3/python3-reg-expressions.html文章目录正则表达式匹配字符表正则表达式基础基础函数单字符匹配规则正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 P...

原创 python装饰器-18

文章目录3.装饰器装饰器的几种形式万能装饰器函数被多个装饰器所装饰3.装饰器装饰器存在的意义不影响原有函数功能可以添加新功能一般常见的，比如拿到第三方的API接口，第三方不允许修改这个接口。这个时候装饰器就派上了用场。装饰器本身也是一个函数，作用是为现有存在的函数，在不改变函数的基础上，增加一些功能进行装饰。它是以闭包的形式去实现的。在使用装饰器函数时，在被装饰器的函数前一行，...

原创 python面向对象第二部分-17

文章目录静态方法 和 类方法1.静态方法2.类方法property类self`__new__`方法`__call__`方法静态方法 和 类方法1.静态方法import timeclass TimeTest(object): def __init__(self, hour, minute, second): self.hour = hour self....