weixin_44847293的博客

①在Hive元数据存储的Mysql数据库中，执行以下SQL：#修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;#修改表注释字符集alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;#修改分区参数，支持分区建用中文表示alter table PARTITION

(返回hive笔记)[https://blog.youkuaiyun.com/weixin_44847293/article/details/109897984]HQL-DDL命令参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDLDDL（data definition language）： 主要的命令有CREATE、ALTER、DROP等。DDL主要是用在定义、修改数据库对象的结构 或 数据类型。第 1 节 数据库操作

函数Hive内置函数官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inFunctions第 1 节 系统内置函数查看系统函数-- 查看系统自带函数 show functions; -- 显示自带函数的用法 desc function upper; desc function extended upper; 日期函数【重要】-- 当前前日期

第 1 节 Metastore在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby

第三部分 数据类型与文件格式Hive支持关系型数据库的绝大多数基本数据类型，同时也支持4种集合数据类型。第 1 节 基本数据类型及转换Hive类似和java语言中一样，会支持多种不同长度的整型和浮点类型数据，同时也支持布尔类型、字符串类型，时间戳数据类型以及二进制数组数据类型等。详细信息见下表：大类类型Integers(整型)TINYINT – 1字节的有符号整数SAMLINT – 2字节的有符号整数INT – 4字节的有符号整数BIGINT – 8字节的有符号整数

第 1 节 Hive安装配置介绍Hive官网：http://hive.apache.org下载网址：http://archive.apache.org/dist/hive/文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual安装前提：3台虚拟机，安装了Hadoop安装软件：Hive(2.3.7) + MySQL (5.7.26)备注：Hive的元数据默认存储在自带的 derby 数据库中，生产中多采用MySQL

一 架构优化1.1 执行引擎hive执行引擎： MapReduce、Tez、Spark、Flink在hive-site.xml中hive.execution.engine属性控制1.2 优化器与关系型数据库类似，Hive会在真正执行计算之前，生成和优化逻辑执行计划与物理执行计划Hive有两种优化器：Vectorize(向量化优化器)Cost-Based Optimization (CBO 成本优化器)1.2.1 矢量化查询执行矢量化查询(要求执行引擎为Tez)执行通过一次批量执

需要软件CentOS-7-x86_64-DVD-1810.iso1 VMware虚拟机环境创建1.1 创建虚拟机然后点击’开启此虚拟机’选择install centos 7 回车即可选择英文选择date&Time选择亚洲上海，后点击Done选择INSTALLATION DESTINATION 设置目录结构选择I will configure partitioning自定义分区选择+ 添加分区 后选择 Add mount point添加 .

第1章数仓之ClouderaManager1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 服务器准备1.2.1 SSH免密登录配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的，所以这里不需要配

学习中… …模板路径D:\software\ERwin Data Modeler r7.3\MetaIntegration\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel\Standard-Blank.xlsx模板对应内容1 Model / Catalog1.1 Name解释：model名字查看：1.2 Type解释：…的类型查看：model根目录右键 -> properties -> udp2 Package未.

第 1 节 Impala的组件Impala是⼀个分布式，⼤规模并⾏处理(MPP)数据库引擎，它包括多个进程。Impala与Hive类似不是数 据库⽽是数据分析⼯具；#在linux123执⾏ps -ef | grep impala#结果impala 29212 1 0 Jul02 ? 00:01:06/usr/lib/impala/sbin/statestored -log_dir=/var/log/impala -state_store_port=24000impala 29249 1 0 J

Hive概述Hive安装与配置数据类型与文件格式HQL操作之 – DDL命令HQL操作之–数据操作HQL操作之–DQL命令【重点】函数HQL操作之–DML命令元数据管理与存储Hive调优策略Hive案例个人总结hive命令...

1、什么是Hadoop2、Apache Hadoop的重要组成3、Apache Hadoop 完全分布式集群搭建完全分布式集群搭建4、HDFS分布式文件系统5、MapReduce编程框架6、YARN资源调度7、Hadoop 3.x新特性概述

软件和操作系统版本Hadoop框架是采⽤Java语⾔编写，需要java环境（jvm）JDK版本：JDK8版本集群：知识点学习：统⼀使⽤vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7项⽬阶段：统⼀使⽤云服务器，5台云服务器节点Hadoop搭建方式单机模式：单节点模式，⾮集群，⽣产不会使⽤这种⽅式单机伪分布式模式：单节点，多线程模拟集群的效果，⽣产不会使⽤这种⽅式完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（⽣产环境建议使⽤这种⽅式）.

本篇为云主机配置网络静态IP配置– 暂时不需要配置vi /etc/sysconfig/network-scripts/ifcfg-eth0# ONBOOT改为yes开启⾃动启⽤⽹络连接# BOOTPROTO改为静态static# IPADDR改为你⾃⼰设置的ip (ip可以通过命令 ip addr来获得)# GATEWAY设置⽹关# 设置DNS1作为主DNS，也可以加个DNS2作为备⽤。# 常⻅的DNS1=8.8.8.8 DNS2=8.8.4.4配置hostname与IP映射## h

2.1 集群准备2.1.1 安装Hadoop,HiveImpala的安装需要提前装好Hadoop，Hive这两个框架，hive需要在所有的Impala安装的节点上⾯都要有，因为Impala需要引⽤Hive的依赖包hadoop的框架需要⽀持C程序访问接⼝，查看下图，如果有该路径有.so结尾⽂件，就证明⽀持C 接⼝。2.1.2 准备Impala的所有依赖包Cloudera公司对于Impala的安装只提供了rpm包没有提供tar包；所以我们选择使⽤Cloudera的rpm包 进⾏Imp

1.1 Impala是什么Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala 速度快)，Impala是参照⾕歌的新三篇论文当中的Dremel实现而来，其中旧三篇论⽂分别是 （BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。Impala最⼤卖点和最⼤特点就是快速，Impala中⽂翻译是⾼⻆羚⽺。1.2 Impala优势回顾前⾯⼤数据课程路线其实就是⼀个⼤数据从业者

主要内容第 1 部分 Impala概述（Impala是什么，优势，劣势，与Hive对⽐）第 2 部分 Impala的安装(制作本地Yum源⽅式安装)第 3 部分 Impala的架构原理(有哪些组件，组件的作⽤，查询流程，查询计划)第 4 部分 Impala的使⽤（使⽤与Hive类似，编写sql⽅式；Impala的DDL,查询语法，导⼊数据）第 5 部分 Impala的Java 开发(Java+C++,使⽤JDBC⽅式查询Impala)第 6 部分 Impala的优化(负载均衡，Impala中的J

01- hadoop02-hive03-hue04-flume05-sqoop

Flume概述flume概述笔记Flume安装部署flume安装

安装部署Flume官网地址：http://flume.apache.org/文档查看地址：http://flume.apache.org/FlumeUserGuide.html下载地址：http://archive.apache.org/dist/flume/ 选择的版本 1.9.0安装步骤：1、下载软件 apache-flume-1.9.0-bin.tar.gz，并上传到 linux123 上的 /opt/lagou/software 目录下2、解压 apache-flume-1.9.0-

typora-copy-images-to: flume_typora数据采集工具 – FlumeFlume概述1、概述(什么是、体系结构、拓扑结构、内部原理)2、安装配置3、应用(基础、高级)无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。Flume的定义Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发.

Docker介绍和使⽤场景官⽹：https://www.docker.com/get-started介绍百科:⼀个开源的应⽤容器引擎，让开发者可以打包他们 的应⽤以及依赖包到⼀个可移植的容器中，然后发布到 任何流⾏的 Linux 机器上，也可以实现虚拟化。容器是完全使⽤沙箱机制，相互之间不会有任何接⼝， 使⽤go语⾔编写，在LCX（linux容器）基础上进⾏的封 装简单来说：就是可以快速部署启动应⽤实现虚拟化，完整资源隔离 ⼀次编写，四处运⾏但有⼀定的限制，⽐如Docker是基

typora-root-url: sentinel_TyporaSentinel：分布式系统的流量防卫兵阿里巴巴 开源技术介绍：随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel 具有以下特征:丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不.

hive相关命令1.hive -helphive -e: 不进入hive交互窗口，执行sql语句hive -e "select * users"hive -f: 执行脚本中sql语句# 创建文件hqlfile1.sql，内容：select * from users# 执行文件中的SQL语句hive -f hqlfile1.sql# 执行文件中的SQL语句，将结果写入文件hive -f hqlfile1.sql >> result1.log2.进入退出hive命

本地库安装Git后，在资源管理器的空白处，单击鼠标右键打开窗口，点击Git Bash Here，打开Git命令行窗口， 在窗口中可直接使用Linux命令操作初始化Git本地库git init设置签名信息项目级别/仓库级别：仅在当前目录的本地Git仓库范围内有效git config user.name wangbr_progit config user.email wangbr888@163.com# 签名信息保存位置： ./.git/config 文件中系统用户级别：登录当

git第一章 学习版本控制的原因1.1 没有版本控制出现的问题1.2 版本控制的简介1.3 版本控制工具第二章 Git 和 Svn 比较2.1 SVN介绍2.1.1 SVN简介2.1.2 SVN基本交互流程图2.1.3 SVN缺点2.2 Git 介绍2.2.1 Git与Svn记录具体差异2.2.2 Git的优势是什么2.2.3 Git 历史发展第三章 Git 下载与安装3.1 Git 下载3.2 Git 安装3.3 Git 本地工作区域第四章 Git与代码托管平台4.1 Git 与 GitHub比较4.2

wx小程序笔记第三章：常用组件第一节：scroll-view组件view：scroll-view：设置横向滚动：设置竖向滚动：scrolltoupper和scrolltolower事件：bindscroll事件：第二节：swiper组件swiper组件基本用法：swiper常用属性：第三节：movable-view组件movable-view常用属性：第四节：icon组件第五节：text组件第六节：input组件type属性：cursor-spacing：confirm-type：自定义组件一、创建组件：二

Linux-2网络监控netstat：网络监控netstat：通常情况下用来查看系统当前的端口被哪些服务占用，用于解决软件因端口被占用而导致的启动失败。可以查看服务器当前都被哪个网络的用户登录。如果发现不认识的IP地址，可以终止它的访问。选项：选项含义a表示查看当前系统中所有的协议、状态的网络链接t表示tcp的协议包链接u表示udp的协议包链接n表示以端口的方式查看链接l表示仅查看监听的链接p查看网络链接的是哪个PID的程序在使用

LinuxCentOS系统初始化系统初始化：如何把服务器的IP地址静态化：将网卡设置为开机自启：硬盘(了解)分区：在Linux系统中，硬盘的标识：关于分区的命令：命令相关提示和目录结构命令提示符解释：如何获取命令的帮助：目录结构：常见命令(非全部)与目录操作的相关命令：运行级别Linux的运行级别运行级别的切换：查看运行级别：如何进入单用户模式：运行级别的作用：修改默认的运行级别：用户、用户组的概念用户及UID用户信息存储位置CentOS系统初始化系统初始化：作为一个服务器，有一个必要的设置条件。

wx小程序笔记（14开始）wxml条件渲染（判断）（14开始）wxml条件渲染（判断）view标签中添加wx:if="{{condition}}"；wx:elif="{{condition}}"；wx:else属性其中elif相当else if()条件放在双大括号中{{condition}}，不放则条件永远为truewx:if='condition'两个属性标签中不可以有其他标签可以在条件标签内添加组件ex:<view wx:if="{{18>18}}">可

jQueryjQuery引入jQuery框架js对象和jq对象互相转换选择器基础选择器层级选择器过滤选择器内容选择器可见选择器属性选择器子元素选择器表单选择器创建和添加元素插入元素删除元素获取和修改元素的文本内容获取和修改元素的html内容获取和修改元素的css样式获取和修改元素的属性 attr = attribute(属性)jQuery什么jQuery：是一个js框架可以让程...

JavaScriptJavaScript语法数据类型变量声明和赋值类型介绍各种类型间的隐式转换运算符 `+ - * / % = == > < >= <= !=`语句 if else while do while for switch case方法和页面相关的方法String相关内容数学相关数组相关日期相关正则表达式两种隐藏元素的方式获取和修改元素的class事件取消...

CSSCSSCSS的引入方式：CSS选择器伪类选择器任意元素选择器颜色赋值方式背景图片盒子模型盒子模型之外边距day04CSSCascading Style Sheet：层叠样式表，用于美化页面的。CSS的引入方式：内联样式：在元素的style属性中添加样式代码，不能复用<h3 style="color: red">今天是星期一</h3> 内部样式...

课程介绍web前端HTML ：搭建页面结构和内容 （盖房子）CSS：美化页面 （装修）JavaScript： 给页面添加动态的效果和动态内容 (给房子添加交互功能)jQuery： 是JavaScript的框架，用于简化JavaScript代码HTMLHyperTextMarkLanguage: 超文本标记语言超文本： 不仅仅是纯文本，还包括字体信息和多媒体...

SpringMVC作用解决了View -> Controller和Controller -> View的细节问题，简化了开发。开发Spring MVC的项目1 创建项目，加载Spring创建Maven Project，通过Eclipse生成web.xml，添加Tomcat运行环境，添加spring-webmvc依赖，复制配置文件spring-mvc.xml。在web.xml...

MyBatisday01Spring MVC 的异常处理1 普通的异常处理方式有什么不足2 使用SimpleMappingExceptionResolver3 使用@ExceptionHandlerMyBatis1 基本概念2 基本使用2.1 添加依赖2.2 设定目标2.3 【开发】创建持久层Java代码2.4 【开发】创建持久层的映射2.5 【开发】配置MyBatis2.6 【开发】获取新增加的...

查看Markdown文档在Windows或Linux或Mac OS操作系统中，下载MarkdownPad或Typora，可以直接查看.md文档。其实.md文档的本质就是一个普通的文本文档，使用任何的文字编辑软件都可以打开，例如记事本，VI/VIM，Word，甚至Eclipse。设计模式之单例模式基本概念单例模式是一种生产对象型的设计模式。单例模式指的是某个类的对象在同一时间只允许存在１...

项目目录17. 用户-上传头像-持久层18. 用户-上传头像-业务层19. 用户-上传头像-控制器层附：使用Cookie20. 收货地址-增加-持久层21. 收货地址-增加-业务层22. 收货地址-增加-控制器层附：省市区的数据处理收货地址-列表-持久层收货地址-列表-业务层收货地址-列表-控制器层收货管理-设为默认-持久层收货地址-设为默认-业务层附：使用事务（Transaction）收货地址-...

项目目录32.主页-热销排行-持久层33.主页-热销排行-业务层34.主页-热销排行-控制器层35.购物车-加入购物车-持久层分析业务36.购物车-加入购物车-控制器层37.购物车-显示列表-持久层38.购物车-显示列表-业务层39.购物车-显示列表-控制器层40.购物车-增加数量-持久层41.购物车-增加数量-业务层42.购物车-增加数量-控制器43.确认订单-显示确认页-持久层44.确认订单-...