xiaohu21的博客

Hive HQL面试题(窗口函数over)（二）1. 数据准备1文本文件a,2020-02-10,600a,2020-03-01,200a,2020-03-02,300a,2020-03-03,200a,2020-03-04,400a,2020-03-05,600a,2020-02-05,200a,2020-02-06,300a,2020-02-07,200a,2020-02-08,400b,2020-02-05,200b,2020-02-06,300b,2020-02-0

HQL面试题（一）1. 数据准备gz.txt 用户工资组成表用户id（uid）, 基本工资（jb） 奖金（jj） 提成（tc） 部门编号（ deptno）1,2000,3000,1500,12,5000,500,1000,23,1500,1000,3000,24,3000,6000,8000,35,1500,2000,1800,16,2500,1000,1900,1bm.txt 部门表1,销售2,技术3,行政yg.txt 员工信息表

Hive常见属性配置总结1.概述和其他所有框架一样，hive的配置信息也是划分层级的，就近原则如果是使用java api进行操作，则代码中配置优先级最高，然后是java项目中配置文件，然后是hive安装目录中的配置文件如果是shell 客户端进行操作，则hive指令中参数优先级最高，然后是shell客户端启动时的配置信息，然后是hive安装目录中配置。2. 具体配置Hive数据仓库位置配置Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路

Hive 启动总结1. 背景作为传统的服务器端程序，hive具备多种启动方式java api（jdbc）、shell客户端、web页面jdbchttps://mvnrepository.com/search?q=hive-jdbcshell 客户端就是本身做讲解的连接方式web页面http://linux100:10002/2. 启动方式2.1 环境准备hive安装 安装hdfs环境 安装hdfsyarn环境 安装yarnmysql环境安装mys

大数据处理技术之Hive 概览1. 大数据架构如我另一篇博客了所述，大数据处理技术架构和业务应用，大数据业务和技术架构简图如下：整个大数据技术可以分为3大块，数据存储、数据处理和分析、数据展示。三大板块都可以独立和业务系统对接，但一般这三者都会形成一个技术体系对外部的技术体系提供服务。例如一家公司内部的大数据部门负责存储从业务体系中获取到的海量数据如日志、业务数据等等，然后通过mapreduce、hive、spark、flink等技术进行分析处理，之后再通过OLAP对外进行数据展示或者提供对外A

MapReduce 程序在Yarn上执行流程图1.Yarnyarn作为一个资源调度和任务监控平台，上面可以运行各种程序。包括mapreduce、spark、hive、flink等等yarn出现后，也相对缓和了各个大数据分析引擎之间的竞争，都在开发yarn版本。也就是资源调度和任务监控让yarn去处理，各个数据引擎就专注于数据分析即可。2.mapreduce程序在yarn的运行流程整体流程以图片形式展示如果想要了解mapreduce程序如何在yarn上运行，请查看我的另外一篇博客。mapr

Hadoop 3.2.1Yarn虚拟机集群启动配置主要配置2个文件1.yarn-site.xml这个文件位置在hadoop安装目录的etc下，我的目录如下/opt/apps/hadoop-3.2.1/etc/hadoop<!-- resource,manager主节点所在机器 --><property><name>yarn.resourcemanager.hostname</name><value>doit01</value