Hive

Hive的安装配置及原理 完美解决解压hive缺少hive-site.xml文件,和安全模式无法启动hive等问题 Hive原理 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工... 阅读详情
1   hadoop 的mapreduce是分布式的计算框架


2    由于hive是把sql翻译成mapreduce任务,那么

    1    解释器(解析sql),编译器(sql编译成mapreduce任务),优化器(优化完成后提交hadoop集群,job tracker)--》hive Driver

    
3    注意 hive只是针对类似表结构的数据
    如果源数据格式杂乱,则需要先mapreduce转换
    
4    表: 元数据 和 数据
        元数据:存在单独的关系型数据库里 metastore
        数据:一行行数据。存在hadoop集群的数据存在hdfs
              
5    hive在编译时,会hive转换成 QL操作符(最小单元,一个个Operator操作符),每一个QL 代表一个mapreduce作业或对HDFS的一个操作
    
6    hive难点:对词法语法的分析。词法语法分析工具 antlr (hql)

7    3中安装或启动模式,按照元数据存储来区分
    1    本地derby模式,默认derty数据库(hive自带),一般测试时用
    2    本地mysql
    3    远程mysql多用户模式。jdbc 连接远程数据库.由于会并发,所以hive在中间启了一个 hive server(MetaStoreServer) 来统一管理
    
8    hive主要用来解析sql的,单个机器就可以搞定,用不到集群。主要能连接上hadoop集群可以上传数据就行。也没必要做高可用

9   
    
    hive的本地derby安装

        hive安装在hadoop-node1上
        
        1 保证hadoop下 /home/hadoop-2.5.1/share/hadoop/yarn/lib 下 jline-2.12.jar版本替换为相同的最高版本
            4台都要换,把低版本删
          
        2   conf下
            hadoop dfsadmin -safemode leave 强制离开安全模式
            hadoop fs -rmr /user/hive/warehouse 删除hdfs上目录
   
    hive的本地mysql安装
    
        mysql安装在hadoop-node4上
        hive安装在hadoop-node1上
        
        mysql 配置文件 /etc/my.cnf 查看数据目录地址

  
    远端mysql 多用户安装
        mysql安装在hadoop-node4上
        hive安装在hadoop-node1上
      
        服务启动后,修改hadoop-node1 hive的配置(hive变为hadoop-node2 hive服务的客户端)
        启动mysql(hadoop-node4)
        启动启动hive元数据服务(hadoop-node2)
        启动hive(hadoop-node1)
        
10   hive存在hdfs上是 文本格式

11    DML
   
    在hive里 表里内容都是文本,不存在主键等,可以建
    
    CREATE TABLE person1
    (userid INT,name STRING,age INT,fav ARRAY<STRING>)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
     COLLECTION ITEMS TERMINATED BY ','
     STORED AS TEXTFILE;
    person1和person2 是组合表,无法用 truncate来清空
    例如 从 a表查出一部分数据再从B表查出一部分数据做关联join,再插入一张新表里,
    hive里有很多函数,我们可以任意转换我们查询到的数据
    随便写个sql就可以转换成mapreduce,工作量大大减轻
    insert update 很少用,因为数据量大,少几条数据不影响,没必要插入1条数据来跑reduce任务
    
12  hive分区

    旧数据和新区分开
    数据量大了我们可以每个月或每年做个分区,mapreduce中的padition分区,也是这个意思    
    
13    hive函数 和 自定义函数 UDF
    show functions; 符号也是一个函数
    UDF多进出一 聚合函数 UDAF 多条出一条 UDTF 一条出多条
14    hive 嵌入 python
    15的UDF 自定义函数过程非常复杂---》hive调用pytion
   
2、Hive:启动Hive Hive:启动Hive 阅读详情

相关推荐

[Hive]五、Hive 源码编译

G:\Bigdata\2.hive\大数据技术之Hive源码编译。

weixin_44428807的博客 1731

Hive 安装 以及使用 DataGrip 连接 Hive

Hive 安装 以及使用 DataGrip 连接 HiveHive 安装说明Hive 安装前的准备Hive 安装Hive 启动Hive 安装常见的问题 Hive 安装说明 ① 环境说明 Hadoop 环境已通过腾讯云服务器完成搭建,我是将 hive 安装到 该 hadoop 集群的某个节点了 Mysql 中间件使用的是阿里云的产品 ② 版本说明 Hadoop 2.7.5 +Hive 2.1.1 + Mysql 8.0.18 + Centos 7 + DataGrip 2021 Hive 安装前的准备 ① 搭

半吊子Kyle的博客 6859

hive 重启后台hive服务

停止hive [root@zjj101 conf]# jps 22353 NodeManager 90933 DataNode 22105 ResourceManager 90808 NameNode 41900 Jps 77644 RunJar [root@zjj101 conf]# kill -9 77644 [root@zjj101 conf]# 启动hive shell命令: [root@zjj101 conf]# nohup hive --service hiveserver2 &

张俊杰 的博客 9019

Hive和MySQL的部署、配置Hive元数据存储到MySQL、Hive服务的部署

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务来执行。Hive 定义了一种简单的类 SQL 查询语言,称为 HQL(Hive Query Language),它允许熟悉 SQL 的用户查询数据。

2301_78038072的博客 6771

【Hive】Mac安装Hive

一. 安装 hive安装:brew install hive mysql安装:brew install mysql 启动mysql:bash mysql.server start 二. 元数据库配置 Hive默认用derby作为元数据库。这里我们用mysql来存储元数据,下面作一些初始化配置 登录mysql:mysql -u root 创建数据库:create database metast...

藏经阁 | 玄苦 1214

hive安装

一、前提:二、安装步骤:1、上传jar包至/usr/local/soft2、解压并重命名3、配置环境变量三、配置HIVE文件1、配置hive-env.sh2、配置hive-site.xml3、配置日志4、修改默认配置文件5、上传MySQL连接jar包四、修改MySQL编码1、 编辑配置文件2、加入以下内容:3、 重启mysql五、初始化HIVE六、进入hive七、后续配置八、测试hivehive中的几种存储格式TextFile格式:文本格式RCFile:ORCFile:Parquet:安装hive所需要的虚

m0_64372793的博客 1329

Hive以及Hive安装部署

文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比2.HIVE的安装部署1.derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网访问5.退

望山。 2349

Hive on Spark and Spark sql on Hive

结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr,还可以运行在Spark和Tez。Spark可以连接多种数据源,然后使用SparkSQL来执行分布式计算。Hive On Spark 配置1、首先安装包要选择对,否则就没有开始了。Hive版本:apache-hive-...

代灿灿灿的博客 3227

从Hive on YARN到Hive on Spark

本实战通过配置 Hive 与 Spark 集成,分别基于 YARN(MapReduce)和 Spark 引擎执行词频统计任务,验证了 Hive on Spark 在查询性能上的显著优势,同时展示了 Hadoop、Hive 和 Spark 的协同部署与关键配置步骤。

howard2005的专栏 1779

Flink集成Hive之Hive Catalog与Hive Dialect

本文分享,将继续介绍Flink集成Hive的另外两个概念:Hive Catalog与Hive Dialect。本文包括以下内容,希望对你有所帮助。 什么是Hive Catalog 如何使用Hive Catalog 什么是Hive Dialect 如何使用Hive Dialect 什么是Hive Catalog 我们知道,Hive使用Hive Metastore(HMS)存储元数据信息,使用关系型数据库来持久化存储这些信息。所以,Flink集成Hive需要打通Hive的metastore,去管理Fl

微信搜:import_bigdata,大数据领域硬核原创作者 1694

FreeSWITCH编译安装详细文档

本文档详细介绍了在Ubuntu 22.04系统上从源码编译安装FreeSWITCH的完整流程。主要内容包括:1)系统环境准备和依赖库安装;2)关键依赖库spandsp和sofia-sip的编译安装;3)FreeSWITCH源码的特定版本(v1.6.0)编译配置,包括禁用SignalWire模块的配置方法;4)系统服务配置,包括创建专用用户、设置权限以及配置systemd服务文件。文档特别提供了版本控制说明,确保后期能切换到相同的版本环境,并附有详细的命令操作步骤和注意事项。

唯有代码让我痴狂 1371

【Hive】Hive安装

第二章 Hive安装第三章 DDL(Data Definition Language)数据定义第四章 DML(Data Manipulation Language)数据操作第五章 Hive查询第六章 Hive的基础知识第七章 Hive函数第八章 分区表和分桶表第九章 文件格式和压缩第十章 企业级调优附录:常见错误及解决方案。

weixin_44917201的博客 1400

不懂就学之挑战成为WorldQuant Brain顾问的第1天

WorldQuant Brain 是由 WorldQuant 公司开发的一个基于人工智能和机器学习的量化研究平台,旨在帮助量化研究员发现和构建有效的投资策略。WorldQuant 是一家全球领先的量化投资公司,专注于利用数据科学、技术和金融工程开发量化交易策略。

Yanbang1的博客 8395

hive on spark 还是 spark on hive?

在运行sql的时候,hive on spark 还是 spark on hive 到底是什么呢?它们是一个东西吗?区别是什么?

chashugu2022的博客 2289

自制电吉他效果器 DIY PCB(二)电路图分析

自制DIY电吉他效果器 PCB(二)电路图分析 要自制一款效果器,看懂电路图是必须的,即使你已经有了完整的设计电路图,在电路的绘制已久焊接的时候电路知识都会用到。 在效果器电路中,比较简单的是过载失真类效果器的电路。混响延迟等与声相有关的由于电路比较复杂本人也没有尝试过。其他的例如EQ、哇音等等效果器复杂程度依设计各不相同,在能做出过载失真类效果器后,可以自行尝试。 我这里主要为大家介绍失真效果器...

qq_41342525的博客 2万+

COMSOL后处理与可视化

公众号→【COMSOL仿真交流】←更多精彩内容 后处理是采用COMSOL建模的一个重要环节。通过软件自带的可视化工具,可以快速方便的展现仿真结果。 COMSOL为使用者提供了多种后处理工具,包括表面图、切面图、等值线图、流线图、线图、体图等等。可按功能分为数据集(储存数据的地方)、派生值和表单(对数据进行进一步的操作)、绘图组合绘图类型(显示数据结果的地方)、导出数据与生成报告。   如果想用origin、matlab对模拟数据做进一步的处理,导出excel格式的模拟结果,这可以通过“导出

midiio的博客 4028

Hive配置

hive配置

qq_51180928的博客 1373

Apollo EM Planner中路径-速度解耦优化的数学建模与仿真分析

摘要 Apollo EM Planner采用路径-速度解耦优化策略解决自动驾驶运动规划问题。该算法将时空轨迹规划分解为路径规划和速度规划两个子问题:首先在静态环境下生成几何最优路径,再优化沿路径的速度曲线。通过五次多项式表示路径和速度,构建包含平滑性、安全性、舒适性的多目标优化函数,并引入弹性模型处理动态障碍物约束。算法具有解耦优化、弹性适应、实时求解等特点,适用于高速公路、城市交叉口等多种场景。数学建模包括路径几何优化、速度动态优化和弹性势能函数,最终生成满足车辆动力学和环境约束的安全轨迹。

走向CTO的路上... 936

Hive 配置

我使用的hive版本是1.2.1,以下是默认的配置文件。 hive-env.sh 重命名hive-env.sh.template为hive-env.sh,修改如下信息: # Set HADOOP_HOME to point to a specific hadoop install directory # 设置Hadoop安装目录 export HADOOP_HOME=/opt/module/ha...

小杨的技术博客 2万+

Windows10环境下激活虚拟环境报错【source : 无法将“source”项识别为 cmdlet、函数、脚本文件或可运行程序的名称】

在使用Django创建Web程序前,需要创建一个虚拟的工作环境,在使用【source ll_env/bin/activate】命令激活虚拟环境时报错:source : 无法将“source”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径正确,然后再试一次。所在位置 行:1 字符: 2。

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 1万+

Kimodo 入门教程(一)英伟达开源人形机器人动捕数据集训练运动学动作扩散模型

Kimodo是一个基于700小时商用光学动作捕捉数据集训练的运动学动作扩散模型,能够生成高质量的人体和机器人3D动作。该模型支持通过文本提示和多种约束条件(如关键帧、末端执行器位置等)进行控制,并提供数字人类和类人机器人两种模型变体。安装方式包括软件包安装和源代码安装两种,需要配置HuggingFace令牌以访问文本编码器。推荐使用GPU加速,最低需要17GB显存。项目提供命令行生成和交互式演示两种使用方式,演示程序支持时间轴编辑和实时3D可视化。模型分为商用友好版和受限版,其中SMPL-X版本需要额外申请

2506_90492529的博客 1937

hive入门及dbeaver连接hive

hive入门以及dbeaver连接hive

zhangyujie12138的博客 5963

迟滞比较器原理及计算

为什么要用迟滞比较器 在讲迟滞比较器之前,我们先看一个案例。 在产品设计中常常需要用到电机,而电机在从运转到停止过程中需要泄放能量,这种能量大部分以电压的形式反馈回电源母线(Vbus)导致Vbus母线电压升高,特别是功率大又转速快的电机需要急刹时,产生的反馈电压更高,严重时可能导致母线上其他器件的损坏。 为了防止将电机反馈的能量泄放掉,我们需要设计一个电路来检测母线电压,当母线电压高于某一安全阈值时,打开MOSFET Q1将母线上的能量通过电阻R5以热的形式消耗掉。 假如用一般的比较器,设计如下: Vbu

sinat_15677011的博客 2万+

【HIVE】 hive 导入导出csv(全)

Hive 导入csv文件H 1、检查是否有hive-serde 包 1.1 进入hive lib目录 cd /usr/local/service/hive/lib 1.2 发现hive version 是2.1.1 ,查看是否添加了hive-serde-2.1.1.jar(我这里已经添加了,没添加的看后续1.3) ll hive-serde-2.1.1.jar 1.3 没添加的,直接下载,放到lib目录下 cd /usr/local/service/hive/lib...

Zsigner的博客 4263

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Hive学习(一)Hive安装

目录下载hive上传至虚拟机Hive安装及配置添加环境变量配置hive-env.sh文件配置hive-site.xml文件将mysql驱动移到hive/lib中!!!期间碰到的问题 下载hive hive地址:http://mirror.bit.edu.cn/apache/hive/ 上传至虚拟机 [root@master1 hive]# rz Hive安装及配置 解压apache-hive-1.2.1-bin.tar.gz并改名 [root@master1 hive]# mv apache-hiv

秘密的博客 3777

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: CDH
下一篇: java.util.concurrent 并发框架,异步执行器 Executor
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值