Alaskyed的博客

DBeaver 连接 Google BigQuery毕业设计要用到Google BigQuery, 但是想要用DBeaver进行远程连接(实在用不惯浏览器端的界面).结果发现DBeaver 真 的 可 以 !! DBeaver提供了Google BigQuery驱动, 可以直接连接!首先添加新的连接, 左边标签选择ALL, 然后再上面搜索框搜索 BigQuery, 选中下面的图标, 点击Next.登陆Google BigQuery, 然后进入想要连接的 Project 的仪表盘(Dashboar

Hvie函数详解-常见函数使用和自定义函数函数常用系统内置的函数nvl (空字段赋值)有时候我们查到的一些值是NULL, 但是有时候NULL不能准确的表达含义和参与运算(NULL与任何值运算都为NULL), 比如说工资的奖金这时我们可以使用nvl()函数, 在查询时将NULL值转换为一个默认值nvl(<可能为空的字段>, <自定义默认值>);举例 查询员工...

Hive(7) 高级查询这里会用到的表会用到的表概述学生表字段名类型备注stu_idstring学号stu_namestring姓名class_idint班级编号jobstring职位scoredouble得分add_scoredouble加分entrance_timestring入学时间age...

Hive(3) DML语句DML 数据操作语句导入数据直接从文件向表中导入数据(load data)load data [local] inpath <文件路径> [overwrite] into table <表名> [partition (<分区名> = <值>, ...)]说明local : 如果加上local, 就是本...

HIve(2) Hive的数据类型数据类型基本数据类型Hive数据类型对应Java数据类型长度(byte)举例tinyintbyte110smallintshort220intint430bigintlong850booleanboolean布尔true, falsefloatfloat单精度3.14...

Hive常见配置配置文件配置注意用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效仓库位置配置Default数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下在仓库目录下，没有对默认的数据库def...

Hive安装单节点安装在官网上下载Hive的安装包官网地址: http://hive.apache.org/把Hive的安装包上传到服务器中, 然后解压到指定文件(我这里解压到/opt/software/目录下tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/software/方便起见, 可以给Hive的根目录重命名一下mv ...

Hive介绍以及Hive架构详解概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能, 是一种大数据离线分析工具Hive的底层就是将类SQL语句转换成MapReduceHive提供了一系列的工具, 可以用来进行数据提取, 转化, 加载(ETL Extract-Transform-Load)Hive的特点优点操作接口采用类SQ...

今天在启动hive时出现了一个错误: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决方法如下:检查一下java的驱动jar包是否导入hive 的conf/ 目录下, 注意在官网上下载的mysql-connector-java-5.1.48.tar.gz 是个压缩包,...

Hadoop(12) Yarn和job提交源码解析文章目录Hadoop(12) Yarn和job提交源码解析Yarn基本架构架构图组件介绍ResourceManagerNodeManagerApplicationManagerContainerYarn工作机制Yarn流程图Yarn流程详解job提交的部分源码源码细节源码流程图示任务推测执行执行推测任务的前提条件不能启用推测执行机制情况推测执行...

Hadoop(11) MapReduce-4 分组和OutputFormat分组(GroupingComparable)GroupingComparable介绍GroupingComparable作用GroupingComparable是在Reduce阶段, 在数据进入Reducer之前, 对数据进行一个或几个字段的分组(默认是key相同的数据为同一组), 然后使数据分组次进入Red...

Hadoop(10) MapReduce-3 分区, 排序和合并分区(Partition)分区的介绍分区的作用之前我们介绍过, 每个分区对应一个ReduceTask, 如果所有MapTask的结果都由一个ReduceTask来汇总, 会很慢, 所以对MapTask的内容进行分区, 交由不同的ReduceTask来执行分区发生的时间在map()方法执行时, 会将文件写入一个临时缓存,...

Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat文章目录Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormatInputFormat切片和提交的过程InputFormat介绍FileInputFormat机制及其实现类FileInputFormat介绍源码中计算大小的公式FileInputForm...

Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程文章目录Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程MapReduce的详细流程MapReduce的流程整个MapReduce详细流程MapperReducerShuffle机制的流程MapReduce的详细流程MapReduce的流程I...

Hadoop(6) HDFS文章目录Hadoop(6) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成NameNode 可以理解为结群的主管DataNode 负责具体的任务执行Client 客户端配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上...

很多小伙伴在学习hadoop的时候,都是在window下进行开发的,但是这里需要注意一下,在window下开发MapReduce程序,在测试的时候,如果Hadoop的环境不是在Win下编译的环境有的小伙伴在自己下载hadoop并且搭建开发环境的时候,会发现明明已经配置好了hadoop的环境变量,但是在执行MapReduce程序的时候,还是会出现下面的错误:ERROR util.Shell: F...

Hadoop(7)MapReduce的介绍以及编程案例文章目录Hadoop(7) MapReduce的介绍以及编程案例MapReduce介绍MapReduce的特点优点缺点MapReduce 核心过程Map阶段Reduce阶段Hadoop序列化Hadoop序列化介绍Hadoop序列化特点Hadoop序列化类型对比MapReduce编程主要流程MapperReducerDriverMapRe...

Hadoop(六)HDFS文章目录Hadoop(六) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上传和下载的流程客户端上传文件到HDFS流程(写流程)从HDFS下载文件的流程(读流程)元数据...

Hadoop(五)历史服务其和日志聚集的配置、集群时间同步的配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器配置mapred-site.xml打开mapred-site.xml,在configuration标签里面添加以下内容:<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhi...

Hadoop(四)完全分布式搭建以及集群中免密登录的配置文章目录Hadoop(四) 完全分布式搭建以及集群中免密登录的配置Hadoop完全分布式搭建分布式的节点分配分布式配置启动集群免密登录配置SSH协议介绍免密登录的配置集群中免密登录的简单配置一键启动Hadoop集群的配置Hadoop完全分布式搭建分布式的节点分配首先我们需要了解一下一个Hadoop集群需要哪些节点:在伪分布式我...

Hadoop(三)Hadoop伪分布式的搭建和重复格式化namenode的问题解决文章目录Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决Hadoop伪分布式Hadoop伪分布式介绍Hadoop伪分布式的搭建HDFS伪分布式搭建yarn伪分布式搭建重复格式化namenode产生的问题及其解决方法Hadoop伪分布式Hadoop伪分布式介绍伪分布式指...

Hadoop(二)单节点模式(本地模式)文章目录Hadoop(二) 单节点模式(本地模式)Hadoop单节点单节点模式介绍单节点部署单节点官方测试案例Hadoop单节点注意Hadoop的部署运行需要Java环境单节点模式介绍Hadoop 以一个 Java 进程的形态运行在非分布式模式下，这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式单节点部署修改配置文件,配...

Hadoop(一)Hadoop简介和Hadoop的安装文章目录Hadoop(一) Hadoop简介和Hadoop的安装@[toc]Hadoop 简介Hadoop概念Hadoop的常见发行版本Hadoop的版本Hadoop的优势Hadoop的组成HDFS(存储数据)MapReduce (计算)Yarn(资源调度)Common(辅助工具)Hadoop的安装Hadoop 简介Hadoop概念...