耀哥的博客

hdfs常见原理

大数据常用组件的端口

hive配置metastore远程模式

Hive搭建 ha高可用集群Hive搭建 ha高可用集群第一步 修改hdfs-site.xml第二步 修改core-site.xml修改mapred-site.xml第四步 修改yarn-site.xmlHive搭建 ha高可用集群你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。第一步 修改hdfs-site.xml<configuration><!--指

通过hive元数据表获取hive分区表的元数据信息通过hive元数据表获取hive分区表的元数据信息项目中需要获取hive所有分区表的分区信息并显示到页面如图方案：通过JDBC连接hive源数据库，sql语句实现编写sql语句：SELECT main.*,b.numRows,b.totalSize FROM ( SELECT main.TBL_ID AS metaObjectId ,main.TBL_NAME AS tabName ,b.PART_ID AS partId ,b.

在flink中有state可用用来记录工作状态，进行相关的数据计算，同时状态也是可以用来当做缓存使用的。使用MapSatate进行数据缓存作为Redis和数据流的中间结果存储。首先获取flink上下文RuntimeContext runtimeContext = getRuntimeContext()其次定义map描述器//定义描述器 MapStateDescriptor<String, LbsInfo> lbsInfoState =

一 Spark起源Spark是一个基于scala语言开发的使用内存计算的大数据计算框架，诞生目的是为了解决传统计算框架如mapreduce基于磁盘计算导致计算速度慢所产生的弊端。目前Spark已经成长为一个优秀且强大的实时计算应用框架，可用于构建大型的、低延迟的数据分析应用程序。2009 年，Spark诞生于加州大学伯克利分校 AMPLab2013 年 6 月，成为 Apache 孵化项目2014年 2 月，成为 Apache 顶级项目2015年~， Spark在国内IT行业变得愈发火爆，大量的公