nihao_pcm的博客

 Hive中metastore（元数据存储）的三种方式：a)内嵌Derby方式b)Local方式c)Remote方式1.本地模式（derby）这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="conf...

            namenode datanode journaonode zookeeper nodemanager resourcemanager node1 Y   Y       node2 Y Y Y Y Y   node3   Y Y...

   namenode datanode journaonode zookeeper nodemanager resourcemanager node1 Y   Y       node2 Y Y Y Y Y   node3   Y Y Y Y...

kafka是什么？使用场景？ kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。kafka生产消息、存储消息、消费消息                  Kafka架构是由producer（消息生产者）、consumer（消息消费者）、borke...

一、HBASE架构 Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据 Master 为Region server分...

一、下载winutils包链接一：https://github.com/steveloughran/winutils链接二：https://download.youkuaiyun.com/download/nihao_pcm/10938773二、将winutils bin目录下的文件覆盖到本地hadoop的bin目录下三、hadoop.dll  放到 c:/windows/system32下...

Scala介绍1.Spark中使用的是Sacla2.10。2.Scala官网6个特征。      1).Java和scala可以混编      2).类型推测(自动推测类型)      3).并发和分布式（Actor）      4).特质，特征(类似java中interfaces 和 abstract结合)      5).模式匹配（类似java switch） ...

一、SparkContext       SparkContext是一个在Spark库中定义的类。它是Spark库的入口点。它表示与Spark集群的一个连接。每个Spark应用程序都必须创建一个SparkContext类实例。目前，每个Spark应用程序只能拥有一个激活的SparkContext类实例。如果要创建一个新的实例，那么必须让当前激活的实例失活。  val config = ne...