ghz_blog-优快云博客

转载 hive内部表与外部表

http://www.cnblogs.com/qiaoyihang/p/6225151.html

2017-08-16 16:25:28 318

原创 storm集成kafka实例

storm是流式计算框架，而kafka是一个消息队列，在生产环境中两者经常配合使用，kafka缓存消息，storm可以从kafka中读取消息。因为流式消息的产生可能是不均匀的，经过kafka缓存之后，可以将不均匀的消息流变为均匀的传给storm用于计算。下面的代码实现了将kafka的“test”topic产生的消息传给storm，然后storm将输出导入kafka的“test2”topic，因为

2017-08-13 21:21:49 3305

转载 Hive生成MapReduce任务源码分析

https://tech.meituan.com/hive-sql-to-mapreduce.htmlhttp://blog.youkuaiyun.com/lalaguozhe/article/details/9339679

2017-08-07 19:43:57 1067

原创 beeline连接hiveserver2源码分析

hiveserver2支持jdbc方式的连接，而beeline就是一个基于jdbc实现的hive客户端，下面分析下beeline连接hiveserver2的源码，hive版本为1.1.0。首先进入BeeLine类，定位到main函数作为入口分析点，接着调用了begin方法。public int begin(String[] args, InputStream inputStream) throw

2017-08-01 15:10:46 2453

ProtoBuffer是Google开发的一款RPC框架，也是HBase中client与server通信所使用的框架。下面以HBase的scan为例，来说明下其RPC框架是如何工作的。scan命令到达server之后，首先执行RpcServer的call方法，在call中调用service的callBlockingMethod方法：service.callBlockingMethod(md, co

2017-03-01 19:51:36 590

原创 Java多线程编程核心技术——生产者消费者模型

生产者消费者模型是并发中的经典问题，具体场景是有一块缓冲区作为仓库，生产者可以向其添加产品，消费者可以从中取出产品。解决生产者消费者问题可以采用两种方式：wait()/notify方式和BlockingQueue方式，在此主要讨论第一种，关于第二种方法可以参考Ranger的Audit模型。wait()/notify()是Object的两个方法，也是并发中常见的两个方法：wait会使线程阻塞，直

2017-02-28 10:46:00 2879