Harvay的博客

产生背景：时效性高； 数据量大。时流处理概述：实时计算； 流式计算； 实时流式计算；离线计算与实时计算对比：1.数据来源离线：HDFS 历史数据 数据量比较大实时：消息队列（Kafka），实时新增、修改记录过来的某一笔数据2. 处理过程离线：MapReduce： map + reduce实时：Spark（DStream/SS）3. 处理速度离...

平台：   hadoop 2.7.1    windows 2008 server R2问题描述：  在使用kettel执行ELT任务到hive时 hadoop出现Exception message: CreateSymbolicLink error (1314): ???????????（创建符号表异常），经过分析发现为windows账户不具备创建符号表的权限 解决方法：...

硬件配置： hive版本为 v2.1.0windows平台使用window server 2008 R2数据库为mysql数据库；问题分析 ：hive启动在需要mysql中存在scheme 表格结构，而mysql数据库中不存在导致异常。解决办法：hive启动之后需要首先在mysql数据库中创建必要的表格信息，所以在linux平台需要首先做 schematool --db...