
Python
Python
旭日东阳
这个作者很懒,什么都没留下…
展开
-
spark与hive的集成
一:介绍1.在spark编译时支持hive 2.默认的db 当Spark在编译的时候给定了hive的支持参数,但是没有配置和hive的集成,此时默认使用hive自带的元数据管理:Derby数据库。 二:具体集成 1.将hive的配合文件hive-site.xml添加到spark应用的classpath中(相当于拷贝) 2.第二步集成 根据hive的配置参数hive.metastore.u...转载 2018-03-20 21:04:32 · 9047 阅读 · 0 评论 -
SparkSQL和Hive集成
-a. 启动hive的metastore服务[beifeng@hadoop-senior02 ~]$ /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/bin/hive --service metastore &Q>org.apache.thrift.transport.TTransportException: Could not create ServerSo...原创 2018-03-17 00:51:36 · 347 阅读 · 0 评论 -
三个月大数据研发学习计划实战解析
GitChat 作者:Fickr孫啟誠 原文: 三个月大数据研发学习计划实战解析 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术【不要错过文末彩蛋】申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。前言:一、背景介绍二、大数据介绍正文:一、大数据相关的工作介绍二、大数据工程师的技能要求三...转载 2018-04-11 15:13:40 · 1873 阅读 · 1 评论