zeppelin-0.7.1安装配置hive库及异常解决记录

Hadoop+Spark+Hive构建智慧交通客流预测系统 大数据处理技术通过分布式存储与计算框架解决海量数据挑战,其中Hadoop提供可靠的分布式存储基础,Spark凭借内存计算实现高速处理,Hive则简化了结构化数据查询。这种技术组合在交通领域尤为重要,能高效处理卡口设备产生的TB级数据。基于机器学习的时间序列预测是典型应用场景,通过特征工程提取时空特征后,随机森林等算法可实现90%以上的客流预测准确率。本文详解的智慧交通系统实战方案,整合了Flume实时采集、Spark MLlib模型训练和Hive数据仓库等核心技术,为城市交通管理提供决策支持。 阅读详情

第一次用zeppelin,安装配置过程很友好,重点在第二次重新安装配置,记录如下:

  • 解压缩zeppelin-0.7.1-bin-all.tgz

tar zxvf zeppelin-0.7.1-bin-all.tgz

  • 进入zeppelin-0.7.1-bin-all

cd zeppelin-0.7.1-bin-all

  • 启动zeppelin-0.7.1-bin-all

bin/zeppelin-daemon.sh start

  • 访问

http://bigdata:8080

  • 创建Interpreters

Interpreter Name:这里名称自定义

创建notebook访问hive:

 

因为flume写hive的时候总是报错说zeppelin包类找不到,所以尝试更新zeppelin版本为0.8.2,但是配置hive一直报错,删掉0.7.1的版本也无效。后来重新改回0.7.1版本,但是,安装完成之后,配置hive过程报错,解决后sql查询也报错,现在把解决过程记录一下:

安装过程同上,配置hive步骤同上

配置完之后,save,报错:hive-jdbc找不到,修改artifact如下:

注意:hive-jdbc-2.1.1.jar 从hive/lib中找到,cp到zeppelin的lib中,以下lib同样的处理方式。

解决之后,进行SQL查询:报错各种包找不到,一一解决,需要导包如下:

不过,同样是安装zeppelin的0.7.1版本,第一次和第二次(删掉重新安装)的操作不同,原因还没发现,有大神了解请留言帮助解惑,多谢!

 

 

实时开发管理平台调研 致力于简化Flink任务开发,提升Flink任务运维能力,降低Flink入门成本,提供一站式的Flink任务开发、运维、监控、报警、调度、数据管理等功能。Dinky 提供轻量级的实时计算 IDE 开发模式,支持代码提示补全、查询调试、逻辑检查、计划查看、血缘分析、全局变量、环境复用、整库同步、版本控制、元数据查询等能力,致力于解决作业数量大、开发成本高、调试门槛高等问题,让作业开发更简单高效。基于网络的笔记本,支持数据驱动的交互式数据分析,以及使用SQL、Scala、Python、R等多种语言的协作文档。 阅读详情

相关推荐

Hadoop与3D打印:制造数据分析

3D打印(增材制造)正在从“原型工具”进化为“量产引擎”,但随之而来的制造数据爆炸却成为其规模化应用的瓶颈——每层打印的温度、压力、材料流动数据,每帧零件的扫描图像,每个批次的质量检测报告,这些数据以TB级/天的速度产生,传统数据库根本无法承载。而Hadoop,这个大数据时代的“分布式计算基石”,恰好能解决3D打印的“数据痛点”:它像一个智能工厂的数据中枢,既能存储PB级的结构化/非结构化数据,又能通过并行计算快速挖掘数据中的价值。

小白菜的博客 436

关于使用zeppelin连接hive不能切换数据库或者只能使用默认数据库deafult的问题

问题:使用zeppelin连接hive时,hive能正常使用,但是指定使用某个数据库时, use 数据库名 并不报错,但是查询该数据库下所有表时: show tables 不显示或者显示在hive默认的数据库default下创建的表,那怎么才能切换到其他数据库呢? 首先介绍解决办法: 关于zepeelin搭建hive集成环境的设置之前已描述过,请参考:https://blog.csdn.net/and52696686/article/details/107294726 正确设置下zeppelin 连接

我玩的很开心的博客 945

Flink on Zeppelin使用示例及填坑记录

本文记录了自己在学习Flink on Zeppelin的使用示例及填坑记录

penriver的博客 1830

Zeppelin在求学之路----在Zeppelin上开发SendMai功能

功能要求:实现在Spark解释器下,通过自定义功能,调用sendMail(subject,recipients,sql)实现将DataFrame查询结果保存到Hdfs上,并且通过邮件的形式发送给某人,以供后端人员使用。环境:Mac操作系统,Zeppelin0.74;Spark2.1.1,Hadoop2.52,Scala2.11.,Java1.80实现分了三部分很简单,代码上有备注,大家可以直接看备...

weixin_41870706的博客 892

Apache Zeppelin 0.7.2 中文文档

Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档

薛定谔 | 先导化合物优化与相互作用可视化

当获得针对某个靶点的先导分子后,想要在此基础上进行化学结构修饰。为了提升化学改造的成功率可以采用本教程方法进行结构虚拟改造/优化。每用薛定谔处理一个新任务,第一步必须创建新的project以方便日后管理。选项卡中修改工作路径(可以方便地找到输出文件)

药研猿的博客 2145

zeppelin(齐柏林)的配置和使用

查看zeppelin的端口号[root@localhost ~]#vi /usr/hdp/share/hst/activity-explorer/conf/zeppelin-site.xml<property>    <name>zeppelin.server.port</name>    <value>9060</value>    &...

qq_27802435的博客 3067

NVIDIA驱动装好了,Gazebo为啥还是卡?手把手教你用optirun搞定GPU加速

本文详细解析了NVIDIA驱动安装后Gazebo仍卡顿的原因,并提供三步精准诊断与GPU加速实战方案。通过optirun快速启用GPU加速,解决OpenGL与显示服务器的配置问题,显著提升仿真性能。适用于ROS、PX4等开发环境,帮助用户充分利用显卡性能。

weixin_30379531的博客 465

Apache Zeppelin安装及介绍

背景 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时...

weixin_34418883的博客 587

Fluent求解器——湍流参数的设置

Fluent湍流参数的介绍和设置。

Ronko_G的博客 4万+

Labview_DQMH框架学习1--浅析

本文主要结合一个相对容易理解的例子,阐述 DQMH 框架的工作原理,希望对初学者有一定的帮助。

hrbeuxn的博客 3052

中文乱码问题

问题:python ,java ,shell 脚本问题 中文乱码问 是否保证 保证 字符的编码 和自己 要存到目的端的编码(文件,输出台或ssh 显示平台)等编码一致 才能不乱码 待问题 ...

weixin_40809627的博客 413

从零搭建PIC MCU开发环境:MPLAB IDE与HI-TECH编译器安装破解全攻略

本文详细介绍了从零搭建PIC MCU开发环境的完整流程,包括MPLAB IDE 8.85的安装配置、HI-TECH C编译器的安装与破解,以及PICkit3编程器的使用技巧。通过清晰的步骤说明和常见问题解决方案,帮助开发者快速搭建稳定的PIC单片机开发环境,适用于PIC16/18系列MCU开发。

weixin_29188997的博客 294

Zeppelin安装成功后,安装Hive之后启动Zeppelin异常

Zeppelin安装参见:http://blog.csdn.net/dax1n/article/details/57079534 异常信如下:  WARN [2017-03-01 19:27:25,416] ({pool-2-thread-2} Hive.java[]:168) - Failed to access metastore. This class should not ac

吟啸徐行 3378

Visionpro 使用CogPMAlignTool工具提取匹配轮廓点

【代码】Visionpro 使用CogPMAlignTool工具提取匹配轮廓点。

weixin_43947315的博客 2093

如何用谷歌插件Apollo.io高效开发客户?手把手教你避开常见坑点

本文详细介绍了如何利用谷歌插件Apollo.io高效开发外贸客户,包括核心功能解析、免费额度最大化利用策略、多插件协同技巧以及常见陷阱规避方法。通过Apollo.io的智能匹配算法和庞大数据库,外贸从业者可以精准锁定目标客户,提升开发效率。

banana的博客 887

Flink on Zeppelin问题四则(并没有优雅的解决方案

前言 最近我们正式调研Zeppelin作为Flink SQL开发套件的可能性,于是clone了最新的Zeppelin v0.10-SNAPSHOT源码,自行编译并部署到了预发布环境的新Flink集群中。Flink版本为1.13.0,Hadoop版本为CDH 6.3.2自带的3.0.0。经过两天的探索,发现了一些问题,在百忙之中抽出点时间简要记录一下并不成功的troubleshooting过程。 ...

LittleMagic's Blog 2133

YOLOv11改进 | Neck篇 | 双向特征金字塔网络BiFPN助力YOLOv11有效涨点

本文给大家带来的改进机制是BiFPN双向特征金字塔网络,其是一种特征融合层的结构,也就是我们本文改进YOLOv11模型中的Neck部分,它的主要思想是通过多层级的特征金字塔和双向信息传递来提高精度。本文给大家带来的结构可以让大家自行调节网络结构大小,同时能够达到一定的轻量化效果,为什么发BiFPN呢因为它算是YOLO系列改进中的常青树了,大家可以借鉴它的双向特征思想来创新自己的Neck结构本文的BiFPN通过yaml文件配置可以让大家自行调配其结构。

Snu77的博客 9105

Zeppelin使用报错

报错信息: INFO [2016-11-03 17:05:08,481] ({pool-2-thread-2} SchedulerFactory.java[jobFinished]:137) - Job remoteInterpretJob_1478163908285 finished by scheduler org.apache.zeppelin.jdbc.JDBCInterp...

anshenwa4859的博客 536

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Zeppelin 用jdbc连接hive报错

日志: Could not establish connection to jdbc:hive2://192.168.0.51:10000: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:ERROR_STATUS, infoMessag...

anshenwa4859的博客 758

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

zeepplin连接hive 运行报错

java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface 在配置hive的时候缺少jar包 /opt/zeppelin-0.8.0-bin-all/lib/hadoop-common-2.7.3.jar /opt/zeppelin-0.8.0-bin-all/lib/hive...

时间(实践)是检验真理的唯一标准 477

zepplin0.7.2报错ERROR, exception: null, result: %text java.lang.NullPointerException的处理

zepplin0.7.2报错ERROR, exception: null, result: %text java.lang.NullPointerException的处理 问题描述: 使用zepplin查询业务系统数据时报错空指针,具体如下: interpreter.remote.RemoteInterpretershared_session736569169 INFO [2018-01-0...

weixin_33725272的博客 161

hadoop之离线处理电商项目架构和实现

处理流程 1.涉及的基本技术组件 Hadoop:HDFS MapReduce(清洗) YARN、需要部署Hadoop集群 Hive:外部表、SQL 、解决数据倾斜 、sql优化、基于元数据管理、SQL 到MR过程 Flume:将数据抽取到hdfs 调度:crontab、shell、Azkaban HUE:可视化的notebook,CM自带 ,排查数据 2.处理流程 大数据开...

Big Data 1278

SparkSession:现代Spark应用的统一入口与核心API详解

在分布式计算领域,数据处理框架的入口设计直接影响开发效率和系统性能。Apache Spark作为主流的大数据处理引擎,其入口点经历了从多上下文对象到统一API的演进。这一演进背后的原理是通过整合SparkContext、SQLContext等核心组件,提供简洁一致的编程接口,从而降低学习成本并提升开发效率。从技术价值看,统一的入口不仅简化了代码结构,还促进了模块间的数据共享与交互,为性能优化和资源管理提供了集中控制点。在实际应用场景中,无论是批处理、交互式查询还是流式计算,开发者都需要通过这个统一入口来配置

weixin_30565327的博客 434

Apache DolphinScheduler数据源配置终极指南:从架构设计到生产部署的5个最佳实践

Apache DolphinScheduler作为现代数据编排平台,其数据源配置是构建高效工作流调度系统的基石。在复杂的数据生态系统中,数据源的稳定连接与高效管理直接决定了整个调度系统的可靠性和性能。本文将深入解析DolphinScheduler的数据源架构设计、实战部署技巧和运维管理策略,为技术决策者和架构师提供完整的解决方案。 ## 🔍 概念解析:数据源在DolphinScheduler中

gitblog_00467的博客 895

大数据安全攻防实战:从平台渗透到纵深防御体系构建

在数字化转型浪潮中,数据已成为核心资产,其安全防护也上升为技术架构的关键议题。数据安全的核心原理在于构建覆盖全生命周期的防护体系,涉及数据的采集、传输、存储、计算与销毁。其技术价值不仅在于满足合规要求,更在于保障业务连续性和企业核心竞争力。从应用场景看,无论是金融风控、用户隐私保护,还是商业智能分析,都离不开对海量数据的安全管控。具体到大数据平台,如Hadoop、Spark生态,其分布式特性与复杂组件引入了新的安全挑战。攻击者可能利用**未授权访问**与**数据污染**等手段实施渗透。因此,构建纵深防御体系

weixin_34417183的博客 392
上一篇: shell脚本常用语法整理-积累中
下一篇: kafka客户端内存缓冲GC处理机制--客户端内存
lcl_bigdata
博客等级 码龄11年 268粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值