wiki hive doc

最新推荐文章于 2025-06-22 15:45:07 发布
最新推荐文章于 2025-06-22 15:45:07 发布
阅读量117 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： bak 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_zhb/article/details/84185503

https://cwiki.apache.org/confluence/display/Hive/Home

HIVE 安装系列（1）安装部署 遇到虚拟机磁盘空间满 清理空间 折腾了半天
大模型与Agent智能体
03-01 7283
1\上传apache-hive-1.2.1-bin.tar.gz 2、  [root@localhost setup_tools]#mv apache-hive-1.2.1-bin /usr/local [root@localhost setup_tools]#cd .. [root@localhost local]#ls 3、[root@localhost local]#vi /etc
基于linux系统安装hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban
weixin_43432597的博客
11-19 859
基于linux系统安装hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban 安装zookeeper （1）解压zookeeper安装包（/opt） #tar -zxvf zookeeper-3.4.7.tar.gz （2）将zookeeper解压包移到/usr/house/zookeeper下 mv ...
hive wiki阅读
u013009809的专栏
09-27 443
hive 由HCatalog 和WebHCat组成 HCatalog是Hadoop的表和存储管理层，允许使用不同数据处理工具(包括Pig和MapReduce)的用户更容易地在网格上读写数据。 WebHCat提供了一个服务，您可以使用它来运行Hadoop MapReduce(或yarn)、Pig和Hive作业。您还可以使用HTTP (REST样式)接口执行Hive元数据操作。 hive str...
hive 文档 wiki-doc
冲子
12-15 1495
wiki：https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-DDLOperations DDL：         https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL               
Hive大总结！！！
Biubiubiu!
03-29 5997
文章目录Hive一、Hive简介及核心概念1、Hive概述2、Hive特点2.1、优点2.2、缺点2.3、Hive使用场景3、Hive基本架构原理4、数据处理流程5、Hive 和数据库比较5.1、查询语言5.2、数据存储位置5.3、数据更新5.4、索引5.5、执行5.6、执行延迟5.7、可扩展性5.8、数据规模二、Hive安装及配置1、Hive 安装地址2、Hive 安装部署3、元数据配置3.1、...
Apache Hive 帮助文档
小 tom的博客
10-19 1432
Apache Hive 是一个分布式、容错的数据仓库系统，能够在大规模上进行分析。Hive 元存储（HMS）提供了一个中央元数据仓库，可以轻松分析，以便做出基于数据的明智决策，因此它是许多数据湖架构中的关键组成部分。Hive 构建在 Apache Hadoop 之上，支持通过 HDFS 在 S3、ADLS、Google Cloud Storage 等平台上存储数据。Hive 允许用户使用 SQL 读取、写入和管理 PB 级的数据。
Hive之ObjectInspector详解
IT小王
08-31 5061
Hive之ObjectInspector详解 对于我而言，我是在写GenericUDF/UDAF/UDTF时候遇到ObjectInspector的。所以这里的内容仅针对函数的时候写的。 我们都知道hql最后会转为MapReduce作业来执行。而我们之前单独写MR的时候，需要写一个Map类和Reduce类，在写这些类的时候我们需要指定输入和输出参数的数据类型（记住不是Java的基本数据类型，还记得吗。是经过Hadoop封装的XxxWritable类型，比如int类型，要写成IntWritable,String
2、Hive安装教程详解
这里是Code猿学习的地方
01-19 3421
1.准备hive安装包 自行按照1.1教程提示下载hive的安装包 1.1 下载hive 下载地址 打开下载地址后，如下图点击apache-hive-1.2.2-bin.tar.gz 下载 1.2 上传hvie安装包 基于我们之前的环境安装情况已经可以了解到我们已经在node1上部署了namenode，resourcemanager，secondarynamenode等比较重要的进程；node...
hive 报错return code 40000 from org.apache.hadoop.hive.ql.exec.MoveTask解决思路
cclovezbf的博客
11-23 3945
但是这个错是hive的错，我们开发过程 中会遇到很多hive问题，都怎么解决呢？我建议看源码，但先不要看报错源码，直接看errorCode源码，别人hive的开发者也是人，也知道这里会报错，可能会好心告诉我们怎么解决。看到这里获取配置项，就舒服了，毕竟就算我们发现假设hive源码有问题，我也没法修改cdp的源码。那么直接看hive的源码，毕竟cdp也是抄的hive官方的代码。1.设置线程数为1，线程数越少，产生bug的几率就越小。3.改为分区表，此时不在一个目录了，就不会有这个问题了。
基于 Hive 的 Flutter 文档类型存储
会煮咖啡的猫咪
11-30 1435
基于 Hive 的 Flutter 文档类型存储 原文 https://medium.com/gytworkz/document-type-storage-in-flutter-using-hive-a18ea9659d84 前言 长久以来，我们一直使用共享首选项以键对格式在本地存储中存储数据，或者使用 SQLite 在 SQL 数据库中存储数据。 存储本地数据的另一种方法是将其存储为文档格式，类似于使用 Hive 包的 Firebase 云存储。 https://pub.dev/packages/
【Spark征服之路-2.10-Spark-Core编程（六）】
qq_46394486的博客
06-18 425
摘要：累加器用于将Executor端变量聚合到Driver端，各Task副本更新后传回Driver合并。示例展示了LongAccumulator和自定义WordCount累加器的实现。广播变量则高效分发大对象到各节点，如共享查询表。通过broadcast.value获取广播值，避免重复传输。两者都是Spark分布式计算的关键机制，分别解决变量聚合和数据共享问题。
ZooKeeper 3.9.2 集群安装指南
longxibo的博客
06-21 344
《ZooKeeper 3.9.2集群安装指南》摘要：本文详细介绍了ZooKeeper 3.9.2集群部署流程。准备工作包括3台及以上服务器、Java 8+环境及网络互通。安装步骤涵盖软件下载解压、创建数据目录、配置zoo.cfg文件（需设置服务器列表及端口）、创建myid文件等核心操作。启动集群后需验证状态及数据同步，并提供日志配置、JVM调优、防火墙设置等可选优化方案。文中还列举了选举失败、数据不同步等常见问题的解决方法。通过本指南可快速搭建可用的ZooKeeper集群环境。
同步阻塞与缺乏异步处理：高并发系统的性能瓶颈与解决方案
编程实战派-李工，专注编程领域
06-22 626
本文深入探讨了Java Web开发中同步阻塞操作对系统性能的影响及其解决方案。提供了从问题诊断、技术选型到实施优化的完整方法论，并配有丰富的代码示例和性能对比数据，为开发者构建高性能异步系统提供了实用指南。
AI-调查研究-09-跑步分析研究 最佳跑步方式 跑后营养补充 增肌减脂建议
永远好奇，无限进步！
06-19 831
跑步要想收获最大益处，需在技术、强度、节奏和恢复等方面实现科学平衡。最佳做法是将心率控制在最大心率的60%~80%区间，保持中等强度，促进有氧代谢与脂肪燃烧。配速方面应稳定可持续，避免急促冲刺，强调“能说话”的舒适节奏。训练计划应包含轻松跑、耐力跑、长跑及间歇跑，并遵循“硬-易交替”与80/20法则。跑后营养恢复同样关键，需及时补充碳水和蛋白，并补水与电解质。若以减脂为目标，应注重中等强度长跑；若以增肌为目标，跑步应适度控制，避免干扰力量训练。
大数据学习（141）-分布式数据库
weixin_61006262的博客
06-19 749
数据按列族（Column Family）存储，适合稀疏数据。
【Elasticsearch】脚本（Script）
书山有路，学海无涯。记录成长，追逐梦想
06-21 716
Elasticsearch 脚本（Script）是一种在查询、聚合或更新文档时执行自定义逻辑的方式。它允许用户在查询时动态计算值、修改文档或实现复杂的业务逻辑，而无需预先处理数据。
Java-52 深入浅出 Tomcat SSL工作原理 性能优化 参数配置 JVM优化
永远好奇，无限进步！
06-21 1057
Tomcat通过HTTPS支持确保数据传输的安全性。HTTPS在HTTP基础上增加了TLS/SSL加密层，实现数据机密性、完整性和身份认证。其工作原理包括客户端请求连接、服务器发送公钥证书、客户端验证证书并生成会话密钥进行安全通信。常用技术包括非对称加密（如RSA、ECC）、对称加密（如AES、ChaCha20）和数字证书。部署HTTPS的优点包括增强数据安全、防止中间人攻击；但同时存在部署成本高、性能开销大的缺点。Tomcat的性能优化则主要关注JVM内存设置、连接器配置与线程池调优，以提高系统响应速度和
数据要素治理框架下图情学科的核心角色重塑
AIwenIPgeolocation的博客
06-19 911
通过制定数据资源核心元数据、数据目录等标准，学科可推动政府与企业数据的规范化分级，平衡开放共享与安全保护的需求。例如，政府需建立数据产品确权登记平台，明确数据所有权、使用权与收益权），而图情学科在元数据标准制定中的经验，可为数据产权界定提供方法论支持。通过界定数据质量控制范围、建立质量评价标准，学科能够协助构建国家数据资源质量评估体系，降低数据价值计量的不确定性。唯有主动拥抱数据生产要素化的浪潮，图情学科方能在数字经济时代重塑自身价值，实现从“信息管理者”向“要素治理者”的转型。
Kafka Streams入门与实战：从概念解析到程序开发
最新发布
qq_42773076的博客
06-22 475
Kafka Streams实时流处理技术解析 本文对比分析了主流流处理引擎（Flink、Spark Streaming、Storm、Kafka Streams）在架构设计、编程模型、容错机制等方面的差异。其中，Kafka Streams作为轻量级客户端类库，深度集成Kafka生态，提供低门槛开发体验和毫秒级延迟处理能力。文章详解了Kafka Streams的核心特点，包括极简依赖、状态管理、精准语义保障等，并阐述了其独特的流处理拓扑模型。最后通过实际案例展示了Kafka Streams应用开发流程。该技术特
海豚调度器怎么做数据血缘分析
05-08
### 如何使用 Apache DolphinScheduler 进行数据血缘分析 #### 背景介绍 Apache DolphinScheduler 是一款强大的分布式任务调度系统，支持多种类型的作业调度，并提供了丰富的功能来简化复杂的数据处理流程[^1]。其中，数据血缘分析是一个重要的特性，它可以帮助用户追踪数据的流动路径、依赖关系以及变更历史。 #### 数据血缘分析实现方法 在 Apache DolphinScheduler 中，数据血缘分析主要通过以下方式实现： 1. **基于 DAG 的任务建模** - Apache DolphinScheduler 使用有向无环图 (Directed Acyclic Graph, DAG) 来表示任务之间的依赖关系。这种模型天然适合描述数据流和任务间的因果关系[^3]。 - 用户可以通过定义任务节点及其上下游依赖关系，自动生成数据血缘信息。 2. **元数据采集与解析** - 需要配置元数据采集插件，用于捕获数据库表结构变化、SQL 执行计划以及其他相关的信息[^2]。 - 插件可以集成到不同的数据源（如 MySQL、PostgreSQL、Hive 等），并将其转换为标准化的血缘格式。 3. **自动化血缘生成** - 当前版本中，DolphinScheduler 提供了部分内置机制来自动生成简单的数据血缘关系。例如，在 SQL 类型的任务执行过程中，会尝试提取涉及的表名及操作类型（INSERT/UPDATE/DELETE）。 - 对于更复杂的场景，则可能需要借助外部工具或扩展 API 接口完成高级血缘计算逻辑。 4. **可视化展示** - 结果通常以图形化界面的形式呈现给最终用户查看。这一步骤有助于直观理解整个系统的运作原理以及各组件间的关系网状结构[^3]。 #### 官方文档与教程资源推荐 对于想要深入了解如何利用该框架开展具体工作的开发者来说，可以从以下几个方面入手学习： - 访问官方 GitHub 仓库获取最新版 README 文件说明； - 查阅 Wiki 页面中的专门章节讨论关于 lineage management 的相关内容； - 关注定期举办的 Meetup 活动分享经验案例研究材料； 以下是几个具体的链接地址供参考查阅: - [https://dolphinscheduler.apache.org](https://dolphinscheduler.apache.org) - [https://github.com/apache/dolphinscheduler/wiki/Data-Lineage-in-DolphinScheduler](https://github.com/apache/dolphinscheduler/wiki/Data-Lineage-in-DolphinScheduler) 另外还有一篇博文详细介绍了从零搭建一套完整的解决方案思路可供进一步探索阅读价值较高值得收藏备用！ ```bash git clone https://github.com/apache/dolphinscheduler.git cd dolphinscheduler/docs/en_US/user_doc/ open DataLineage.md ``` 以上命令可以直接打开本地克隆后的英文版用户手册中有关数据血缘的部分进行深入学习。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值