hive_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

【对比向】既生瑜何生亮？不！Hive 和 Doris不一样【摘要】Hive与Doris在数仓架构中形成互补：Hive作为低成本批处理底座，负责PB级数据存储和ETL计算；Doris作为交互式查询引擎，加速高频访问的热数据查询。典型分层架构中，Hive承载原始数据清洗和规范化（ODS/DWD），结果数据通过批量加载进入Doris提供秒级响应（DWS/ADS）。二者的本质差异在于成本模型和适用场景——Hive适合离线重计算和冷数据存储，Doris擅长实时分析和热点查询。这种组合既保留Hive的灵活性和低成本优势，又通过Doris提升终端查询体验，是兼顾效率与经济性的务

阅读 690

9赞

Spark 与 Hive 集成：深入理解三种模式的技术差异本文详细探讨了 Spark 与 Hive 的两种主要集成方式：Spark on Hive 和 Hive on Spark，以及它们在元数据管理上的差异。文章从工作原理、配置方法、性能对比和实际应用场景等多个维度进行分析，帮助读者选择适合自己业务需求的集成方案。

阅读 639

0赞

计算机毕业设计源码厂长

计算机毕业设计Hadoop+Spark+Hive招聘推荐系统招聘大数据分析大数据毕业设计(源码+文档+PPT+ 讲解) 本文提出基于Hadoop+Spark+Hive的智能招聘推荐系统，采用四层架构实现海量数据处理与个性化推荐。系统通过分布式存储、内存计算与数据仓库技术协同工作，结合混合推荐算法（协同过滤+内容推荐）提升匹配精准度。实验结果表明，该系统准确率达87.2%，响应时间仅280ms，较传统方法提升39.5%的推荐效果。研究为招聘行业数字化转型提供了高效解决方案，未来将探索联邦学习等优化方向。

阅读 1.1k

1赞

Hive CBO 优化实践：通过智能统计与成本优化提升查询性能本文深入探讨 Hive CBO 成本优化器的核心工作机制，详细讲解统计信息收集方法、Join 顺序选择策略和执行计划优化技术，通过实践案例帮助读者掌握如何利用 CBO 提升 Hive 查询性能。

阅读 549

0赞

分页翻到后面越来越慢：OFFSET、游标和几种改法本文剖析了分页查询中OFFSET导致性能急剧下降的根本原因：数据库需逐行扫描并丢弃前序数据，造成耗时随页码线性增长。针对此问题，提出游标分页作为更优解——通过上一页末尾记录的created_at与id定位下一页，实现常数级耗时。同时强调索引优化、过滤下推、避免count(*)等实践要点，并指出开发环境数据量不足易掩盖深层问题。最终以实际案例证明，合理改用游标分页可将深页查询从7秒降至15毫秒，显著提升系统稳定性与用户体验。

阅读 296

0赞

计算机毕业设计源码厂长

计算机大数据毕业设计hadoop+spark+hive电商数据分析大屏可视化推荐系统大数据毕业设计(源码+LW+PPT+讲解) 【摘要】本文介绍了一个基于Hadoop+Spark+Hive的电商数据分析与推荐系统，该系统采用五层架构设计，整合多源异构数据，实现从采集、存储、计算到可视化推荐的全流程处理。系统创新性地结合协同过滤与深度学习算法，支持实时数据处理和个性化推荐，推荐转化率提升30%-40%。通过ECharts与D3.js构建交互式大屏，帮助运营人员快速洞察数据。系统已在实际应用中验证效果，决策响应时间从6小时缩短至10分钟，GMV提升18%，具有显著的社会价值和经济效益。

阅读 1.2k

11赞

前后端分离hive旅游数据分析与应用 abo系统｜SpringBoot+Vue+MyBatis+MySQL完整源码+部署教程前后端分离hive旅游数据分析与应用 abo系统｜SpringBoot+Vue+MyBatis+MySQL完整源码+部署教程，拿走直接用（附源码，数据库，视频，可提供说明文档（通过*AIGC*）*技术包括：MySQL、VueJS、ElementUI、（Python或者Java或者.NET）等等*功能如图所示。可以滴我获取详细的视频介绍

阅读 594

18赞

杜莱恩特Durant

基于 Flink 的 HomeAssistant 传感器数据从 Kafka 到 Hive 的存储方案 Apache Flink 是 Apache 基金会顶级开源项目，是用于无界 / 有界数据流的分布式有状态计算引擎，核心优势是流批一体、高吞吐低延迟、精确一次语义与完善的状态和时间管理，可部署在 YARN、K8s 等主流集群，广泛用于实时计算、ETL、事件驱动应用等场景。

阅读 1.4k

15赞

杨阳航Jasper

HiveWE：魔兽争霸III地图编辑的现代化革命，告别卡顿与复杂操作还在为传统魔兽争霸III地图编辑器缓慢的加载速度和复杂的操作界面而烦恼吗？你是否曾在地图制作过程中因为工具响应缓慢而失去创作灵感？HiveWE作为一款专注于速度和易用性的魔兽争霸III世界编辑器，彻底改变了传统地图制作体验。这款现代化的编辑器不仅大幅提升了性能，更带来了直观的操作界面和强大的功能模块，让你能够专注于创意实现而非技术障碍。## 🎯 HiveWE的核心优势：为什么你应该立即切换

阅读 1.1k

24赞

可信软件滥用、AI 自动化与后量子勒索的威胁演进本文以简报原始披露信息为基础，客观区分样本已经证实的技术能力、尚未确认的部署规模、潜在的后续演化方向，厘清每一类攻击的作用边界，分析传统检测范式为什么对这类样本失效，再搭建一套能够匹配该类威胁的防御框架。当安全厂商持续完善静态识别能力之后，攻击方开始转向成本更低、逃逸效果更强的路径：不再单独开发高辨识度恶意程序，转而劫持已经获得系统信任、白名单放行的软件组件，或是接入公共人工智能服务、直接调用标准化密码算法库，把攻击逻辑依附在成熟合法技术生态之上。这个设计的业务目的，是拉长勒索密钥的安全生命周期。

阅读 142

2赞

星汉灿烂星河

Hive SQL 开发工具选择：Beeline（命令行客户端）、DBeaver（数据库管理工具）对比 SQLyog、SQL Developer，Hue / Zeppelin，DataWorks DBeaver

阅读 832

9赞

Stable-Diffusion-v1-5-archive创意草图生成：建筑/工业/服装设计概念快速可视化本文介绍了如何在星图GPU平台上自动化部署stable-diffusion-v1-5-archive镜像，快速实现AI辅助创意草图生成。该工具能将文字描述在数十秒内转化为可视化概念图，广泛应用于建筑外观、工业产品及服装设计等领域的初期概念探索与快速可视化，大幅提升设计效率。

阅读 1.0k

23赞

ArchiveBox 10分钟上手教程：从安装到首次网页归档全流程你是否遇到过收藏的网页突然失效、重要资料无法访问的情况？作为一款开源自托管网页归档工具，ArchiveBox能帮你永久保存网页内容，支持HTML、PDF、截图等多种格式。本文将带你在10分钟内完成从安装到首次归档的全过程，让你轻松掌握网页内容的永久保存技巧。## 关于ArchiveBoxArchiveBox是一个开源自托管网页归档工具，它可以将URL、浏览器历史记录、书签、Pocket、P...

阅读 777

3赞

AI智能探索者

大数据领域Hive与Spark的结合使用案例我是小夏，一名专注于大数据分析与实时计算的工程师，曾参与多个电商和金融项目的大数据架构设计。擅长用通俗易懂的语言讲解复杂技术，公众号“大数据夏说”分享更多实战经验。

阅读 1.4k

23赞

汤力赛Frederica

Salt pgjsonb Returner 数据清理修复深度解析：`_purge_jobs` 与 `_archive_jobs` 的孤儿行修复（EXISTS/NOT EXISTS 反连接） Salt 的 `pgjsonb` returner 负责将 minion 执行结果写入 PostgreSQL 的 `jids`、`salt_returns`、`salt_events` 三张表中。本指南针对 changelog/69060.fixed.md 记录的缺陷修复，深入剖析该 returner 中 `_purge_jobs`（数据清除）与 `_archive_jobs`（数据归档）两个核心

阅读 812

29赞

conda-libmamba-solver 找不到 libarchive.so.20，libstdc++.so.6: version `GLIBCXX_3.4.29‘ not found的问题记录原文作者是在管理员权限下修改系统资源，但其实可以在用户所有目录下面修改然后添加环境变量，我直接在自己的conda lib上修改的。然后就没有报错啦~这个复制别人的文件然后建立软链接的方法还是蛮好的，又学到了。成功运行装了一堆东西，原来的错误也没了，但是报了个。

阅读 1.2k

3赞

作者推荐

吃着碗里的看着锅里的望着缸里的: 世上无难事，只要肯放弃

关注

闫哥大数据大模型: TA很懒，还没有添加简介

关注

AQin1012: 少年有他的山海

关注

coin_sun: 看完可以取关我，粉丝可见只是防止自动变成收费博文，希望可以帮到你~

关注

卷毛迷你猪: 不说啦都是泪

关注

青春万岁！！: 一把钥匙

关注

_AimS: IT民工：浅尝辄止，更进一步。

关注

凌冰_: 分享知识带给我的快乐！帮助他人就是帮助自己。希望更多人能关注，来分享我的成果！希望大家快快乐乐的学习，开开心心的畅游知识的海洋。

关注

XiangyangYou: 厚德　博学　慎思　笃行

关注

桃子_peach: 桃子

关注