Hadoop生态
关注
分享
扫一扫
文章平均质量分 65
Hadoop系列
源图客
这个作者很懒，什么都没留下…
展开
-
Apache Flink 2.0介绍与部署（最新版本）
Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。原创 2025-01-22 14:17:55 · 2180 阅读 · 0 评论 -
Apache Hudi 1.0.0源码编译
源码编译原创 2025-01-03 22:27:17 · 607 阅读 · 0 评论 -
Spark读取Hbase数据案例
【代码】Spark读取Hbase数据。原创 2024-12-26 21:24:47 · 701 阅读 · 0 评论 -
Spark数据存储到Hbase案例
本案例读取数据库中数据存储到HbaseMySQL数据库启动Hadoop、Zookeeper、Hbase启动Hbase Shell窗口，执行3、编写代码需要用的pom依赖4、执行代码查看Hbase表内容原创 2024-12-26 20:58:24 · 472 阅读 · 0 评论 -
MapReduce解析简历存储到Postgres数据库
简历数据经过ETL流程，已经上传到HDFS上，需要针对简历内容进行解析，存储到数据库中。本案例解析解析使用ResumeSDK，数据库使用Postgres。原创 2024-11-12 16:27:51 · 394 阅读 · 0 评论 -
Apache SeaTunnel详解与部署（最新版本2.3.8）
SeaTunnel是一个非常易用、超高性能的分布式数据集成平台，支持实时海量数据同步。每天可稳定高效同步数百亿数据，已被近百家企业应用于生产。Apache SeaTunnel是中国开发者主导的项目，也是Apache基金会中第一个诞生自中国的数据集成平台项目。SeaTunnel原名Waterdrop，于2017年由乐视创建，并于同年在GitHub上开源2021年10月改名为SeaTunnel2021年12月9日SeaTunnel进入Apache孵化Apache SeaTunnel 毕业成为。原创 2024-11-07 22:38:20 · 7350 阅读 · 13 评论 -
Apache Linkis介绍与部署
Apache Linkis 计算中间件项目，是由微众银行大数据平台团队在2019年7月进行开源，并于2021年8月正式捐献给全球顶级开源社区 Apache 软件基金会（ASF），成为 ASF 孵化项目。Apache 软件基金会（ASF）孵化器于2022年12月03日，通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日，Apache 软件基金会官方宣布 Apache Linkis 顺利毕业，成为 Apache 顶级项目（TLP）。原创 2024-10-17 09:15:39 · 1474 阅读 · 0 评论 -
欧拉openEuler24.03LTS部署Hadoop3.4.0
3、网络配置地址变化，由centos的ifcfg-ens33变更为ens32。1、下载net-tools包命令，使得ifconfig命令可用。2、下载tar包命令，使得tar命令可用。原创 2024-10-08 15:24:24 · 777 阅读 · 0 评论 -
Maxwell介绍与应用
Maxwell介绍与应用原创 2024-08-12 22:59:29 · 1913 阅读 · 0 评论 -
Azkaban工作流配置案例
工作流调度原创 2024-08-12 19:56:07 · 1238 阅读 · 0 评论 -
Flume配置案例(四)-Hive篇
flume-hive原创 2024-08-09 10:18:35 · 947 阅读 · 0 评论 -
Flume配置案例(三)-Kafka篇
flume-kafka原创 2024-08-09 10:18:29 · 809 阅读 · 0 评论 -
Flume配置案例(二)-HDFS篇
flume-hdfs原创 2024-08-09 10:18:25 · 712 阅读 · 0 评论 -
Flume配置案例(一)-基础篇
基础篇原创 2024-08-09 10:18:21 · 673 阅读 · 0 评论 -
MapReduce实现计算结果存储到MySQL数据库
mr执行结果数据存储到mysql数据库中原创 2024-08-08 17:44:07 · 439 阅读 · 0 评论 -
Linux环境下部署Azkaban
azkaban部署原创 2024-08-06 12:52:15 · 1601 阅读 · 0 评论 -
Linux环境下部署Zookeeper3.9.2(最新版)集群部署
zookeeper最新版本解析原创 2024-08-05 23:01:50 · 1581 阅读 · 0 评论 -
Linux环境下Hive4.0.0(最新版本)部署
hive4.0.0部署原创 2024-08-04 20:05:51 · 3089 阅读 · 4 评论 -
Linux环境下Hadoop3.4.0(最新版本)集群部署
hadoop3.4.0集群部署原创 2024-08-04 19:35:46 · 1590 阅读 · 0 评论 -
Linux环境下Hadoop3.4.0（最新版本）单机部署
Linux环境下Hadoop3.4.0（最新版本）单机部署原创 2024-08-04 18:57:17 · 2635 阅读 · 0 评论 -
Linux新环境静态IP配置与主机名
linux静态ip配置原创 2024-08-04 17:58:25 · 376 阅读 · 0 评论 -
Kafka与Flume集成配置
flume-kafka配置原创 2024-08-03 12:56:55 · 322 阅读 · 0 评论 -
Know Streaming 介绍
Know Streaming介绍原创 2024-08-03 12:48:35 · 1641 阅读 · 0 评论 -
kafka监控工具之KnowStreaming部署与使用
KnowStreaming部署原创 2024-08-03 12:41:43 · 1008 阅读 · 0 评论 -
kafka监控工具之Kafka-Eagle部署与使用
Kafka-Eagle部署与使用原创 2024-08-03 09:41:04 · 816 阅读 · 0 评论 -
Kafka集群部署与使用
kafka集群部署原创 2024-08-03 09:08:40 · 451 阅读 · 0 评论 -
Flume配置案例
在/usr/local/soft/apache-flume-1.9.0-bin/conf/目录下创建flume-telnet-logger.properties文件，内容如下执行。原创 2024-08-02 16:29:39 · 429 阅读 · 0 评论 -
Flume1.9.0配置与简单使用
将apache-flume-1.9.0-bin.tar.gz软件包上传至/usr/local/soft文件夹下。#分别指定agent的sources，sinks, channels的名称 名称可以自定义。客户端(Source)：收集信息。-c:配置文件路径conf。-n:agent名称。原创 2024-08-02 10:40:37 · 497 阅读 · 0 评论 -
HDFS文件操作编程实现(Scala)
【代码】HDFS接口调用与编程(Scala)原创 2024-08-02 09:44:40 · 205 阅读 · 0 评论 -
Hbase编程实现数据操作
【代码】Hbase编程实现数据操作。原创 2024-08-01 19:07:04 · 250 阅读 · 0 评论 -
Hive编程实现JDBC操作
hive -jdbc原创 2024-08-01 17:33:26 · 222 阅读 · 0 评论 -
phoenix数据操作汇总
phoenix数据操作原创 2024-08-01 10:59:06 · 327 阅读 · 0 评论 -
apache-phoenix-5.0.0部署
phoenix安装部署原创 2024-08-01 10:18:49 · 592 阅读 · 0 评论 -
HBase shell数据操作汇总
Hbase数据表及数据操作原创 2024-08-01 09:25:20 · 321 阅读 · 0 评论 -
Hbase2.2.0集群部署
Hbase集群部署原创 2024-08-01 09:11:53 · 276 阅读 · 0 评论 -
Hive查询操作汇总
Hive查询操作原创 2024-07-31 15:12:24 · 1084 阅读 · 0 评论 -
dbeaver连接hive操作
dbeaver连接hive原创 2024-07-31 09:05:33 · 393 阅读 · 0 评论 -
Hive数据表导入导出操作
hive针对数据表导入导出操作原创 2024-07-30 23:21:01 · 1377 阅读 · 0 评论 -
Hive数据表操作(DDL)
Hive表操作原创 2024-07-30 15:56:26 · 1324 阅读 · 0 评论 -
Hive数据库创建与删除操作(DDL)
Hive数据库操作原创 2024-07-30 11:14:38 · 285 阅读 · 0 评论