- 博客(6)
- 收藏
- 关注
RSS订阅原创 Apache Flume 使用指南
本文介绍了Apache Flume的主要组件和使用方法。Flume是一个分布式日志采集系统，由Source、Channel和Sink三大核心组件构成。文章详细说明了安装步骤、基础使用命令（包括Linux和Windows环境下的配置差异），并重点介绍了多种Source类型（Netcat、Exec、Spooldir、TAILDIR、Kafka）、Channel类型（内存和文件）以及Sink类型（文件、日志、Kafka）的配置方法。特别强调了生产环境中推荐使用TAILDIR Source和文件Channel以确保
2025-08-15 23:42:48
621
原创 Spark Streaming实时计算实战指南
Spark Streaming是基于Spark Core的实时计算框架，采用微批处理模式（BatchInterval时间间隔划分数据流），支持Kafka、HDFS等多种数据源。
2025-08-15 10:00:00
482
原创 基于 Hive 的地级市恩格尔系数分析与预测
基于Hive的地级市恩格尔系数分析与预测系统项目，通过大数据技术对全国地级市消费数据进行处理分析。项目采用Spark+Hive技术栈，使用Scala实现数据清洗（处理缺失值），Python构建ARIMA时间序列预测模型填补缺失值。数据仓库设计包含ODS、DWD、DWS三层架构，通过Flask实现Web可视化展示。系统可计算城镇/农村恩格尔系数，并预测未来趋势，为区域经济分析提供数据支持。技术特点包括：1）Spark分布式处理原始CSV数据；2）ARIMA模型智能预测缺失值；3）Hive数据仓库分层存储；4）
2025-08-14 18:19:29
790
原创 Apache Sqoop 安装与使用指南
Apache Sqoop 安装与使用摘要 Sqoop 是 Hadoop 与关系型数据库间数据传输工具。安装步骤包括：1)下载解压 Sqoop 1.4.6；2)复制 Hive 依赖包解决常见异常；3)配置环境变量；4)修改 sqoop-env.sh 设置 Hadoop 相关路径；5)添加 MySQL JDBC 驱动。使用时可执行多种数据导入操作：全量导入 HDFS/Hive、条件查询导入、指定列导入、并行导入（通过 split-by 指定分区字段）等。关键参数包括 --connect（数据库连接）、--tab
2025-08-14 18:02:22
800
原创 Git常用命令
环境配置 下载安装git: Git (git-scm.com) 安装完成后:右击鼠标 看到 Git GUI Here 跟 Git Bash Here 及安装成功 右击 : 点击 Git Bash Here 设置及全局用户名 git config --gloabl user.name "" 设置全局邮箱 git config --gloabl user.email "" 获取Git仓库 获取Git仓库有两种方式: 在本地...
2022-03-22 08:28:59
176
原创 在IDEA中使用Git 忽略文件也被提交到暂存区
以下目录可能包含被忽略文件,是否要强制提交 确认提交.gitignore中忽略的也会被提交到暂存区域
2022-03-22 08:15:59
442
Python图书馆可视化系统管理
2025-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人