星星的成长日记
热衷于分享各种干货知识,大家有想看或者想学的可以评论区留言,秉承着“开源知识来源于互联网,回归于互联网”的理念,分享一些日常工作中能用到或者比较重要的内容,希望大家能够喜欢,不足之处请大家多提宝贵地意见,我们一起提升,守住自己的饭碗。
展开
-
【经验03】spark处理离线数据速度缓慢遇到的坑
03-spark处理离线数据速度缓慢遇到的坑原创 2024-05-14 17:51:30 · 275 阅读 · 0 评论 -
【经验02】记录一次生产spark离线任务产生数据倾斜的问题处理
记录一次生产spark离线任务产生数据倾斜的问题处理原创 2024-05-09 17:18:08 · 274 阅读 · 1 评论 -
【经验01】spark执行离线任务的一些坑
spark跑离线任务的一些坑原创 2024-05-08 12:04:52 · 266 阅读 · 0 评论 -
Hadoop和hive一键启动脚本
Hadoop和hive一键启动脚本原创 2023-07-17 23:51:28 · 610 阅读 · 0 评论 -
解决Hadoop集群hive库建表中文和表数据乱码问题
解决Hadoop集群hive库建表中文和表数据乱码问题原创 2023-07-17 23:32:23 · 639 阅读 · 0 评论 -
HDFS体系结构及基本概念
HDFS体系结构及基本概念原创 2023-07-16 18:45:10 · 352 阅读 · 0 评论 -
分布式文件系统与HDFS的shell操作及查看元数据
分布式文件系统与HDFS的shell操作及查看元数据原创 2023-07-16 17:05:30 · 2348 阅读 · 0 评论 -
【持续更新】Hadoop笔记
Hadoop笔记原创 2023-07-16 09:28:18 · 283 阅读 · 0 评论 -
使用DataX同步数据(小白步骤,一看就懂)
datax同步以后数据。比如Oracle,SQL server,MySQL,Hadoop,pg,mdb原创 2023-07-02 12:55:04 · 456 阅读 · 0 评论 -
Oracle环境使用kettle循环导出数据(生产测试)
kettle循环导出数据原创 2023-05-24 14:06:45 · 601 阅读 · 0 评论 -
Oracle之可视化ETL任务调度设计接口实现方案
基于shell与Oracle自主开发的调度流程设计原创 2023-04-28 16:18:44 · 920 阅读 · 0 评论 -
工作中经常使用shell脚本
CPU_USER=`top -b -n1 | grep "Cpu(s)" | awk '{print $2 + $4}'` #获取CPU使用情况。DISK_USER=`df -h | awk '{print $5}' | sort -rn | head -1` #获取磁盘使用率。CPU_TEMP=`sensors | grep Tdie | awk '{print $2}'` #获取 CPU 温度。echo "CPU Usage: $CPU_USER%" #输出 CPU 使用情况。原创 2023-04-16 15:49:23 · 803 阅读 · 0 评论 -
Linux搭建Hadoop双节点集群及服务器扩展【超详细】
Linux搭建双节点Hadoop集群及多节点扩展详细步骤。步骤很详细,结合生产的场景搭建的原创 2023-03-29 10:53:48 · 531 阅读 · 0 评论 -
大数据系列——什么是hdfs?hdfs用来干什么的?
hdfs的讲解原创 2023-03-09 12:51:04 · 883 阅读 · 0 评论 -
最容易出错的 Hive Sql 详解
最容易出错的 Hive Sql 详解原创 2022-08-17 14:04:25 · 547 阅读 · 0 评论 -
hive中临时表的创建
hive中临时表的应用原创 2022-08-26 15:31:57 · 2326 阅读 · 0 评论 -
hive 优化的几种方式(转)
hive优化的几种方式原创 2022-09-01 17:45:26 · 165 阅读 · 0 评论 -
hive中的null处理方式
hive 中SQLnull的处理方式原创 2022-08-10 16:21:37 · 1525 阅读 · 0 评论 -
Hive OLAP多为立方体实现多维聚合函数计算
hive 多维立方体的实现原创 2022-09-08 10:34:31 · 225 阅读 · 0 评论 -
hive中case when的两种使用方法
hive中case when 的两种用法原创 2022-08-10 14:35:33 · 8411 阅读 · 0 评论 -
Hive里的With关键字用法(调优)
hive中with as 的用法实战原创 2022-08-10 13:59:42 · 5365 阅读 · 0 评论 -
hive insert values 方式
hive insert value的方式原创 2022-09-15 14:36:32 · 7430 阅读 · 0 评论 -
hive创建索引实战
hive创建索引原创 2022-09-01 09:57:17 · 1484 阅读 · 0 评论 -
hive 多维立方体
hive多维立方体的实现原创 2022-09-08 10:37:12 · 226 阅读 · 0 评论 -
创建hive事物表(模拟测试)
hive事物表的创建模拟测试原创 2022-08-26 15:46:15 · 793 阅读 · 0 评论 -
查找hive表的存储位置并查看表文件大小及分区文件名
查看元数据原创 2022-10-19 11:07:30 · 4169 阅读 · 0 评论 -
Hive查看表大小(所占的磁盘空间大小)
hive查看表信息原创 2022-10-19 10:49:20 · 3121 阅读 · 0 评论 -
Hive中rlike,like,not like,regexp区别与使用详解
Hive中rlike,like,not like,regexp区别与使用详解原创 2022-10-12 17:20:46 · 648 阅读 · 0 评论 -
hive项目实战01(连续更新)
hive 项目实战01原创 2022-08-09 18:01:11 · 622 阅读 · 0 评论