分享
扫一扫
超级会员免费看
日复一日伐树的熊哥
专攻JAVAweb开发，大数据开发，机器学习领域的研发工作
展开
-
flink1.13.2版本的对应的hive的Hcatalog的使用记录
【代码】flink1.13.2版本的对应的hive的Hcatalog的使用记录。原创 2023-09-18 14:31:31 · 330 阅读 · 0 评论 -
cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法
第一个参数代表是否在一个节点分配多个container，第二个参数代表在一个节点上一次性最多分配几个container。CDH6.3.0中第一个参数默认为true，则意味着会在一个节点上分配多个container，则会有多个taskmanager。第二个参数默认为-1，则意味着不限制，则会一次性分配较多container。原创 2023-08-18 15:52:26 · 896 阅读 · 0 评论 -
HIVE3.1.2外部表映射hdfs的ORC文件，列值为空的问题解决办法
HIVE3.1.2外部表映射hdfs的ORC文件，列值为空的问题解决办法。因为ORC的schema列名包含大写字母，导致列值被置为空。增加大写字母敏感属性值为false即可。或者创建表的时候指定该属性值。原创 2023-06-13 11:15:38 · 431 阅读 · 0 评论 -
公司大数据CDH技术选型升级为EMR集群的技术调研
公司大数据CDH技术选型升级为EMR集群的技术调研；开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、StarRocks、Flink、Presto、ClickHouse等开源大数据计算和存储引擎。EMR计算资源支持灵活的弹性控制。原创 2023-05-15 13:37:34 · 684 阅读 · 0 评论 -
基于kafka的flink1.13.2的log4j日志系统
基于kafka的flink1.13.2的log4j日志系统原创 2023-05-09 11:17:23 · 174 阅读 · 0 评论 -
flink1.13.2的大数据ELK日志系统使用手册
flink1.13.2的大数据ELK日志系统使用手册。增加了 -yD env.java.opts=“-Dflink_job_name=DemoTask” 这个传参，其中DemoTask为任务名称，视具体任务而变;如果使用jenkins发布任务的话，注意参数特殊字符转义。1.1.3. 现jenkins发布命令。 根据错误日志内容查。原创 2023-05-09 10:18:54 · 217 阅读 · 0 评论 -
flink1.13.2的log4j日志打印添加任务名和容器id的解决办法
【代码】flink1.13.2的log4j日志打印添加任务名和容器id的解决办法。原创 2023-05-09 10:07:03 · 578 阅读 · 0 评论 -
记一次linux进程杀死排查过程
字母后面第一个数字进程号即为该进程父进程号。kill -9 进程号 发现杀不死进程。cat /proc/进程号/stat。查看父进程关联的java程序。jps查看进程信息pid。原创 2023-02-10 18:07:14 · 130 阅读 · 0 评论 -
CDH6.3.2 ORC文件格式 Spark引擎查询数组越界异常
org.apache.hive.service.cli.HiveSQLException: java.io.IOException: java.lang.ArrayIndexOutOfBoundsException: 7CDH6.3.2 ORC spark hive原创 2023-01-13 16:01:33 · 608 阅读 · 0 评论 -
SQuirrel客户端连接工具，phoenix的可视化客户端
squirrel-sql-4.2.0-standard.jar SQuirrel客户端连接工具，phoenix的可视化客户端连接工具原创 2023-01-03 14:43:06 · 327 阅读 · 0 评论 -
flink1.13.2 text文本数据迁移为orc+snappy数据解决方案
flink1.13.2 text文本数据迁移为orc+snappy存储格式，orc,snappy,textFile原创 2022-12-05 17:35:59 · 1045 阅读 · 1 评论 -
flink1.13.2 Streaming File Sink产生大量orc小文件的问题解决方案
flink1.13.2 StreamingFileSink 大量orc小文件问题 ，hive concatenate原创 2022-12-05 17:22:51 · 1162 阅读 · 0 评论 -
大数据仓库flink1.13.2的ODS层存储代码示例
【代码】大数据仓库flink1.13.2的ODS层存储代码示例。原创 2022-11-24 17:52:46 · 627 阅读 · 0 评论 -
大数据开发数据仓库存储方案建议书
大数据数据仓库存储解决方案调研，实时数仓和离线数仓存储解决方案，hadoop存储文件格式和压缩算法选型原创 2022-11-16 12:48:32 · 745 阅读 · 0 评论 -
flink1.13.2的log4j2日志系统解决办法
flink1.13.2的log4j2日志系统使用方法原创 2022-11-09 18:48:49 · 1032 阅读 · 3 评论 -
flink1.13.2源码编译遇到的坑（三）Browserslist: caniuse-lite is outdated. Please run next command `npm update
flink1.13.2源码编译Browserslist: caniuse-lite is outdated. Please run next command `npm update原创 2022-11-07 10:37:16 · 737 阅读 · 0 评论 -
flink1.13.2源码编译遇到的坑（二）Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6
flink源码编译遇到的坑 2. Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install node and npm) on project flink-runtime-web_2.11原创 2022-11-03 15:24:59 · 1139 阅读 · 2 评论 -
flink1.13.2源码编译遇到的坑1.Failed to execute goal org.apache.rat:apache-rat-plugin:0.12
flink1.13.2源码编译遇到的坑1. Failed to execute goal org.apache.rat:apache-rat-plugin:0.12:check (default) on project flink-parent原创 2022-11-02 17:41:16 · 764 阅读 · 0 评论 -
flink任务启动抛出mysql数据库连接过多异常message from server:“Too many connections“解决办法
flink任务抛出mysql连接过多异常 Too many connections原创 2022-10-31 14:48:56 · 1968 阅读 · 0 评论 -
FLINK任务重启 Streaming File Sink落地hdfs的中间状态In-progress格式文件处理方案
Streaming flink sink落地hdfs文件处于in-progress中间状态文件格式的解决方法原创 2022-10-31 14:29:05 · 915 阅读 · 0 评论 -
解决HIVE表插入中文字段注释乱码的问题
HIVE表中文字段中文乱码解决方案原创 2022-10-14 09:56:56 · 1189 阅读 · 0 评论