- 博客(16)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 使用pbkdf2_sha256加密密码
如果你忘记管理员密码，而且加密方式是pbkdf2_sha256，可以重置密码，我是重置了hue的管理员密码
2023-08-11 18:20:48
1474
3
翻译 Hive 分区表的数据导入Doris
Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。 因为 Doris 表里的数据是有序的，所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序，想对于 Spark load 来完成海量历史数据迁移，对 Doris 的集群资源占用要比较大，这种方式是在用户没有 Spark 这种计算资源的情况下使用，如果有 Spark 计算资源建议使用 Spark load。......
2022-08-12 17:36:40
4498
2
原创 Hive中窗口函数的使用
unbounded 无边界 preceding 往前 following 往后 unbounded preceding 往前所有行，即初始行 n preceding 往前n行 unbounded following 往后所有行，即末尾行 n following 往后n行 current row 当前行
2022-07-06 14:31:31
406
原创 python 管理yarn资源中任务状态
通过api接口，操作yarn资源管理中的人物 #!/usr/local/python3/bin/python3 import requests import json import datetime from datetime import datetime from datetime import timezone from datetime import timedelta #ip地址 ip="192.168.0.160" #job运行时长，需要kill的任务，单位:秒 task_interval=
2021-03-13 14:47:15
1380
转载 CDH默认Dynamic Allocation 动态分配
转自：https://blog.youkuaiyun.com/zyzzxycj/article/details/81011540 spark.dynamicAllocation.enabled 是否开启动态资源配置，根据工作负载来衡量是否应该增加或减少executor，默认false 以下相关参数： spark.dynamicAllocation.minExecutors 动态分配最小executor个数，在启动时就申请好的，默认0 spark.dynamicAllocation.maxExecutors
2021-01-26 11:16:07
274
原创 Spark之RDD输出到不同的文件名和目录
import org.apache.hadoop.io.NullWritable import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat /** * ClassName: qqqq * Author: yage.liu * Date: 2017年12月01日 17:02 * Version: V1...
2019-12-01 17:06:10
1151
2
原创 spark 处理当前数据所在的文件名称和目录
package com.lyg.core import org.apache.spark.SparkContext import org.apache.spark.rdd.{HadoopRDD, NewHadoopRDD, RDD} import org.apache.spark.sql.SparkSession /** * ClassName: ReadDataToDirectory...
2019-12-01 16:46:19
1025
原创 spark+phoenix 通过jdbc读取表中的数据
废话不说，直接代码，解决燃煤之急读取phoenix表中数据package com.cctsoft.spark.offline;import org.apache.spark.sql.AnalysisException;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark...
2018-06-08 11:15:36
6589
2
原创 Spring Boot 集成MyBatis 访问Hbase-Phoenix
第一步：引入需要的maven org.apache.phoenix phoenix-core 4.13.0-HBase-1.3 io.netty netty-all 4.0.4.Final 第二步：配置spring boot的数据源package com.cctsoft.config;/** * @Author kevie liu
2017-11-23 09:42:33
14706
1
原创 使用Java代码实现实时消费kafka的消息
首先maven构建开发项目，配置pom.xml文件 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 om.cctsoft kafkaTest 0.0.1-SNAPSHOT ja
2017-11-03 09:52:18
12674
原创 hadoop环境变量配置
第一步：配置hadoop home 第二步：配置path 第三步：测试 cmd>hadoop version 报错！ 原因是jdk的路径有空格 修改成： C:\PROGRA~1\Java\jdk1.8.0_152 如下图：
2017-10-26 10:24:46
1276
Kettle+3.2使用说明书.pdf
2015-06-01
hadoop-common-2.8.*-bin(hadoop本地执行配置)
2017-10-26
apache-hadoop-3.1.0-winutils-master本地开发调试.zip
2019-11-14
spark技术文档
2015-06-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人