- 博客(16)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 使用pbkdf2_sha256加密密码
如果你忘记管理员密码，而且加密方式是pbkdf2_sha256，可以重置密码，我是重置了hue的管理员密码
2023-08-11 18:20:48
1042
3
翻译 Hive 分区表的数据导入Doris
Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。因为 Doris 表里的数据是有序的，所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序，想对于 Spark load 来完成海量历史数据迁移，对 Doris 的集群资源占用要比较大，这种方式是在用户没有 Spark 这种计算资源的情况下使用，如果有 Spark 计算资源建议使用 Spark load。......
2022-08-12 17:36:40
4062
2
原创 Hive中窗口函数的使用
unbounded 无边界preceding 往前following 往后unbounded preceding 往前所有行，即初始行n preceding 往前n行unbounded following 往后所有行，即末尾行n following 往后n行current row 当前行
2022-07-06 14:31:31
310
原创 python 管理yarn资源中任务状态
通过api接口，操作yarn资源管理中的人物#!/usr/local/python3/bin/python3import requestsimport jsonimport datetimefrom datetime import datetimefrom datetime import timezonefrom datetime import timedelta#ip地址ip="192.168.0.160"#job运行时长，需要kill的任务，单位:秒task_interval=
2021-03-13 14:47:15
1258
转载 CDH默认Dynamic Allocation 动态分配
转自：https://blog.youkuaiyun.com/zyzzxycj/article/details/81011540spark.dynamicAllocation.enabled是否开启动态资源配置，根据工作负载来衡量是否应该增加或减少executor，默认false以下相关参数：spark.dynamicAllocation.minExecutors动态分配最小executor个数，在启动时就申请好的，默认0spark.dynamicAllocation.maxExecutors
2021-01-26 11:16:07
226
原创 Spark之RDD输出到不同的文件名和目录
import org.apache.hadoop.io.NullWritableimport org.apache.hadoop.mapred.lib.MultipleTextOutputFormat/** * ClassName: qqqq * Author: yage.liu * Date: 2017年12月01日 17:02 * Version: V1...
2019-12-01 17:06:10
1070
2
原创 spark 处理当前数据所在的文件名称和目录
package com.lyg.coreimport org.apache.spark.SparkContextimport org.apache.spark.rdd.{HadoopRDD, NewHadoopRDD, RDD}import org.apache.spark.sql.SparkSession/** * ClassName: ReadDataToDirectory...
2019-12-01 16:46:19
972
原创 spark+phoenix 通过jdbc读取表中的数据
废话不说，直接代码，解决燃煤之急读取phoenix表中数据package com.cctsoft.spark.offline;import org.apache.spark.sql.AnalysisException;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark...
2018-06-08 11:15:36
6452
2
原创 Spring Boot 集成MyBatis 访问Hbase-Phoenix
第一步：引入需要的maven org.apache.phoenix phoenix-core 4.13.0-HBase-1.3 io.netty netty-all 4.0.4.Final 第二步：配置spring boot的数据源package com.cctsoft.config;/** * @Author kevie liu
2017-11-23 09:42:33
14597
1
原创 使用Java代码实现实时消费kafka的消息
首先maven构建开发项目，配置pom.xml文件 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 om.cctsoft kafkaTest 0.0.1-SNAPSHOT ja
2017-11-03 09:52:18
12447
原创 hadoop环境变量配置
第一步：配置hadoop home 第二步：配置path第三步：测试 cmd>hadoop version 报错！原因是jdk的路径有空格修改成：C:\PROGRA~1\Java\jdk1.8.0_152如下图：
2017-10-26 10:24:46
1188
apache-hadoop-3.1.0-winutils-master本地开发调试.zip
2019-11-14
hadoop-common-2.8.*-bin(hadoop本地执行配置)
2017-10-26
Kettle+3.2使用说明书.pdf
2015-06-01
spark技术文档
2015-06-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人