一个在成长的程序猿-优快云博客

原创 Spark——自定义UDAF函数

弱类型用户自定义UDAF函数继承UserDefinedAggregateFunction类 import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction} import org.apache.spark.sql.types.{DataType, D

2020-07-04 12:04:15 811

原创 Spark——自定义累加器accumulator

自定义累加器 1.继承AccumulateV2 2.重写isZero() 当前累加器是否为初始化状态 copy() 复制累加器对象 reset() 置空累加器 add() 向累加器中增加数据 merge() 合并累加器 value() 获取累加器中的结果 import java.util import org.apache.spark.rdd.RDD import org.apache.spark.util.{AccumulatorV2, LongAccumulator} import org.apac

2020-07-04 08:48:12 474

原创大数据笔记之Flume——Source

Source提供了两种机制： PollableSource（轮询拉取）和EventDrivenSource（事件驱动） Source继承的关系图在图我们可以看到NetcatSource，ExecSource和HttpSource属于事件驱动模型。KafkaSource，SequenceGeneratorSource和JmsSource属于轮询拉取模型。 PollableSource实现的代码实例 public class MySource extends AbstractSource implement

2020-06-20 11:32:10 346

原创 HDFS写入的问题

今天在使用Flink自定义Sink往HDFS中写入数据时，程序运行失败并报下面的错，主要是因为没有权限写入HDFS org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/flink/MySink001/2020-05-24--17 解决方法：在 hdfs-site.xml配置文件中添加下面参数然后重启hadoop就好了： <pro

2020-05-24 17:58:27 578

转载 sklearn.neural_network.MLPRegressor参数介绍

sklearn.neural_network.MLPRegressor(hidden_layer_sizes=(100, ), activation=‘relu’, solver=‘adam’, alpha=0.0001, batch_size=‘auto’, learning_rate=‘constant’, learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, v

2020-05-21 09:50:33 8348

原创 Flink遇见错误的笔记

flink在提价任务时遇见的错误 The server responded with: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit job. 原因：把linux输入文件的路径写错了

2020-05-19 16:30:17 371

原创 Azkaban调度器常见问题

Azkaban 今天在安装完azkaban，登录web页面的时候遇到的问题 javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:710) at sun.security.ssl.InputRecord.read(InputRecord.java:527) at sun

2020-05-11 11:10:50 625

原创 Linux笔记——date用法

date +%F 显示年月日2020-05-10 date + %T 显示时分秒14:36:52 date -d “-1day” 显示前一天信息 date -d “1day” 显示后一天信息 date -d “1month” 显示后一月信息 date -d “1year” 显示后一年信息设置时间手动date -s “20200510 12:00:00” 自动ntpdate ntp1.aliyun.com ...

2020-05-10 14:54:33 227

原创 Hive -e,-f

Hive -e和-f的用法： **hive -e 后面 + sql语句 hive -f 后面 + 文件 hive -f 的某个文件的扩展名可以是.txt .sql .log .hql**

2020-05-10 14:34:59 303

原创 Hive笔记——union与union all的区别

Union与Union all区别 1）准备两张表 tableA tableB id　　name　　score id　　name　　score 1　　　a　　　　80 1　　 d　　　　48 2　　 b　　　　79 2　　　e　　　　23 3　　 c　　　68 3　　　c　　　　86 2）采用union查询 select name from ta

2020-05-09 14:06:23 539

原创 Hive笔记——concat_ws,concat,group_concat函数

concat_ws()函数作用：用来指定参数之间的分隔符语法：concat_ws(分隔符，str1，str2，…) 例如：select concat_ws('_', id, name) as con_ws from info limit 1; concat()函数作用：用来将多个字符串拼成一个字符串语法：concat(str1，str2，…) 例如：select concat(id, ',', name) as con from info limit 1; group_concat()函数作用：用

2020-05-09 10:05:23 989

原创 Hive笔记——collect_list,collect_set

这两个函数都是将分组数据的某列变成一个数组，不同的是collect_list是不去重，collect_set是去重 collect_set函数 1）创建原数据表 drop table if exists stud; create table stud (name string, area string, course string, score int); 2）向原数据表中插入数据 insert into table stud values('zhang3','bj','math',88); insert

2020-05-09 09:50:26 412

m0_46581341的博客