- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive解决weekofyear跨年周异常问题
-- year_weeksselect year_weeks,substr(calendar_date_a,1,10) calendar_datefrom( select ceiling(dayofyear(calendar_date)/7) year_weeks,calendar_date_a from( select calendar_date,calendar_date calendar_date_a from csv_input where --..
2021-03-22 21:25:19
1872
原创 Azkaban 报错Unsupported or unrecognized SSL message
报错信息2020/12/25 21:29:55.312 +0800 WARN [log] [Azkaban] EXCEPTION javax.net.ssl.SSLHandshakeException: Received fatal alert: certificate_unknown at sun.security.ssl.Alert.createSSLException(Alert.java:131) at sun.security.ssl.Alert.createS
2020-12-25 21:37:26
8652
原创 Spark On Yarn 的两种模式
在Spark StandLone模式中，一个 Worker 只能运行一个 Application 所属的一个 Executor，而不同的 Application 的 Executor 可以运行在一台 Worker 上。Spark On Yarn每个Executor作为YARN容器（container）运行，Spark可以使得多个Tasks在同一个容器（container）里运行。Yarn可以自由选择Executor的数量。Spark On Yarn ClusterSp..
2020-12-05 21:10:02
490
原创 Spark Scala、Java、Java_Lambda写WordCount案例
目录Spark ScalaJavajava_Lambda提交Spark Scalapackage com.doit.Spark.day01import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object SparkRDD { def main(args: Array[String]): Unit = { //神奇的大集合 val conf: Sp
2020-11-22 22:48:04
300
原创 Redis中的BitMap、HyperLogLog、一致性Hash算法
BitMap数据结构HyperLogLog数据结构Redis中的HyperLogLogHyperLogLog的核心思想Redis集群一致性Hash算法使用Hash取模的问题一致性Hash算法一致性Hash算法的容错性和可扩展性Hash环的数据倾斜问题BitMap数据结构操作的最小单元是比特位（bit）位图，由比特位（bit）组成的数组。底层的数据类型实际上是字符串，字符串的本质上是二进制大对象，所以可以将其视为位图。实际生...
2020-11-19 23:40:16
529
原创 Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive
Hive 执行sql报 code2 错误INFO : Query ID = root_20201015210009_fc36f3cc-2533-4857-af24-79474f803ad9INFO : Total jobs = 1INFO : Starting task [Stage-5:MAPREDLOCAL] in serial modeINFO : Execution completed successfullyINFO : MapredLocal task succeededI
2020-10-16 11:21:02
3993
转载 HIVE日期函数
1.时间戳函数 日期转时间戳：从1970-01-01 00:00:00 UTC到指定时间的秒数 获得当前时区的UNIX时间戳: select unix_timestamp(); 1533716607 将指定的时间转为UNIX时间戳 :select unix_t...
2020-10-15 00:24:31
362
原创 Java基础语法
关键字被Java语言赋予了特定含义的单词所有关键字都需要小写标识符给类、接口、方法起名的字符序列组成规则：大小写字母有数字_和$注意：区分大小写不能以数字开头不能是关键字命名规则给类、接口命名（大驼峰）如果是一个单词，首字母大写如果是多个单词，所有首字母大写给方法和变量命名（小驼峰）如果是一个单词，全部小写如果是多个单词，从第二个单词开始首字母大写给常量命名如果是一个单词，全部大写如果是多个单词，全部大写，单词之间用_隔开包的定义域名的倒写e
2020-07-25 11:18:35
136
Balsamiq Wireframes 4.1.2.rar
2020-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人