merrily01的博客

object XXX is not a member of package

merrily01 — Mon, 13 Nov 2023 15:03:48 +0800

object is not a member of package

如何创建crontab定时任务

merrily01 — Mon, 05 Sep 2022 10:40:10 +0800

如何创建crontab定时任务

spark history server 本地路径

merrily01 — Wed, 09 Jun 2021 14:38:51 +0800

本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/

Spark启动HistoryServer

merrily01 — Tue, 02 Feb 2021 21:32:03 +0800

1.spark-defaults.conf中添加配置，开启eventLog并指定存放路径： spark.eventLog.enabled=true spark.eventLog.compress=true spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/ 2. $SPARK_HOME/sbin下，执行 ./start-history-server.sh 启动history-server：需要注意的是,start-history-server..

京东Spark自研Remote Shuffle Service在大促中的应用实践

merrily01 — Tue, 19 Jan 2021 20:42:21 +0800

前言本文讨论了京东Spark计算引擎研发团队关于自主研发并落地Remote Shuffle Service，助力京东大促场景的探索和实践。近年来，大数据技术在各行各业的应用越来越广泛，Spark自UCBerkeley的AMP实验室诞生到如今3.0版本的发布，已有十年之久，俨然已经成为大数据计算领域名副其实的老将。虽经过不断的迭代和优化，Spark功能日趋成熟与完善，但在性能及稳定性方面，仍然还有很多可以提升的地方。Shuffle过程作为MapReduce编程模型的性能瓶颈，就是其中重点之一。我们希.

IDEA中Spark源码接口或方法少实现类

merrily01 — Wed, 16 Dec 2020 10:48:32 +0800

1. 现象：举例说明如： SparkApplication # start方法，被多个类重写，但有时候点左侧overrides看实现状况时，可能会缺少某几个类的实现调用； 2. 原因：比如缺少yarn或kubernetes具体类的实现，原因一般是因为Spark项目中module的引用出了问题；我的问题是因为总切换2.4和3.0版本，modules中各个模块同时引入了2.11和2.12版本，module引用冲突导致的； 3. 解决办法： File -> Project..

spark打包命令

merrily01 — Tue, 24 Nov 2020 17:02:30 +0800

./dev/make-distribution.sh --name hadoop2.7.1 --tgz -Phadoop-2.7 -Psparkr -Phive -Phive-1.2 -Phive-thriftserver -Pyarn -Pkubernetes -DskipTests -Dmaven.test.skip=true

spark触发adaptive skewed join的例子code

merrily01 — Wed, 18 Nov 2020 23:34:29 +0800

1. 启动spark-shell，参数如下： spark-shell --conf spark.driver.allowMultipleContexts=true --conf spark.sql.adaptive.maxNumPostShufflePartitions=5 --conf spark.shuffle.statistics.verbose=true --conf spark.sql.adaptive.enabled=true --conf spark.sql.autoBroadcastJo

Spark Shuffle 例子

merrily01 — Mon, 09 Nov 2020 14:41:09 +0800

sc.parallelize(0 to 0xff, 100).map(i => (i ^ 2, i << 2, i & 2, i | 2)).repartition(100).count()

this file is idented with 4 spaces instead of 2

merrily01 — Mon, 12 Oct 2020 14:12:42 +0800

Idea 调整不同类型文件的缩进大小： Preference-> Editor -> Code Style -> Java / Scala-> Tabs / Indents -> Other -> Ok

Error: Could not find or load main class XXX 或 Main class cannot resolve XXX

merrily01 — Fri, 09 Oct 2020 15:28:13 +0800

非maven项目，简简单单的Scala Object main函数调方法，想run或debug起来，结果idea报错Error: Could not find or load main class XXX 不是啥sdk或 *..iml的问题，需要确认的是，是否将要调试的class类所在的根目录设置为sources root 具体: 参考： https://stackoverflow.com/questions/21884217/cant-choose-class-as-main-class-i.

Java中String转Int

merrily01 — Fri, 14 Aug 2020 11:05:51 +0800

两种办法： 1. 用Integer的parseInt()： 1 2 3 4 5 6 Stringstr="123"; try{ inta=Integer.parseInt(str); }catch(NumberFormatExceptione){ e.printStackTrace(); } 2.用Integer的valueOf()： ...

Spark On K8s Executor失败不删除（方便调试）

merrily01 — Mon, 10 Aug 2020 17:09:27 +0800

--conf spark.kubernetes.executor.deleteOnTermination=false

Spark编码格式校验，引包顺序

merrily01 — Tue, 28 Jul 2020 11:32:51 +0800

import顺序，空行以及格式: java.* scala.* 第三方包按字母序如 com.* org.* org.apache.spark.*

如何使用火焰图对Spark的executor的CPU使用率进行profile？具体步骤，如何操作？

merrily01 — Thu, 23 Jul 2020 21:40:27 +0800

需要对executor CPU进行profile，看调用栈，有没有函数性能瓶颈，想用火焰图。 1. 登录executor所在NM节点； 2. 通过ps -ef | grep appId/executor 结合 jps 找到相应executor进程，找到进程pid； 3. 通过以下脚本，获取（定时抓取）供profile用的jstack和top等文件： #!/bin/bash if [ $# -eq 0 ]; then echo >&2 "Usage: jstackSeries

spark-sql显示表头header

merrily01 — Mon, 25 May 2020 18:40:52 +0800

spark-sql --hiveconf hive.cli.print.header=true

hive server 2 服务端及beeline client客户端远程debug方式

merrily01 — Fri, 24 Apr 2020 10:43:59 +0800

hive server 2 服务端代码远程debug调试方式： 1. idea 添加debug 远程调试，如下： 2.将idea 远程debug参数添加到vi hadoop_conf/hadoop-env.sh 中HADOOP_CLIENT_OPTS 配置项中，如： export HADOOP_CLIENT_OPTS="-Xmx5g -agentlib:jdwp=tran...

常用docker知识【持续更新】

merrily01 — Fri, 17 Apr 2020 10:59:49 +0800

1. 基于Dockerfile制作一个镜像： docker build -t docker tag docker push 2. 基于某个镜像启动一个pod： docker run -i -t repo.XX.local/centos/centos-jdk:7.5-XX

scaladiagrams看scala类图依赖关系

merrily01 — Wed, 08 Apr 2020 17:16:15 +0800

1. clone并buildscaladiagrams： git clone https://github.com/mikeyhu/scaladiagrams.git cd scaladiagrams ./build 注意： build过程可能遇到本地sbt问题，详见：https://blog.youkuaiyun.com/merrily01/article/details/105391398 2...

Error wrapping InputStream in GZIPInputStream: java.io.EOFException

merrily01 — Wed, 08 Apr 2020 16:50:20 +0800

问题：本地编译scaladiagrams，报错如下，看日志应该是本地sbt环境问题： Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0 [info] Loading global plugins from /Users/XXXX/.s...

merrily01的博客

object XXX is not a member of package

如何创建crontab定时任务

spark history server 本地路径

Spark启动HistoryServer

京东Spark自研Remote Shuffle Service在大促中的应用实践

IDEA中Spark源码接口或方法少实现类

spark打包命令

spark触发adaptive skewed join的例子code

Spark Shuffle 例子

this file is idented with 4 spaces instead of 2

Error: Could not find or load main class XXX 或 Main class cannot resolve XXX

Java中String转Int

Spark On K8s Executor失败不删除（方便调试）

Spark编码格式校验，引包顺序

如何使用火焰图对Spark的executor的CPU使用率进行profile？具体步骤，如何操作？

spark-sql显示表头header

hive server 2 服务端及beeline client客户端 远程debug方式

常用docker知识【持续更新】

scaladiagrams看scala类图依赖关系

Error wrapping InputStream in GZIPInputStream: java.io.EOFException

hive server 2 服务端及beeline client客户端远程debug方式