- 博客(9)
- 收藏
- 关注
RSS订阅原创 我的创作纪念日
提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。
2023-07-14 10:57:41
74
1
原创 CDP集群删除kerberos后，solr启动报zookeeper相关错误
在zookeeper配置页面搜索java添加-Dzookeeper.skipACL=yes。
2023-05-22 18:00:06
240
1
原创 spark递归行转列，list转dataset
SparkSession spark = SparkSession .builder() .master("local") .appName("JavaFPGrowthExample") .getOrCreate(); Dataset<Row> csv = spark.read().option("header","true").csv("E:\\id.
2021-07-09 14:59:53
1060
原创 spark 协同过滤 driver 运行时栈溢出。
协同过滤，物品列通常在100以内。最大迭代次数是10，1)Driver的JVM参数：-Xmx，-Xms，如果是yarn-client模式，则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值，-Xmx，-Xms值一样大小；如果是yarn-cluster模式，则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。PermSize，如果是yarn-client模式，则是默认读取spark-class文件
2021-03-27 11:00:01
325
原创 spark udf 获取拼音首字母
sparkSession.udf().register("TEXTSEG", new UDF1<Object, String>() { private static final long serialVersionUID = 1L; @SuppressWarnings("unchecked") @Override public Stri.
2020-12-24 15:40:38
338
原创 spark简单map操作
SparkSession.Builder builder = SparkSession.builder().appName("test").master("local") .config("spark.sql.orc.impl", "native");// .config("spark.sql.streaming.checkpointLocation","data/checkpoint/1"); SparkSession .
2020-12-24 15:24:11
775
原创 利用poi读取excel
public class PoiUtil {public static List formatCell(Row row) {List rowValue = new ArrayList();if (row != null) {int columnCount = row.getPhysicalNumberOfCells();Object value =
2017-12-04 19:18:59
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人