Scala
关注
分享
扫一扫
文章平均质量分 86
scala 开发实战
BIT_666
天道酬勤，厚积薄发
展开
-
Java - 获取 Jar 包内的 pom.xml 文件
获取 Java Jar 包内文件。原创 2023-12-28 08:00:00 · 2101 阅读 · 0 评论 -
Spark - 创建 _SUCCESS 文件与获取最新可用文件
Spark 为文件、文件夹生成 _SUCCESS 标识并获取最新可用文件。原创 2023-05-16 14:42:20 · 1340 阅读 · 2 评论 -
Spark - 获取一定时间内的 Hdfs 全部文件并读取
Spark 读取一定范围内的 Hdfs 文件。原创 2023-04-30 18:12:07 · 2323 阅读 · 1 评论 -
Scala / Java - 判断日期是否为 周末 or 节日
判断是否为假期 isHoliday、是否为周末 isWeekend。原创 2023-04-27 15:51:04 · 430 阅读 · 0 评论 -
Scala - 时间工具类 LocalDateTime 常用方法整理
Scala / Java LocalDateTime 常用方法整理。原创 2023-04-11 15:49:16 · 5950 阅读 · 1 评论 -
Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战
Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。原创 2023-04-06 10:50:46 · 1720 阅读 · 0 评论 -
Spark - Isotonic Regression 理论与实战
SparkIsotonic Regression 保序回归理论与实战。原创 2023-03-29 15:11:33 · 890 阅读 · 0 评论 -
Flink / Scala 实战 - 22.readFile with watchType 实战
Flink readFile PROCESS_CONTINUOUSLY 模式测试。原创 2023-03-24 08:00:00 · 274 阅读 · 2 评论 -
Spark - 继承 FileOutputFormat 实现向 HDFS 地址追加文件
Spark 继承 FileOutputFormat 实现向 HDFS 追加存储文件需求。原创 2023-03-22 08:00:00 · 796 阅读 · 1 评论 -
Spark - 数据倾斜实战之 skewness 偏度与 kurtosis 峰度 By ChatGPT4
ChatGPT4 指导下的 Spark Skewness 数据倾斜实战。原创 2023-03-20 08:00:00 · 1028 阅读 · 0 评论 -
Scala - Idea 项目报错 Cannot resolve symbol XXX
Idea Scala 项目报错 Cannot resolve symbol XXX。原创 2023-02-09 15:46:26 · 3767 阅读 · 1 评论 -
Flink / Scala - 19.Side Outputs 侧输出流简介与使用
Flink Side Outputs 实现侧边流输出与侧边流的窗口示例。原创 2023-01-18 15:55:54 · 581 阅读 · 2 评论 -
Spark / Java - atomic.LongAccumulator 与 Spark.util.LongAccumulator 计数使用
java.util.LongAccumulator 与 Spark.util.LongAccumulator 使用简介。原创 2023-01-10 19:27:20 · 618 阅读 · 3 评论 -
Spark 3.0 - 18 ML Word2vec 词向量化简介与实战
Spark 3.0 ML Word2Vec 简介与实践。原创 2023-01-05 09:28:58 · 659 阅读 · 0 评论 -
Spark 3.0 - 17 ML PCA 主成分分析理论与实战
Spark 3.0 ML PCA 主成分分析理论与实践。原创 2023-01-03 11:01:12 · 755 阅读 · 0 评论 -
Spark 3.0 - 16.ML SVD 奇异值分解理论与实战
Spark 3.0 ML 奇异值分解 SVD 理论与实战。原创 2022-12-31 10:49:59 · 728 阅读 · 1 评论 -
Spark 3.0 - 15.ML PIC 快速迭代聚类理论与实战
Spark 3.0 ML PIC Power Iteration Cluster 快速迭代聚类理论与实践。原创 2022-12-26 10:27:39 · 1021 阅读 · 15 评论 -
Spark 3.0 - 14.ML 高斯混合聚类理论与实战
Spark 3.0 ML 高斯混合模型 GMM 理论与实战。原创 2022-12-22 08:00:00 · 759 阅读 · 13 评论 -
Spark 3.0 - 13.ML Kmeans 聚类理论与实战
Spark 3.0 ML K-means原创 2022-12-19 08:00:00 · 680 阅读 · 6 评论 -
Spark 3.0 - 12.ML GBDT 梯度提升树理论与实战
Spark ML 3.0 GBDT 理论与实践。原创 2022-12-16 08:00:00 · 806 阅读 · 29 评论 -
Spark 3.0 - 11.ML 随机森林实现二分类实战
Spark 3.0 ML 之随机森林实战讲解。原创 2022-12-13 08:00:00 · 1501 阅读 · 19 评论 -
Spark 3.0 - 10.Ml 常用 Sample 采样方法
Spark 3.0 ML 常用采样方法。原创 2022-12-05 10:17:25 · 861 阅读 · 17 评论 -
Spark 3.0 - 9.Ml 朴素贝叶斯中文分类分析与实战
Spark 3.0 ML Naive Bayes 朴素贝叶斯理论与实践。原创 2022-12-02 10:01:28 · 761 阅读 · 4 评论 -
Spark 3.0 - 8.ML Pipeline 之决策树原理与实战
Spark ML 决策树原理分析与实战。原创 2022-11-30 08:00:00 · 967 阅读 · 18 评论 -
Spark 3.0 - 7.LR 多分类实现影评预测电影评分与指标评测
Spark 3.0 ML 通过 LR 多分类实现影评预测电影评分。原创 2022-11-28 08:00:00 · 1127 阅读 · 36 评论 -
Spark 3.0 - 6.ML 自定义 Transformer 踩坑大全
Spark 3.0 ML x Scala 自定义 Transformer 与踩坑大全。原创 2022-11-24 08:00:00 · 557 阅读 · 4 评论 -
Spark 3.0 - 5.ML Pipeline 实战之电影影评情感分析
Pipeline 实战之豆瓣影评情感分析。原创 2022-11-22 08:00:00 · 2309 阅读 · 30 评论 -
Spark 3.0 - 4.Pipeline 管道的工作流程
Spark ML Pipeline 管道的工作流程与示例。原创 2022-11-21 08:00:00 · 760 阅读 · 2 评论 -
Spark 3.0 - 3.ML 基本流程与 LR 参数详解、实战
Spark 3.0 ML 基本流程与 LR 参数详解、实战。原创 2022-11-19 08:00:00 · 488 阅读 · 0 评论 -
Spark 3.0 - 2.机器学习核心 DataFrame 应用 API 与操作详解
Spark 3.0 DataFrame API 详解。原创 2022-11-17 08:10:31 · 974 阅读 · 32 评论 -
Spark 3.0 - 1.Spark 新特性简介与 WordCount Demo 实践
Spark 3.0 新特性介绍与快速搭建 Spark 3.0 项目指南。原创 2022-11-15 08:00:00 · 944 阅读 · 35 评论 -
Flink / SQL - 7.一文搞懂常规 Sql TopN 与 Sql Window TopN
Flink SQL 常规 TopN 与 Window Top 详解与示例。原创 2022-11-13 18:30:55 · 1024 阅读 · 10 评论 -
Flink / SQL - 6.Tumble、Slide、Session、Over Window 详解
Flink SQL Table Window 讲解与示例。原创 2022-11-03 16:09:50 · 1185 阅读 · 7 评论 -
Flink / SQL - 5.Table API 与 SQL 配置 ProcessTime 与 EventTime
Flink SQL 通过 DataStream To Table 或 DDL 指定 EventTime 与 ProcessTime 并使用 TimeWindow 聚合计算。原创 2022-11-01 12:59:53 · 1104 阅读 · 11 评论 -
Flink / SQL - 4.DataGen 与 Types 配置
Flink SQL 使用 DataGen 生成数据详解。原创 2022-10-31 11:38:44 · 1113 阅读 · 13 评论 -
Flink SQL - 3.Table 与 DataStream API 集成
Flink SQL DataStream API 集成语法展示。原创 2022-10-26 12:55:42 · 964 阅读 · 0 评论 -
Flink SQL - 2.Table API & SQL 概述与常规 API
Flink SQL Table API 与 SQL 概述以及常规 API 介绍。原创 2022-10-25 15:15:00 · 857 阅读 · 0 评论 -
Flink SQL - 1.Table API && Sql 入门 Demo
Flink Table API 与 Sql 简易入门 Demo 使用与分析。原创 2022-10-24 16:00:52 · 1082 阅读 · 2 评论 -
Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查
Flink running beyond physical memory limits Container 被 kill 问题分析与排查。原创 2022-10-24 11:23:23 · 1967 阅读 · 0 评论 -
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。原创 2022-10-22 17:31:25 · 603 阅读 · 0 评论