
spark
文章平均质量分 94
L0nyT@n9
桑榆非晚
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【大数据安全分析】图计算在安全方面的应用思考
图计算 在安全分析方向的思考原创 2022-01-18 16:36:15 · 6598 阅读 · 0 评论 -
Spark 流数据处理简介
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎,可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序,包含一个Driver program和若干ExecutorSparkContext: Spark...原创 2018-12-20 12:01:35 · 3049 阅读 · 0 评论 -
为Spark 程序添加单元测试
为Spark 程序添加单元测试一、ScalaTest 测试框架二、Spark Application 该如何进行单元测试?三、 Spark Fast Tests 组件相比于传统代码,Spark是比较难调试的。程序运行在集群中,每次修改代码后,都要上传到集群进行测试,代价非常大,所以优先在本地进行单元测试,可以减少小模块的逻辑错误。一、ScalaTest 测试框架 ScalaTest...原创 2018-12-20 16:15:16 · 3118 阅读 · 0 评论