u012842247的专栏

Spark 核心概念图：Driver：是一个spark 作业运行的启动的一个Driver进程，作业的主进程，负责作业解析、生成stage，并调度Task到Executor上。SparkContext: 程序运行的核心，有DAGScheduler 划分每个阶段，底层TaskScheduler 划分给个阶段的具体任务。SchedulerBackend 管理整个集群中为正在运行的程序分...

1、Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'portrait' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$apache$spark...

1、范数是具有“长度”概念的函数。在向量空间内，为所有的向量的赋予非零的增长度或者大小。不同的范数，所求的向量的长度或者大小是不同的。以上内容来自。https://blog.youkuaiyun.com/lioncv/article/details/430163332、spark version <dependency> <groupId&gt...

1、StructType ? 可以指定sql 表package testimport org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types._object StructTypeDemo { def main(args: Array[String]): Unit = { val...

1、Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection答：未添加mysql.jar 包。2、Parquet 文件读取hive 结果和 spark sql的结果不一致问题？答： spark sql 默认采用自己的parquet 的文件解析方...