- 博客(5)
- 收藏
- 关注
RSS订阅原创 SparkSQL
与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSQL读取和保存的文件一般为三种，JSON文件、CSV文件和列式存储的文件，同时可以通过添加参数，来识别不同的存储和压缩格式。1）UDAF：输入多行，返回一行。
2025-04-19 15:34:51
1391
原创 SparkCore
当某个RDD执行map方法时，会遍历该RDD中的每一个数据项，并依次应用f函数，从而产生一个新的RDD。功能说明：将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本。区别：在flatMap操作中，f函数的返回值是一个集合，并且会将每一个该集合中的元素拆分出来放到新的RDD中。在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD。
2025-04-18 17:46:48
689
原创 Spark入门基础知识
Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作。--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
2025-04-18 17:34:40
1879
原创 Kafka
Apache Kafka 是一个开源的分布式流处理平台，主要用于构建实时数据管道和流应用。它最初由LinkedIn开发，后来成为了Apache顶级项目。Kafka 被设计成一个高度可扩展的分布式发布订阅消息系统，可以可靠地处理大量数据。Kafka的配置文件位于config目录下，主要有zookeeper.properties和 server.properties。
2025-04-18 17:23:19
620
1
原创 Spark基础知识
Apache Spark 是用于大规模数据处理的统一分析引擎。它提供 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL 、用于 pandas 工作负载 的 Spark 上的 pandas API 、用于机器学习的 MLlib 、用于图形处理的GraphX以及 用于增量计算和流处理的结构化流。
2025-04-18 17:12:56
2075
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人