分享
扫一扫
超级会员免费看
酒城译痴无心剑
国家三级笔译。一手代码一手诗，酸甜苦辣寸心知。杏坛泊梦千秋事，万古云山日迟迟。讲授高等数学、Java高级程序设计、动态网站设计与开发（JSP、Servlet）、企业信息系统设计与开发（Spring Boot）、智能移动终端应用开发（Android）、Python Web开发（Django）、大数据离线分析（Hadoop、Hive、Spark）、计算机专业英语等课程，教学深入浅出，语言生动、经验丰富，深受学生好评。指导学生参加移动应用开发省赛和国赛，多次获奖，被授予优秀指导教师称号。热爱翻译，曾翻译西奥尼·帕帕斯数学科普读物《天天数学》与两千余首诗词，已形成独特的译诗风格。
展开
-
Spark实战：Spark读取Excel文件
在Spark集群环境中，实战操作涵盖了Excel转CSV及Spark读取两种格式文件。首先通过WPS将Excel数据另存为CSV，并远程传输至主节点`bigdata1`。在spark-shell中，利用DataFrame API加载CSV并展示内容。为处理Excel，添加了`spark-excel`库到环境，重启shell后成功读取并显示Excel数据。此外，还演示了如何在Scala Spark程序中导入该库以实现对Excel文件的读取和展现，展示了在生产环境中高效集成多种数据源的能力。原创 2023-11-14 18:01:03 · 1914 阅读 · 3 评论 -
Spark大数据处理讲课笔记4.8 Spark SQL典型案例
1. 使用Spark SQL实现词频统计；2. 使用Spark SQL计算总分与平均分；3. 使用Spark SQL实现分组排行榜；4. 使用Spark SQL统计每日新增用户原创 2023-05-15 11:12:29 · 1008 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.7 Spark SQL内置函数
1. 了解Spark SQL内置函数；2. 学会使用自定义函数；3. 学会自定义聚合函数；4. 学会使用开窗函数原创 2023-05-15 11:07:30 · 599 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.6 Spark SQL数据源 - JDBC
1. 了解Spark SQL JDBC连接属性；2. 掌握利用Spark SQL读取关系数据库原创 2023-05-15 11:06:19 · 673 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.5 Spark SQL数据源 - Hive表
1. 掌握如何读取Hive表中的数据；2. 掌握如何将数据写入到Hive表原创 2023-05-15 11:04:49 · 763 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.4 Spark SQL数据源 - JSON数据集
1. 掌握如何读取JSON文件；2. 掌握如何进行关联查询原创 2023-05-15 11:02:19 · 614 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.3 Spark SQL数据源 - Parquet文件
1. 掌握Parquet文件的读取与写入；2. 掌握如何进行耗时的Schema合并原创 2023-05-15 11:01:32 · 766 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
1. 学会使用默认数据源；2. 学会手动指定数据源；3. 理解数据写入模式；4. 掌握分区自动推断原创 2023-05-15 11:00:08 · 1159 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集
1. 了解Spark SQL的基本概念；2. 掌握DataFrame的基本概念；3. 掌握Dataset的基本概念；4. 会基于DataFrame执行SQL查询原创 2023-05-11 16:31:43 · 1330 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.8 Spark RDD典型案例
1. 利用RDD计算总分与平均分；2. 利用RDD统计每日新增用户；3. 利用RDD实现分组排行榜原创 2023-05-10 11:53:42 · 1449 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.7 Spark任务调度
本节核心介绍Spark计算模型中的DAG概念及其在任务调度中的应用。通过理解有向无环图结构，读者能掌握RDD转换如何形成DAG，并依据宽依赖（shuffle操作）划分Stage以实现高效的任务并行与资源调度。实例分析了不同场景下Stage的划分依据与过程，以及RDD在整个Spark运行流程中的关键作用。原创 2023-05-04 18:25:48 · 833 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.6 RDD容错机制
1. 了解RDD容错机制；2. 理解RDD检查点机制的特点与用处；3. 理解共享变量的类别、特点与使用原创 2023-05-04 18:14:38 · 1135 阅读 · 0 评论 -
Spark基础学习笔记21：RDD检查点与共享变量
1. 了解RDD容错机制；2. 理解RDD检查点机制的特点与用处；3. 理解共享变量的类别、特点与使用原创 2022-04-16 18:07:37 · 933 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.5 RDD持久化机制
1. 理解RDD持久化的必要性；2. 了解RDD的存储级别；3. 学会如何查看RDD缓存原创 2023-05-04 17:53:23 · 1725 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.4 理解RDD依赖
1. 理解RDD的窄依赖；2. 理解RDD的宽依赖；3. 了解两种依赖的区别原创 2023-05-04 17:49:46 · 688 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.3 掌握RDD分区
1. 学会如何指定分区数量；2. 会定义与使用自定义分区器原创 2023-05-04 09:06:11 · 1162 阅读 · 0 评论 -
2023年Spark大数据处理讲课笔记
scala、spark、spark rdd、spark sql、spark streaming原创 2023-04-16 07:55:55 · 1263 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.2 掌握RDD算子
1. 了解RDD的处理过程；2. 掌握转换算子的使用；3. 掌握行动算子的使用原创 2023-04-10 20:35:22 · 1364 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.1 掌握RDD的创建
1. 了解RDD的主要特征；2. 掌握RDD的创建方式原创 2023-04-10 20:00:21 · 698 阅读 · 0 评论 -
Spark-Shell使用Scala的版本
Spark-Shell使用Scala的版本原创 2023-04-09 21:35:22 · 460 阅读 · 0 评论 -
在UbuntuDesktop22.04上安装Chrome浏览器
在Ubuntu上下载、安装和启动Chrome浏览器原创 2023-04-06 11:46:13 · 4778 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
1. 掌握本地模式执行Spark程序；2. 掌握集群模式执行Spark程序原创 2023-03-29 13:46:40 · 939 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.3 Spark运行架构与原理
1. 了解Spark集群运行架构；2. 了解Spark运行基本流程原创 2023-03-29 13:17:04 · 665 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
1. Spark开发环境准备工作；2. 了解Spark的三种部署方式；3. 搭建Spark单机版环境；4. 搭建Spark Standalone集群；5. 体验第一个Spark程序；6. 在Spark Shell里基本操作；7. 初识弹性分布式数据集RDD原创 2023-03-20 17:39:17 · 1387 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.1 初识Spark
1. 了解什么是Spark计算框架；2. 了解Spark计算框架的特点；3. 了解Spark计算框架的应用场景；4. 理解Spark框架与Hadoop框架的对比原创 2023-03-20 11:33:17 · 1854 阅读 · 1 评论 -
Spark大数据处理讲课笔记1.7 掌握Scala函数
1. 掌握如何声明函数；2. 了解各种类型的函数；3. 掌握占位符的使用；4. 理解闭包的现象；5. 掌握可变参数；6. 理解尾递归原创 2023-03-17 17:07:36 · 672 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.8 掌握Scala类、对象、抽象类与特质
1. 掌握类的定义与实例化；2. 理解单例对象和伴生对象；3. 掌握构造器和辅助构造器；4. 掌握抽象类和特质原创 2023-03-02 19:02:16 · 959 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.6 掌握Scala数据结构
1. 掌握数组的使用；2. 掌握列表的使用；3. 掌握映射的使用；4. 掌握集合的使用；5. 掌握元组的使用原创 2023-03-01 11:22:08 · 1821 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.5 掌握Scala内建控制结构
1. 掌握条件表达式；2. 掌握各种循环；4. 理解流间变量绑定；5. 掌握yield语句的使用；6. 掌握异常处理语句；7. 了解match语句的使用；8. 理解变量作用域原创 2023-02-20 11:38:35 · 990 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.4 掌握Scala运算符
1. 理解Scala运算符与方法的等价性；2. 掌握Scala常用运算符；3. 理解Scala运算符种类原创 2023-02-20 11:14:05 · 794 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.3 使用Scala集成开发环境
1. 会搭建Scala的IntelliJ IDEA开发环境；2. 会在集成开发环境里创建Scala项目原创 2023-02-20 09:26:39 · 746 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.2 Scala变量与数据类型
1. 学会变量声明；2. 掌握数据类型原创 2023-02-15 17:45:08 · 957 阅读 · 2 评论 -
Spark大数据处理讲课笔记1.1 搭建Scala开发环境
1. 了解Scala语言的特点；2. 学会搭建Scala开发环境；3. 了解命令行模式与编译模式原创 2023-02-13 08:52:05 · 1210 阅读 · 0 评论