酒城译痴无心剑
国家三级笔译。一手代码一手诗,酸甜苦辣寸心知。杏坛泊梦千秋事,万古云山日迟迟。讲授高等数学、Java高级程序设计、动态网站设计与开发(JSP、Servlet)、企业信息系统设计与开发(Spring Boot)、智能移动终端应用开发(Android)、Python Web开发(Django)、大数据离线分析(Hadoop、Hive、Spark)、计算机专业英语等课程,教学深入浅出,语言生动、经验丰富,深受学生好评。指导学生参加移动应用开发省赛和国赛,多次获奖,被授予优秀指导教师称号。热爱翻译,曾翻译西奥尼·帕帕斯数学科普读物《天天数学》与两千余首诗词,已形成独特的译诗风格。
展开
-
SparkSQL初体验 - 操作数据帧与数据集
在本实战中,我们通过 Maven 项目创建了一个 SparkSQL 应用程序,展示了如何操作数据帧(DataFrame)和数据集(Dataset)。首先,我们配置了 Maven 项目,添加了 Spark 相关依赖,并设置了 Scala 源程序目录和 SDK。接着,我们创建了 JSON 数据文件,并通过 SparkSession 读取数据生成数据帧。通过 `select`、`filter`、`groupBy` 等操作,我们展示了数据帧的常见操作,包括查询、过滤、聚合和 SQL 查询。最后,运行程序并查看结果。原创 2025-01-14 11:49:34 · 317 阅读 · 0 评论 -
大数据学习笔记:SparkSQL入门
学会使用Spark SQL原创 2021-12-10 22:09:16 · 1523 阅读 · 0 评论 -
Spark学习笔记:使用RDD
如何使用RDD原创 2020-12-28 10:33:00 · 739 阅读 · 0 评论 -
Spark案例:Java版统计单词个数
Spark案例:Java版统计单词个数原创 2020-12-14 22:31:35 · 2469 阅读 · 0 评论 -
Spark学习笔记:索引分区映射
索引分区映射案例原创 2022-03-28 10:54:38 · 1135 阅读 · 0 评论 -
Spark RDD案例:计算总成绩
读取HDFS上成绩文件,利用RDD统计总成绩,结果写入HDFS文件原创 2022-05-24 17:55:02 · 797 阅读 · 0 评论 -
Spark案例:Python版统计单词个数
利用Python版Spark统计单词个数原创 2020-12-14 22:30:47 · 4552 阅读 · 0 评论 -
在VMware上搭建Spark集群
搭建Spark Standalone集群;搭建Spark on YARN集群;搭建Spark HA集群原创 2022-04-27 12:44:52 · 1935 阅读 · 0 评论 -
Spark MLlib学习笔记:构建一个机器学习工作流
利用工作流,得到模型,进行预测原创 2022-05-02 23:40:22 · 2005 阅读 · 0 评论 -
IDEA本地运行Spark项目[演示自定义分区器]并查看HDFS结果文件
本地运行调试Spark项目 - 演示自定义分区器原创 2022-04-01 07:24:32 · 1954 阅读 · 0 评论 -
利用Spark ML计算皮尔逊相关系数矩阵
利用Spark ML计算两个向量的皮尔逊相关系数矩阵原创 2022-05-24 20:41:19 · 927 阅读 · 0 评论 -
Spark RDD算子案例:两种方式计算学生总分
利用spark shell计算学生总分、编写Scala程序生成jar包提交到Spark服务运行原创 2022-03-13 10:51:22 · 3336 阅读 · 1 评论 -
Spark MLlib案例:采用线性回归模型预测房价
基于Spark RDD采用线性回归模型预测房价原创 2022-06-18 16:49:58 · 1391 阅读 · 0 评论 -
2020数据1班《大数据实时处理》学生学期总结
本学期,大数据1班的同学们在学习《大数据实时处理》课程过程中收获颇丰。华老师以风趣幽默的教学方式吸引了学生们的注意力,并通过Scala基础、Spark集群搭建、RDD和SQL等教学内容,培养了学生们实际操作和解决问题的能力。同学们在学期总结中分享了自己的学习心得与成长经历,从初次接触Spark时的困惑,到逐步克服环境配置、集群搭建等难题,再到对Scala编程语言产生兴趣。原创 2022-06-21 13:45:00 · 1187 阅读 · 0 评论 -
项目四:利用Spark RDD统计每日新增用户
根据历史数据统计每日新增用户数量原创 2022-06-17 11:22:45 · 642 阅读 · 0 评论 -
项目二:利用Spark SQL计算平均分
利用Spark SQL基于多个成绩文件计算平均分原创 2022-06-16 20:27:42 · 1074 阅读 · 0 评论 -
项目三:利用Spark SQL实现分组排行榜
利用Spark SQL实现分组TopN原创 2022-06-15 21:19:52 · 843 阅读 · 0 评论 -
项目三:利用Spark RDD实现分组排行榜
利用Spark RDD实现分组排行榜原创 2022-06-15 08:59:41 · 682 阅读 · 0 评论 -
项目一:利用Spark RDD实现词频统计
经典案例 - 词频统计(本地运行,打包上传到集群上运行)原创 2022-06-14 09:51:25 · 2157 阅读 · 0 评论 -
Spark基础学习笔记33:Spark Streaming数据源
基本数据源、高级数据源原创 2022-05-18 15:24:46 · 912 阅读 · 0 评论 -
Spark基础学习笔记07:搭建Spark HA集群
1. 了解Spark HA集群工作原理2. 掌握搭建Spark HA集群基本步骤3. 能够测试Spark HA集群的高可用性原创 2022-03-01 22:10:10 · 1649 阅读 · 0 评论 -
Spark基础学习笔记06:搭建Spark On YARN集群
1. 学会搭建Spark On YARN模式的集群2. 能够将Spark应用程序提交到集群运行原创 2022-03-01 22:03:16 · 1685 阅读 · 0 评论 -
Spark基础学习笔记28:Spark SQL数据源 - JDBC
Spark SQL读取和写入MySQL数据库表原创 2022-05-13 00:58:19 · 880 阅读 · 0 评论 -
Spark基础学习笔记15:Scala类和对象
1. 掌握类的定义2. 理解单例对象和伴生对象3. 掌握构造器和辅助构造器4. 掌握抽象类和特质原创 2022-03-07 22:40:32 · 1793 阅读 · 0 评论 -
Spark基础学习笔记27:Spark SQL数据源 - Hive表
利用Spark SQL读取和写入Hive表原创 2022-05-12 18:11:26 · 1164 阅读 · 0 评论 -
Spark基础学习笔记03:搭建Spark单机版环境
1. 学会搭建Spark单机版环境2. 学会Spark应用程序的运行3. 学会启动Spark Shell4. 初步了解RDD原创 2022-02-27 19:52:00 · 1570 阅读 · 1 评论 -
Spark基础学习笔记19:RDD的依赖与Stage划分
宽依赖和窄依赖、Stage划分原创 2022-04-02 18:15:43 · 2687 阅读 · 0 评论 -
Spark基础学习笔记11:Scala运算符
1. 理解Scala运算符与方法的等价性2. 掌握Scala常用运算符3. 理解Scala运算符种类原创 2022-03-06 08:52:23 · 1250 阅读 · 0 评论 -
Spark基础学习笔记30:Spark SQL案例分析
使用Spark SQL实现词频统计;掌握Spark SQL与Hive整合;掌握Spark SQL读写MySQL完成Spark热点搜索词统计;Spark SQL智慧交通数据分析原创 2022-05-15 14:03:48 · 1227 阅读 · 0 评论 -
集群搭建预备操作:在私有云上创建与配置虚拟机
一、登录私有云二、创建项目、组与用户三、创建实例四、查看实例五、查看网络原创 2022-02-18 17:11:49 · 1873 阅读 · 0 评论 -
Spark基础学习笔记26:Spark SQL数据源 - JSON数据集
读取JSON文件,进行关联查询,利用json()方法将数据集转成数据帧原创 2022-05-11 21:08:10 · 832 阅读 · 0 评论 -
Spark基础学习笔记29:Spark SQL内置函数
Spark SQL内置函数、自定义函数、自定义聚合函数、开窗函数原创 2022-05-13 22:15:58 · 1198 阅读 · 0 评论 -
Spark基础学习笔记24:Spark SQL数据源 - 基本操作
使用各种数据源:parquet, json, hive表, jdbc原创 2022-05-01 16:26:27 · 1686 阅读 · 0 评论 -
Spark基础学习笔记05:搭建Spark Standalone集群
1. 搭建Spark Standalone模式的集群2. 能够启动Spark Standalone模式的集群3. 学会Spark应用程序的提交原创 2022-03-01 21:56:04 · 2368 阅读 · 0 评论 -
Spark基础学习笔记01:初步了解Spark
一、大数据开发总体架构二、Spark概述三、Spark发展史四、Spark特点五、Spark主要组件六、Spark应用场景原创 2022-02-19 16:10:05 · 1591 阅读 · 0 评论 -
在OpenStack私有云上创建与配置虚拟机
在私有云上创建与配置虚拟机、win7访问三个centos节点、ubuntu访问三个centos节点原创 2022-05-04 13:20:28 · 2152 阅读 · 0 评论 -
2022年Spark基础学习笔记
Scala、Spark集群、RDD、Spark SQL、Spark Streaming原创 2022-02-25 21:08:05 · 3072 阅读 · 0 评论 -
Spark基础学习笔记10:Scala集成开发环境
1. 会搭建Scala的Eclipse开发环境2. 会搭建Scala的IntelliJ IDEA开发环境3. 会在两种集成开发环境里创建Scala项目原创 2022-03-05 07:33:47 · 1186 阅读 · 0 评论 -
Spark基础学习笔记18:掌握RDD分区
如何指定分区数量; 定义与使用自定义分区器原创 2022-03-30 18:36:52 · 1841 阅读 · 0 评论 -
Spark基础学习笔记23:DataFrame与Dataset
Spark SQL、DataFrame、Dataset原创 2022-04-22 14:35:04 · 2149 阅读 · 0 评论