
Spark SQL
码上分享
我是一名经验丰富的Java开发工程师,同时也是优快云社区的活跃成员。在Java开发领域,我拥有扎实的编程基础和丰富的项目经验,擅长运用Java语言进行后端开发、系统架构设计以及数据库管理等工作。
加入优快云后,我积极参与技术分享和交流,致力于将自己在Java开发方面的经验和心得与广大开发者共同分享。通过撰写技术博客、参与技术问答、发布原创教程等方式,我不断为优快云社区贡献有价值的内容,并获得了广泛的认可和好评。
未来,我将继续在优快云平台上深耕细作,与更多志同道合的开发者一起探讨技术难题、分享创新思路,共同推动开发技术的不断发展和进步。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
第1章 初探大数据
1、1导学功能实现统计imooc(慕课网)主站最受欢迎的课程/手记的Top N访问次数按地市统计imooc主站最受欢迎的Top N课程按流量统计imocc主站最受欢迎的Top N课程大数据的到来任职要求.熟悉Linux操作系统,熟悉Linux shell 编程.熟悉Java或者scala语言,具有一年以上实际开发经验.熟悉spark sql 或 ...原创 2019-08-25 19:57:21 · 683 阅读 · 0 评论 -
第9章 慕课网日志实战
9-1 -课程目录9-2 -用户行为日志概述为什么要记录用户访问行为日志?网站页面的访问量网站的粘性推荐用户行为日志Nginx ajax用户行为日志:用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击...)用户行为轨迹、流量日志日志数据内容1)访问的系统属性:操作系统,浏览器等等2)访问特征:点击的url,从哪个URL跳转过来...翻译 2019-08-14 14:08:30 · 1001 阅读 · 13 评论 -
第8章 SparkSQL愿景
8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)源码地址:htt...翻译 2019-08-25 19:53:43 · 304 阅读 · 0 评论 -
第7章 External Data Source
7-1 -课程目录7-2 -产生背景用户:方便快速从不同的数据源(json,parquet,rebms),经过混合处理(Json,join,parquet),再将处理结果以特定的格式(json,parquet)再写回到指定的(HDFS,s3)上去Spark SQL1.2==>外部数据源API7-3 -概述没有本次课7-4 -...原创 2019-08-25 19:54:36 · 238 阅读 · 0 评论 -
第6章 DateFrame&Dataset
6-1 -课程目录6-2 -DataFrame产生背景DataFrame它不是spark SQL提出的,而是早期在R,Pandas语言就已经有了的。6-3 -DataFrame概述6-4 -DataFrame和RDD的对比RDD:java/scala==>jvmpython==>python runtimeD...原创 2019-08-25 19:54:52 · 293 阅读 · 0 评论 -
第5章 从Hive平滑过渡到Spark SQL
5-1 -课程目录5-2 -A SQLContext的使用The entry point into all functionality in Spark SQL is theSQLContextclass, or one of its descendants. To create a basicSQLContext, all you need is a SparkConte...原创 2019-08-25 19:55:20 · 638 阅读 · 0 评论 -
第4章 Spark SQL概述
4-1 课程目录Spark SQL前世今生 SQL on Hadoop常用框架介绍Spark SQL概述 Spark SQL愿景Spark SQL架构4-2 -Spark SQL前世今生为什么使用SQL1)事实上的标准 2)简单易用 3)受众面大文本文件统计分析id,name,age,city1001,zhangsan,45,beijing1002,k...原创 2019-08-25 19:55:59 · 497 阅读 · 0 评论 -
第3章 实战环境搭建
3-1课程目录实战环境搭建Spark 源码编译 Spark环境搭建 Spark 简单使用3-2 -Spark源码编译1、下载到官网(源码编译版本)(http://spark.apache.org/downloads.html)wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz2、编译步...原创 2019-08-25 19:56:14 · 615 阅读 · 1 评论 -
第2章 Spark及其生态圈概述
2-1课程目录1、Spark及生态圈概述Spark产生背景 Spark 概述及特点Spark发展历史 Spark SurveySpark对比Hadoop Spark和Hadoop的协作性Spark开发语言 Spark运行模式2-2 -Spark概述及特点官网:https://spark.apache.org/1、概述Apache Spark™is a unif...原创 2019-08-25 19:56:34 · 837 阅读 · 0 评论 -
第10章 Spark SQL扩展和总结
10-1 -课程目录10-2 -Spark SQL使用场景10-3 -Spark SQL加载数据10-4 -DataFrame与SQL的对比10-5 -Schema10-6 -SaveMode10-7 -处理复杂的JSON数据...翻译 2019-08-14 14:06:36 · 283 阅读 · 0 评论