
大数据
码上分享
我是一名经验丰富的Java开发工程师,同时也是优快云社区的活跃成员。在Java开发领域,我拥有扎实的编程基础和丰富的项目经验,擅长运用Java语言进行后端开发、系统架构设计以及数据库管理等工作。
加入优快云后,我积极参与技术分享和交流,致力于将自己在Java开发方面的经验和心得与广大开发者共同分享。通过撰写技术博客、参与技术问答、发布原创教程等方式,我不断为优快云社区贡献有价值的内容,并获得了广泛的认可和好评。
未来,我将继续在优快云平台上深耕细作,与更多志同道合的开发者一起探讨技术难题、分享创新思路,共同推动开发技术的不断发展和进步。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
分布式发布订阅消息系统Kafka
4-1 -课程目录分布式消息队列KafkaKafka概述 Kafka架构及核心概念 Kafka部署及使用Kafka容错性测试 Kafka API编程 Kafka实战4-2 -Kafka概述官网:http://kafka.apache.org/和信息系统类似信息中间者:生产者和消费者馒头铺:生产者你:消费...原创 2019-08-14 12:09:29 · 473 阅读 · 0 评论 -
第1章 初探大数据
1、1导学功能实现统计imooc(慕课网)主站最受欢迎的课程/手记的Top N访问次数按地市统计imooc主站最受欢迎的Top N课程按流量统计imocc主站最受欢迎的Top N课程大数据的到来任职要求.熟悉Linux操作系统,熟悉Linux shell 编程.熟悉Java或者scala语言,具有一年以上实际开发经验.熟悉spark sql 或 ...原创 2019-08-25 19:57:21 · 683 阅读 · 0 评论 -
第2章 Spark及其生态圈概述
2-1课程目录1、Spark及生态圈概述Spark产生背景 Spark 概述及特点Spark发展历史 Spark SurveySpark对比Hadoop Spark和Hadoop的协作性Spark开发语言 Spark运行模式2-2 -Spark概述及特点官网:https://spark.apache.org/1、概述Apache Spark™is a unif...原创 2019-08-25 19:56:34 · 837 阅读 · 0 评论 -
第3章 实战环境搭建
3-1课程目录实战环境搭建Spark 源码编译 Spark环境搭建 Spark 简单使用3-2 -Spark源码编译1、下载到官网(源码编译版本)(http://spark.apache.org/downloads.html)wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz2、编译步...原创 2019-08-25 19:56:14 · 615 阅读 · 1 评论 -
第4章 Spark SQL概述
4-1 课程目录Spark SQL前世今生 SQL on Hadoop常用框架介绍Spark SQL概述 Spark SQL愿景Spark SQL架构4-2 -Spark SQL前世今生为什么使用SQL1)事实上的标准 2)简单易用 3)受众面大文本文件统计分析id,name,age,city1001,zhangsan,45,beijing1002,k...原创 2019-08-25 19:55:59 · 497 阅读 · 0 评论 -
第5章 从Hive平滑过渡到Spark SQL
5-1 -课程目录5-2 -A SQLContext的使用The entry point into all functionality in Spark SQL is theSQLContextclass, or one of its descendants. To create a basicSQLContext, all you need is a SparkConte...原创 2019-08-25 19:55:20 · 638 阅读 · 0 评论 -
第6章 DateFrame&Dataset
6-1 -课程目录6-2 -DataFrame产生背景DataFrame它不是spark SQL提出的,而是早期在R,Pandas语言就已经有了的。6-3 -DataFrame概述6-4 -DataFrame和RDD的对比RDD:java/scala==>jvmpython==>python runtimeD...原创 2019-08-25 19:54:52 · 293 阅读 · 0 评论 -
第7章 External Data Source
7-1 -课程目录7-2 -产生背景用户:方便快速从不同的数据源(json,parquet,rebms),经过混合处理(Json,join,parquet),再将处理结果以特定的格式(json,parquet)再写回到指定的(HDFS,s3)上去Spark SQL1.2==>外部数据源API7-3 -概述没有本次课7-4 -...原创 2019-08-25 19:54:36 · 238 阅读 · 0 评论 -
第8章 SparkSQL愿景
8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)源码地址:htt...翻译 2019-08-25 19:53:43 · 304 阅读 · 0 评论 -
第9章 慕课网日志实战
9-1 -课程目录9-2 -用户行为日志概述为什么要记录用户访问行为日志?网站页面的访问量网站的粘性推荐用户行为日志Nginx ajax用户行为日志:用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击...)用户行为轨迹、流量日志日志数据内容1)访问的系统属性:操作系统,浏览器等等2)访问特征:点击的url,从哪个URL跳转过来...翻译 2019-08-14 14:08:30 · 1001 阅读 · 13 评论 -
第13章 可视化实战
13-1 -课程目录课程目录为什么需要可视化SpringBoot构建web项目使用Echarts构建静态数据可视化使用Echarts构建动态数据可视化阿里云DataV数据可视化13-2 -为什么需要可视化13-3 -构建Spring Boot项目springBoot构建web项目查看官网:https://spring.io/projects/spr...原创 2019-08-13 17:25:49 · 159 阅读 · 0 评论 -
第12章 Spark Streaming项目实战
12-1 -课程目录项目实战需求说明互联网访问日志概述功能开发及本地运行生产环境运行12-2 -需求说明今天到现在为止实战课程的访问量今天到现在为止从搜索引擎过来的实战课程的访问量12-3 -用户行为日志介绍为什么要记录用户的访问行为日志网站页面的访问量网站的粘性推荐用户行为日志分析的意义网站的眼睛网站的神...原创 2019-08-14 14:07:29 · 812 阅读 · 0 评论 -
第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
11-1 -课程目录基于Spark Steaming&Flume&kafka打造通用流处理平台整合日志框架输出到flume整合flume到kafka整合kafka到spark streamingspark streaming对接接收到的数据进行处理11-2 -处理流程画图剖析11-3 -日志产生器开发并结合log4j完成日志的输出模拟日志...原创 2019-08-13 17:26:12 · 224 阅读 · 0 评论 -
第5章 实战环境搭建
5-1 -课程目录实战环境搭建JDK安装 Zookeeper安装Scala安装 Hbase安装Maven安装 Spark安装Maven安装 Spark安装Hadoop安装 IDEA+Maven+Spark Streaming由于JDK和Zookeeper安装已经在之前安装过,所以本次课程不讲解。5-2 -Scala安装1、下载wget https://dow...原创 2019-08-14 12:09:15 · 166 阅读 · 0 评论 -
第6章 Spark Streaming入门
6-1 -课程目录概述发展史应用场景从词频统计功能着手入门集成Spark生态系统的使用工作原理6-2 -Spark Streaming概述官网:http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSpark Streaming is an extension of the ...原创 2019-08-14 12:09:01 · 197 阅读 · 0 评论 -
第7章 Spark Streaming核心概念与编程
7-1 -课程目录核心概念TransformationOutput Operations案例实战7-2 -核心概念之StreamingContext参考文档:http://spark.apache.org/docs/latest/streaming-programming-guide.html#initializing-streamingcontextIn...原创 2019-08-14 12:08:35 · 216 阅读 · 0 评论 -
第8章 Spark Streaming进阶与案例实战
8-1 -课程目录带状态的算子:updateStateByKey实战:计算到目前为止累计出现的单词写到MySQL中基于Windows统计实战:黑名单过滤实战:Spark Streaming整合Spark SQL实战8-2 -实战之updateStateByKey算子的使用UpdateStateByKey OperationTheupdateStateByKe...原创 2019-08-14 12:08:16 · 239 阅读 · 0 评论 -
第9章 Spark Streaming整合Flume
9-1 -课程目录实战1:Flume-style Push-based-Approach实战2:Pull-based Approach using a Custom Sink9-2 -Push方式整合之概述实战1:Flume-style Push-based-Approach参考文档:http://spark.apache.org/docs/latest/streaming-k...原创 2019-08-14 12:07:52 · 150 阅读 · 0 评论 -
第10章 Spark Streaming整合Kafka
10-1 -课程目录实战一、Receiver-based实战二、Direct Approach10-2 -Spark Streaming整合Kafka的版本选择详解参考文档:http://spark.apache.org/docs/latest/streaming-programming-guide.html10-3 -Receiver方式整合之概述参考文档:htt...原创 2019-08-14 12:07:32 · 224 阅读 · 0 评论 -
第13章 可视化实战
13-1 -课程目录课程目录为什么需要可视化SpringBoot构建web项目使用Echarts构建静态数据可视化使用Echarts构建动态数据可视化阿里云DataV数据可视化13-2 -为什么需要可视化13-3 -构建Spring Boot项目springBoot构建web项目查看官网:https://spring.io/projects/spring...原创 2019-08-14 12:10:16 · 274 阅读 · 0 评论 -
第14章 Java拓展
14-1 -课程目录拓展:使用Java开发Spark应用程序使用Java开发Spark Streaming应用程序14-2 -使用Java开发Spark应用程序官网:http://spark.apache.org/docs/latest/sql-programming-guide.html源码地址14-3 -使用Java开发Spark Stream...原创 2019-08-14 14:05:13 · 188 阅读 · 0 评论 -
第10章 Spark SQL扩展和总结
10-1 -课程目录10-2 -Spark SQL使用场景10-3 -Spark SQL加载数据10-4 -DataFrame与SQL的对比10-5 -Schema10-6 -SaveMode10-7 -处理复杂的JSON数据...翻译 2019-08-14 14:06:36 · 283 阅读 · 0 评论