大数据
文章平均质量分 75
大数据相关知识
不秀不亏不怼不皮
计科大学生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink入门(四) -- Flink中的窗口
窗口通常指的是建筑物中用来采光和通风的构件,即窗户。这是“窗口”一词最直接和常见的含义。原创 2024-08-13 09:15:36 · 1362 阅读 · 0 评论 -
Flink入门(五)--Flink算子
DataStream→DataStream 使用用户定义的分区程序为每个数据元选择目标任务。原创 2024-08-24 15:46:29 · 1373 阅读 · 0 评论 -
Flink入门(三) --Flink中的三种时间
Flink三种时间类型的定义特点应用场景以及例子。原创 2024-08-12 09:40:33 · 541 阅读 · 0 评论 -
Flink入门 (二)--Flink程序的编写
其他案例demo可以参考我的GitHubhttps://github.com/NuistGeorgeYoung/flink_stream_test/ 编写一个Flink程序大致上可以分为以下几个步骤: 之后你可以设置以下配置- 按行读取文件并将其作为字符串返回。- 按行读取文件并将它们作为StringValues返回。StringValues是可变字符串。- 解析逗号(或其他字符)分隔字段的文件。返回元组或POJO的DataSet。支持基本java类型及其Value对应作为字段类型。- 解析新行(或原创 2024-08-09 11:28:10 · 1320 阅读 · 0 评论 -
flink入门(一)--了解Flink看这一篇就够了!
什么是Flink,Flink的特点,与spark Streaming的对比,层次架构,ApI,集群架构的核心组件原创 2024-08-08 10:33:39 · 948 阅读 · 0 评论 -
Kafka概述、安装及入门
具体可以参考以下这篇文章的讲解。Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。原创 2024-08-02 06:30:00 · 848 阅读 · 0 评论 -
关于查询hive表数据报错:java.io.IOException: org.apache.parquet.io.ParquetDecodingException
官方配置文档如上原创 2024-07-31 10:04:50 · 657 阅读 · 0 评论 -
Hive数据迁移至MySQL
最后一行找到了与hive 数据库同名的数据库查询一下数据。原创 2024-07-27 17:12:36 · 750 阅读 · 0 评论 -
Spark 常用配置总结
你的应用程序的。这将在用户界面(UI)和日志数据中显示。原创 2024-07-25 19:15:03 · 1068 阅读 · 0 评论 -
Spark SQL练习(电商用户行为分析)
问题引入,数据生成脚本,示例代码,其他练习原创 2024-07-15 11:14:35 · 602 阅读 · 2 评论 -
hive常用函数
/根据年龄倒序排序。partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]第一个分隔符为map元素之间的分隔符,第二个分隔符是键值对之间的分隔符。原创 2024-03-05 22:09:51 · 1871 阅读 · 0 评论 -
Spark RDD练习
班级 ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7013 张大三 25 男 chinese 6013 张大三 25 男 math 60。原创 2024-07-09 11:30:12 · 506 阅读 · 0 评论 -
Flume概述、下载和单机配置示例
Flume 是一种分布式、可靠且可用的服务,用于高效地收集、聚合和移动大量日志数据。它基于数据流构建了一个简单且灵活的架构。该服务强大且容错,具备可调可靠性机制以及多种故障转移和恢复机制。它采用了一个简单且可扩展的数据模型,支持在线分析应用。原创 2024-07-22 10:44:57 · 723 阅读 · 0 评论 -
Shell实现Hadoop单机版安装配置
用shell脚本安装Hadoop单机原创 2024-03-02 14:48:27 · 789 阅读 · 0 评论
分享