自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 goroutine和Java线程的区别

例如: 4.性能和扩展性 Java: Go:

2024-10-20 15:28:54 994

原创 常见的管理系统简称

CRM: 聚焦客户关系,提升客户满意度和销售效率。PLM: 管理产品生命周期,优化产品开发和生产流程。SRM: 强化供应商管理,优化采购和供应链运营。ERP: 综合性企业资源管理,涵盖多个业务模块。SCM: 聚焦供应链管理,优化从供应商到客户的物流和生产流程。HCM: 专注人力资源管理,涵盖招聘、绩效、薪酬等方面。MES: 管理制造车间的执行流程,确保生产效率和质量。EAM: 管理企业资产的全生命周期,提升资产利用率。TMS: 优化运输和物流管理,减少运输成本,提高效率。WMS。

2024-09-04 20:19:10 2030

原创 Flink入门(五)--Flink算子

DataStream→DataStream 使用用户定义的分区程序为每个数据元选择目标任务。

2024-08-24 15:46:29 1256

原创 Faker--数据模拟神器

这里的Faker当然不是那个Faker了。。。。。。

2024-08-16 09:39:57 988

原创 Flink入门(四) -- Flink中的窗口

窗口通常指的是建筑物中用来采光和通风的构件,即窗户。这是“窗口”一词最直接和常见的含义。

2024-08-13 09:15:36 1295

原创 Flink入门(三) --Flink中的三种时间

Flink三种时间类型的定义特点应用场景以及例子。

2024-08-12 09:40:33 413 1

原创 Flink入门 (二)--Flink程序的编写

其他案例demo可以参考我的GitHubhttps://github.com/NuistGeorgeYoung/flink_stream_test/ 编写一个Flink程序大致上可以分为以下几个步骤: 之后你可以设置以下配置- 按行读取文件并将其作为字符串返回。- 按行读取文件并将它们作为StringValues返回。StringValues是可变字符串。- 解析逗号(或其他字符)分隔字段的文件。返回元组或POJO的DataSet。支持基本java类型及其Value对应作为字段类型。- 解析新行(或

2024-08-09 11:28:10 1179

原创 flink入门(一)--了解Flink看这一篇就够了!

什么是Flink,Flink的特点,与spark Streaming的对比,层次架构,ApI,集群架构的核心组件

2024-08-08 10:33:39 734

原创 Kafka概述、安装及入门

具体可以参考以下这篇文章的讲解。Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。

2024-08-02 06:30:00 777

原创 关于查询hive表数据报错:java.io.IOException: org.apache.parquet.io.ParquetDecodingException

官方配置文档如上

2024-07-31 10:04:50 442

原创 Hive数据迁移至MySQL

最后一行找到了与hive 数据库同名的数据库查询一下数据。

2024-07-27 17:12:36 553

原创 Spark 常用配置总结

你的应用程序的。这将在用户界面(UI)和日志数据中显示。

2024-07-25 19:15:03 874

原创 基于Memotrace(留痕)、jieba、wordcloud、cnsenti的微信聊天记录分析(二)

情绪,是对一系列主观认知经验的通称,是人对客观事物的态度体验以及相应的行为反应,一般认为,情绪是以个体愿望和需要为中介的一种心理活动。

2024-07-24 08:00:00 823

原创 基于Memotrace(留痕)、jieba、wordcloud、cnsenti的微信聊天记录分析(一)(环境准备+词频统计+生成云图)

基于python的简单nlp脚本,可作为python期末大作业的小案例

2024-07-22 19:00:00 1393 5

原创 Flume概述、下载和单机配置示例

Flume 是一种分布式、可靠且可用的服务,用于高效地收集、聚合和移动大量日志数据。它基于数据流构建了一个简单且灵活的架构。该服务强大且容错,具备可调可靠性机制以及多种故障转移和恢复机制。它采用了一个简单且可扩展的数据模型,支持在线分析应用。

2024-07-22 10:44:57 679

原创 Linux centos MySQL8 安装脚本

【代码】Linux centos MySQL8 安装脚本。

2024-07-15 15:39:17 304

原创 Spark SQL练习(电商用户行为分析)

问题引入,数据生成脚本,示例代码,其他练习

2024-07-15 11:14:35 444 2

原创 Shell实战之实现远程拷贝文件夹到多台主机

先判断目录是否存在,然后用指令dirname提取路径的上一级目录,接着提取免密的主机名,最后遍历主机名,进行远程传输。

2024-07-10 19:53:43 436

原创 Shell实战之SSH+Shell脚本实现远程控制多主机

Shell脚本单终端控制多台主机

2024-07-10 19:24:12 736

原创 Spark RDD练习

班级 ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7013 张大三 25 男 chinese 6013 张大三 25 男 math 60。

2024-07-09 11:30:12 467

原创 使用shell脚本在Linux虚拟机上安装jdk环境

下载jdk-8u171-linux-x64.tar.gz。

2024-03-10 21:27:03 616 1

原创 hive常用函数

/根据年龄倒序排序。partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]第一个分隔符为map元素之间的分隔符,第二个分隔符是键值对之间的分隔符。

2024-03-05 22:09:51 1615 1

原创 Shell实现Hadoop单机版安装配置

用shell脚本安装Hadoop单机

2024-03-02 14:48:27 735 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除