- 博客(11)
- 收藏
- 关注
RSS订阅原创 Numpy学习
本文介绍了Pandas的高级数据处理技术，包括缺失值处理、数据离散化、数据合并、交叉表与透视表的应用，以及分组与聚合的使用方法。重点包括使用dropna、fillna和replace处理缺失值，利用cut和qcut进行数据分组，使用pd.concat和pd.merge合并数据，应用crosstab和pivot_table进行数据分析，以及使用groupby进行数据聚合。
2024-08-05 23:17:01
958
原创 Pandas学习
本文介绍了Pandas的高级数据处理技术，包括缺失值处理、数据离散化、数据合并、交叉表与透视表的应用，以及分组与聚合的使用方法。重点包括使用dropna、fillna和replace处理缺失值，利用cut和qcut进行数据分组，使用pd.concat和pd.merge合并数据，应用crosstab和pivot_table进行数据分析，以及使用groupby进行数据聚合。
2024-08-05 23:13:26
902
原创 Matplotlib学习
图表类型主要用途Matplotlib API函数折线图显示数据的变化趋势，反映事物的变化情况plt.plot()散点图判断变量之间是否存在数量关联趋势，展示离群点柱状图绘制离散的数据，直观比较数据之间的差别直方图绘制连续性数据，展示一组或多组数据的分布状况饼图表示不同分类的占比情况，通过弧度大小对比各种分类。
2024-08-05 23:11:41
781
原创 java: 错误: 不支持发行版本 5 请使用 7 或更高版本 java: 错误: 不支持发行版本8 java: 错误: 不支持发行版本17 解决方法
首先我是使用jdk21，如果您是1.8或者17操作都可以一样。修改内容为自己对应的版本即可。
2024-08-04 16:53:07
491
原创 离线数仓搭建
1.先执行到这两个线条上面，然后上传date_info.txt到/warehouse/gmall/tmp/tmp_dim_date_info。注意：对自己机器有信心的话，直接执行脚本，没信心的话，执行一个，重启或者等待几分钟执行下一个。这三个不用管，所以开始前我们需要确定有这些文件和配置。上传base.txt到任意目录下，且cd到该目录。到后面将时间修改为06,07分别运行lg.sh。等吧，每个半个小时起步或者一个小时，是搞不定的。多出来13张表，也就是说，现在有30张表。执行两次就到我们需要的位置。
2024-06-16 15:43:59
1561
原创 使用Flink进行股票计算
在每个分区上，我们定义一个滑动窗口，窗口大小为60秒，然后使用AggregateFunction进行聚合计算。通过这个流程，我们可以实时计算每个股票代码在每分钟内的平均交易价格，为股票交易提供有价值的信息。这个程序的主要目的是读取股票数据，按照股票代码进行分组，然后在每个 60 秒的窗口内计算每种股票的平均价格，并打印到控制台。在这个类中，实现了 apply 方法，这是窗口函数的核心方法，它会在每个窗口结束时被调用。是一个辅助方法，用于将形式为 “HHmmss” 的时间字符串解析为一天中的秒数。
2024-06-16 15:39:45
1845
原创 Flink端到端的精确一次
这行代码启用了检查点，并设置了检查点的模式为精准一次。检查点间隔为5000毫秒。这行代码创建了一个Flink执行环境，它是所有Flink程序的开始。这行代码设置了检查点的存储路径，这里我们选择了HDFS作为存储介质。1.hadoop,zookeeper和kafka启动。只需要在实验一的基础上修改kafkf消费主题命令就行。3.创建对应需要的kafka主题。2.创建flink需要的存档点。更具代码的路径创建对应的目录。同KafkaEOSDemo。
2024-06-16 15:37:42
877
原创 阿里云安装Hadoop全家桶
使用阿里云服务器 安装 hadoop Hive Flume kafka zookeeper mysql等内容，教程从头开始且详细详细
2024-03-23 15:39:47
1668
1
原创 Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3
/修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录。重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限。推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发。在安装过程中推荐设置root用户密码为1234方面后续操作。权限 给 hadoop 用户配置相关权限。hadoop2,3分别创建软连接。hadoop2,3创建软连接。hadoop2 修改为2。hadoop3 修改为3。以hadoop3为例。
2023-11-21 21:46:03
4459
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人