- 博客(17)
- 收藏
- 关注
RSS订阅原创 Scala语言
其中 _ % 2 == 1 是 (a:Int)=>{a % 2 ==1}的简化，如果参数只出现一次，则参数省略且后面参数可以用_代替。x：表示输入参数类型；Int：表示输入参数类型；函数体：表示具体代码逻辑。i是从1到3-1，即前闭后开的范围。没有名字的函数就是匿名函数。
2024-11-13 21:20:37
183
原创 sparksql遇到的问题总结—object spark is not a member of package org.apache
确认pom.xml文件中的信息无误之后，有可能是Maven中jar包不完整，将pom.xml文件中的spark的依赖项注释掉，可以在idea中引入外来的jar包，具体可以从spark的官网上下载，选中spark3-3.0.0-hadoop2.7/jars下面的所有包。最后运行结果没有提示报错。
2024-11-13 21:16:00
878
原创 Scala语言入门—键盘输入、print的输出，读写文件
在src/main/resources/output.txt显示为。Scala 注释使用和 Java 完全一样。Scala支持面向对象和函数编程。
2024-10-22 21:06:43
304
原创 Flink中的map/flatMap/keyBy算子
3.使用富函数类，其中open方法是初始化方法，当算子map方法被调用之前，open()首先会被调用。1.传入匿名类，实现FlatMapFunction。2.使用匿名类实现KeySelector。代码来源于尚硅谷课程的资料。2.使用Lambda表达式。1.使用Lambda表达式。
2024-10-16 23:27:06
591
原创 flink中窗口和水位线-基于DataStream API
在之前的文章中，有在FllinkSQL来实现窗口和水位线—flink中水位线和窗口的工作原理，这次使用DataStream API的方式来实现窗口和水位线，
2024-10-16 23:24:00
645
原创 Flink :YARN运行模式—会话模式
执行脚本命令向YARN集群申请资源，开启一个YARN会话，启动Flink集群。启动之后会出现Web UI地址和一个yarn application id.以flink自带的SocketWindowWordCount.jar为例。可登录Flink_webui网址,查看对应的taskmanager 的结果。
2024-10-11 21:19:17
424
原创 IDEA中遇到的问题总结
解决办法：在File-----Settings-----搜索maven----找到ignored Files，将√去掉即可，进行apply,ok。解决办法：但是之前IDEA运行的时候没有报错，在控制台输入 mvn idea:idea。解决办法：找到右侧的Ant，选中pom.xml，点击“—”可恢复正常。
2024-10-02 22:35:40
400
原创 to_timestamp,unix_timstamp,from_unixtime的区别
当ts为bigint类型，为13位毫秒时，需要将除以1000变成秒，然后再通过FROM_UNIXTIME函数，转化为日期。timestamp类型的精度默认到秒，timestamp(3)精度到毫秒，timestamp(6)精度到微妙。to_timestamp函数用于将一个字符串表示的日期时间转换为timestamp类型。再通过TO_TIMESTAMP函数，将其转换为timestamp类型。这些时间函数，在工作中经常遇到，如有不妥的地方，欢迎大家指正！，其中ts要为timestamp类型，
2024-09-26 00:11:16
1013
原创 idea中使用clickhouse遇到的问题
通过pom.xml文件右下角的Dependency Analyzer,搜索http相关的依赖，比如选中httpclient，右边栏会出现多个标红的，选中标红的依赖，右键点击“exclude”，就可以在pom文件。猜测可能是仓库中0.3.0的包不完整，后来直接换成了0.2.6版本的就可以了。之前我是只解决了httpclient的冲突，发现仍然报错，后来发现httpcore也有冲突需要解决。解决完成之后,pom.xml重新reimport，并重新进行clean和install成功了！显示有冲突的依赖，如。
2024-09-23 22:48:47
546
原创 clickhouse安装遇到的问题
分析：因为由于clickhouse-client默认连接的主机是localhost，默认连接的端口号是9000，由于我们修改了默认的端口号，所以需要修改客户端默认连接的端口号，显示上面就代表clickhous-server就代表成功啦，一定要看具体的日志报错信息，找到具体的原因。也可以不修改配置文件，客户端连接时，加上–port 9002参数指明要连接的端口号。将9000换成没被占用的端口号，如9002。说明9000端口已被占用，需要修改端口。
2024-09-21 23:28:14
819
原创 Flink的相关报错总结
3.在windows 使用ping命令可以ping通，但是telent加上端口号就无法联通。2.修改windows的hosts文件，将域名和对应的ip地址保证正确。1.因中间修改过服务器的ip地址，首先将idea对应的ip地址修改下。4.在对应的安全组中加上kafka的端口号就可以解决啦。
2024-09-21 11:59:00
417
原创 操作符的混合运用
SQL 操作符的混合运用文章目录一、题目二、解题思路与过程1.解题思路2.解题过程拓展一、题目题目来源于牛客，难度为中等。现在运营想要找到gpa在3.5以上(不包括3.5)的山东大学用户 或 gpa在3.8以上(不包括3.8)的复旦大学同学进行用户调研，请你取出相应数据。二、解题思路与过程1.解题思路（1）根据提示可知，查询字段为device_id,gender,age,university,gpa。（2）查询条件要用where来筛选数据，具体用到的操作符为“or”和“and”。（3
2023-01-31 23:01:42
178
转载 mysql数据库语法
对数据库的常用操作：creat database [if not exists] mydbl;--创建数据库mydb1use mydb1; --切换（选择）要操作的数据库show databases;--查看所有数据库drop database[if exists] mydb1;--删除数据库mydba1对表结构的常用操作：creat table [if not exists] student( sid int, name varchar(20), gender varch.
2023-01-29 23:31:20
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人