
Spark
Spark
吴成伟0122
开源爱好者,聚焦于大语言模型,NLP等领域,欢迎交流
展开
-
为什么会有滑动窗口?
既然我们已经有了滚动窗口,为什么还需要滑动窗口呢?也就是滑动窗口的意义是什么?那么滑动窗口和滚动窗口的区别是什么?可能有人会问那我们使用将滚动窗口长度调低不也能完成该需求吗?原创 2020-05-23 12:24:11 · 1839 阅读 · 0 评论 -
.sh: line 15: syntax error: unexpected end of fi
报错如下:/root/test/1reduce_clientlog.sh: line 15: syntax error: unexpected end of fi错误的结尾,打开检查没有什么错误结尾显示unix文本:e ++ff=unix %windows>liunx直接粘贴会出现格式转换问题,删除^M即可...原创 2020-04-24 10:24:39 · 541 阅读 · 0 评论 -
azkaban调度任务直接失败?
问题描述:azkaban调度任务直接失败?如下图,并且没有日志产生解决过程:查看服务器中executor日志[root@node4 logs]# lsazkaban-execserver.log[root@node4 logs]# pwd/opt/azkaban/azkaban-exec/bin/logs[root@node4 logs]# 找出错误原因:azkaban....原创 2020-04-22 22:01:26 · 1917 阅读 · 0 评论 -
java.net.UnknownHostException: mycluster
spark本地操作hive时,报错究其原因是,不能发现hadoop集群解决方法:故将hadoop的conf目录下的core-site.xml和hdfs-site.xml放到resource目录下此外需要注意的是本地运行的路径需要改为file:///+绝对路径不然,spark会去配置文件中寻找数据路径...原创 2020-04-21 00:07:38 · 4990 阅读 · 5 评论 -
为什么要用窗口函数?
目录窗口函数具有什么功能?但是这些功能我们的group看差别:那么为什么叫窗口函数?窗口函数的语法:窗口函数具有什么功能?分组和排序但是这些功能我们的groupby和order by不是就可以实现了吗?看差别:场景:统计各班人数当我们使用group by来分组统计的时候当我们使用窗口函数的时候很明显当我们使用group by分组时改变了原来数据库的行数,即生成了一张新表,但是...转载 2020-04-16 18:06:15 · 1802 阅读 · 0 评论 -
一文读懂之Scala
目录1.Scala安装使用2.IDE配置scala2.1 IDEA配置scala插件2.2eclipse配置scala插件2.3scala ide1.Scala安装使用1.windows安装,配置环境变量官网下载下载好后安装。双击msi包安装,记住安装的路径。配置环境变量(和配置jdk一样)新建SCALA_HOME注意:这里建议将Scala安装到纯英文没有空格和特殊符号的路径下。避...原创 2020-04-11 14:39:14 · 253 阅读 · 0 评论