
大数据开发工具
文章平均质量分 59
学习大数据的常用工具的一些小技巧和知识
刘文钊1
做Oracle EBS开发,技术宅。
嗯,该做大数据了,突然成了新人。
展开
-
本机spark 通idea连接Oracle的坑
也就是写的项目中的pom的spark版本与idea默认的版本不一致。或者修改idea的版本也行吧,这个我没试。版本是2.11的,所以把pom改成2.11.x就可以了。运行环境版本与idea默认的scala版本不一样。解决方法:将po的版本修改成和idea的一致。查询网上资料,是idea引入的。在idea查看scala的版本。原创 2023-10-27 17:47:59 · 811 阅读 · 0 评论 -
windows idea本地执行spark sql避坑
6. 在idea执行程序,还是会报错,但是错误变了,网上的解释是,缺少文件winutils.exe,从以下地址下载,下载完成后,放到hadoop/bin下面。本地安装了IDEA,并配置好了相关POM,可以在本机使用sparkSession连接数据,并在数据库执行sql,在idea展示执行结果。7. 重启idea,执行代码,还是报错,有点头晕,一狠心,把D:tmp文件夹给删掉了,在执行idea的程序,正常输出了。4. 修改hadoop下的jdk文件路径,修改的时候注意跟进参考文档中修改,否则执行会报错。原创 2023-11-03 17:34:22 · 400 阅读 · 0 评论