Unauthorized_的博客

文章目录一些遇到的错误hbasesparkpyspark一些遇到的错误hbasegedit ~/.bashrc时显示Unable to init server: Could not connect: Connection refused(gedit:4223): Gtk-WARNING **: 23:15:04.898: cannot open display:原因：进入了ssh/hdfs之类的操作 exit即可或者是真的没有权限，参考进入hbase shell后输入list显示

文章目录实习五 Spark软件栈体验Spark安装与启动1.Spark RDD-WordCount2.Spark SQL3.Spark MLlib之Titanic4.GraphX再现PageRank实习五 Spark软件栈体验Spark安装与启动本次实习采用spark为3.0.0版本。在根据教程安装后输入./bin/spark-shell进入交互模式，界面生成如下结果：输入如下代码进行RDD简单操作：val textFile = sc.textFile("file:///usr/local

文章目录基于Spark的tpc-h查询语句及优化1.实验目的2.实验环境2.1 电脑&虚拟机配置2.2 Java&Spark设置3.数据上传&建表4.tpc-h测试集22条查询4.1 查询语句4.2 运行时间分析5.优化5.1 数据倾斜5.2 shuffle5.3 持久化5.4 Spark多核运行5.5 虚拟机设置6.结果与分析7.心得体会基于Spark的tpc-h查询语句及优化1.实验目的选择了tpc-h的22条语句进行查询测试，并尝试了shuffle优化、持久化、spark