- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark的配置
一.spark的安装与配置scala的下载下载地址为：scala下载地址1.启动hadoop（搭建高可用集群的一起启动（1）启动Zookeeper（三台虚拟机都进行）zkServer.sh start(2）启动journalnode（三台虚拟机都进行） hadoop-daemon.sh start journalnode（3）启动Hadoop以及jps查看进程start-all.sh...
2021-10-14 11:27:14
795
原创 Flask可视化
目录Flask可视化一、创建文件二、写html文件1.写html的基本代码2.写盒子div3.css文件4.连接数据库并处理数据5.使用python.py文件，让app跑起来6.使用echarts绘图7.使用ajax连接前后端并显示8.echarts图表1.折线图2.柱形图3.饼图4.雷达图Flask可视化工具：Python Flask——后台html+css...
2021-10-14 10:57:11
790
2
原创 Spark-Shell的启动和运行
一、 RDD基本概念RDD——分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度二、运行spark-shell命令执行spark-shell命令就可以进入Spark-Shell交互式环境[root@hadoop1 spark-2.1.0-bin-hadoop2.4]# spa
2021-08-10 16:08:41
349
原创 Hadoop高可用集群搭建
Hadoop集群配置hadoop-01 hadoop-02 hadoop-03 ResourceManager ResourceManager NodeManager NodeManager NodeManager NameNode NameNode DataNode DataNode DataNode DFSZKFailoverController DFSZKFailoverController Jo
2021-08-04 15:30:26
137
原创 hdfs得JAVAAPI操作
一、下载安装1.下载hadoop安装包2.解压hadoop安装包放到一个文件夹中3.将文件hadoop.dll和文件winytils.exe 移动到hadoop.2.4.1/bin文件夹下二 、配置环境变量新建环境变量HADOOP_HOME变量值为hadoop所在的文件夹编辑系统变量得path，添加%HADOOP_HOME%\bin字样三、hdfs的JavaAPI操作 之前我们都是用hdfs shell 来操作hdfs上的文件，现在我们通过编程的...
2021-08-02 17:13:51
186
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人