自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Tensorflow安装

Tensorflow安装

2022-06-13 15:07:30 329

原创 Scala环境搭建

Scala环境搭建 1)安装步骤 (1)首先确保 JDK1.8 安装成功 (2)下载对应的 Scala 安装文件 scala-2.12.11.zip (3)解压 scala-2.12.11.zip,我这里解压到 D:\Tools (4)配置 Scala 的环境变量 注意 1:解压路径不能有任何中文路径,最好不要有空格。 注意 2:环境变量要大写 SCALA_HOME (5)在命令行启动scala环境 Scala插件安装 默认情况下 IDEA 不支持 Scala 的开发,需要安装 Scala 插件。

2022-05-31 16:17:20 653

原创 Spark-Mlib &Spark GraphX

RandomForest(sbt打包) Find full example code at “examples/src/main/scala/org/apache/spark/examples/ml/RandomForestClassifierExample.scala” in the Spark repo. 进入spark目录 mycode中, 自定义randomforest文件夹 mkdir -p randomforest/src/main/scala cd randomforest/src/m

2022-05-29 15:46:53 289

原创 Spark独立应用程序编程

(一)编写Scala独立应用程序 安装sbt sbt(Simple Build Tool)是对Scala或Java语言进行编译的一个工具,类似于Maven或Ant,需要JDK1.8或更高版本的支持,并且可以在Windows和Linux两种环境下安装使用。sbt需要下载安装,可以访问“http://www.scala-sbt.org”下载安装文件sbt.tgz,保存到下载目录。 /home/CCX/software/sbt 接着在安装目录中使用下面命令创建一个Shell脚本文件,用于启动sbt:vim

2022-04-11 12:05:20 1405

原创 zookeeper和kafka的集群安装配置

横向配置 Kafka内部有自置的zookeeper,此处我们选择外部从新安装配置zookeeper。 先选择一个结点进行配置,后面在远程拷贝到其他结点,此处选用westgisB062为例: 下载zookeeper和Kafka的安装包并解压 配置环境变量vim .bashrc并在其加入: #zookeeper export ZOOKEEPER_HOME=/home/CCX/software/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin #kafka ex

2022-03-22 18:08:28 381

原创 Spark集群安装配置

Spark集群安装配置 集群规划 Spark集群的规划要确定以下问题: (1)集群结点数,每个结点资源:5个结点,每个结点 4个core,8GB内存,磁盘空间 (2)结点机器名和IP地址 (3)Sparky与HDFS是否混合部署 (4)主从结点个数及对应角色 序号 机器名 IP地址 HDFS角色 Sparke角色 备注 1 westgisB058 10.103.105.58 client 提交任务,集群管理 2 westgisB059 10.103.105.59 DataNode Wo

2022-03-15 18:08:10 378

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除