- 博客(13)
- 收藏
- 关注
RSS订阅原创 虚拟机联网报错问题
虚拟机出现联网报错解决：1.查看网络是否启用2、查看服务是否启动此电脑----右键----属性----服务与应用程序----服务：3、依次查看并修改虚拟机中这几个文件配置：A.vi /etc/sysconfig/network-scripts/ifcfg-ens32(注意：网络配置文件名可能会有不同，在输入到ifcfg时，可以连续按两下tab键，获取提示，比如我的机器 为 ifcfg-ens32）此文件中需配置子网IP、子网掩码、网关TYPE=Ethe...
2021-10-22 09:56:27
1394
原创 大数据平台搭建
一、jdk安装及配置1、下载安装包2、上传安装包3、解压安装包[root@master1 ~]# tar -zxvf jdk-8u161-linux-x64.tar.gz4、移动到指定路径下[root@master1 ~]# mv jdk1.8.0_161 /opt5、配置环境变量[root@master1 ~]# vi /etc/profile[root@master1 ~]# source /etc/profileexport JAVA_HOME=/opt/
2021-10-07 21:21:52
6420
2
原创 在IDEA中使用Scala
1.本地下载Scala安装包，解压到指定路径2.配置环境变量（1）新增系统环境变量此电脑----右键----属性----高级系统设置----环境变量----系统变量----新建SCALA_HOME（2）配置PATH环境变量新增：%SCALA_HOME%\bin（3）配置CLASSPATH：%SCALA_HOME%\bin;%SCALA_HOME%\lib\dt.jar;%SCALA_HOME%\lib\tools.jar;一路确定即可（4）测试Sca
2021-08-12 17:13:29
13629
原创 Python数据采集
一、采集豆瓣电影 Top 250的数据采集1.进入豆瓣 Top 250的网页豆瓣电影 Top 2502.进入开发者选项3.进入top250中去查看相关配置右键----检查----4.为Pycharm添加其第三方库pycharm中 File----右键----settings----Python Interpreter----+----（添加bs4、requests、lxml等安装包）5.进行爬虫的编写（1）导入：import requests（2）...
2021-08-12 17:12:55
11263
1
原创 SparkRDD算子练习
练习一：scala> val list = List(("zhangsan",85),("zhangsan",90),("zhangsan",76),("lisi",80),("lisi",75),("lisi",89))scala> val rdd = sc.parallelize(list)//将相同key的值聚合到一起scala> val rdd1 = rdd.reduceByKey((a,b)=>a+b)//查看结果scala> rdd1.collect
2021-08-10 16:04:25
2713
1
原创 Spark-Shell的启动和运行
一、运行spark-shell命令执行spark-shell命令就可以进入Spark-Shell交互式环境[root@hadoop1 spark-2.1.0-bin-hadoop2.4]# spark-shell二、Spark Rdd简单操作1.从文件系统加载数据创建RDD----textFile（1）从Linux本地文件系统加载数据创建RDDscala> val rdd = sc.textFile("file:///root/word.txt")scala>.
2021-08-09 18:10:55
4425
1
原创 Linux下Hive的安装
在安装Hive之前，要求先：-安装JDK7-安装Hadoop-2.2.0-安装MySQL5.6.x1.下载hive压缩包2.上传到虚拟机3.解压（并移动到指定位置）[root@hadoop1 ~]# tar -xzvf apache-hive-2.1.1-bin.tar.gz[root@hadoop1 ~]# mv apache-hive-2.1.1-bin /export/software/[root@hadoop1 ~]# ta...
2021-08-06 20:21:34
2121
原创 Spark2.1.0的安装与配置
一、scala的安装与配置scala的下载下载地址为：scala下载地址1.启动hadoop（搭建高可用集群的一起启动）（1）启动Zookeeper（三台虚拟机都进行）[root@hadoop1 ~]# zkServer.sh start（2）启动journalnode（三台虚拟机都进行）[root@hadoop1 ~]# hadoop-daemon.sh start journalnode（3）启动Hadoop[root@hadoop1 ~]#..
2021-08-05 10:57:13
875
原创 Linux下MySQL的安装
一、安装mysql1.下载mysqlwgethttp://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm找不到wget命令yum install wget命令安装wget[root@hadoop1 ~]# yum install wget解决方法：运行：[root@hadoop1 ~]# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentO...
2021-08-04 22:03:27
420
原创 Hadoop高可用集群搭建
1. 配置主机名以及解析（3台）2. 配置服务器间ssh免密码登陆（3台）3. 安装hadoop（1）修改配置文件A.将hadoop安装包解压，重命名为hadoop，拷贝到/usr/local下B.修改各配置文件,所有的配置文件在/usr/local/hadoop/etc/hadoop目录下a.修改core-site.xml,内容如下：b.修改hdfs-site.xml，内容如下：c.修改yarn-site.xml,内容如下：d.修改mapred-site.xml(该文件
2021-08-04 14:24:11
276
原创 虚拟机的创建（连网报错解决）
1.查看网络是否启用此电脑----右键----属性----服务与应用程序----服务：2.开始创建虚拟机：3.安装完成后重启4.用户名、密码登录5.输入 ping www.baidu.com 出现如图所示，即网络连接成功（Ctil+C停止）6.如果报错：接着输入 ip addrip地址显示不出来7.解决方法：（1）虚拟机中...
2021-08-03 17:24:03
1892
原创 Zookeeper的安装与部署
Zookeeper是用来进行分布式服务的协调，，集群也是一个主从集群，它一般是由一个Leader（领导者）和多个Follower（跟随者）组成。1.下载安装包2.上传安装包3.解压安装包，移动到指定位置解压：移动到指定位置：修改名字：4.Zookeeper的相关配置（1）配置zoo.cfg文件（进入到zookeeper目录下：bin里面是一些启动的命令，要在conf里面配置，lib可用的jar包，logs是日志文件）改名：配置：底部输入 ...
2021-08-03 16:15:49
351
原创 学习 HDFS的JavaAPI操作
一、HDFS的JavaAPI操作之前我们都是用HDFS Shell来操作HDFS上的文件，现在我们通过编程的形式操作HDFS，主要就是用HDFS中提供的JavaAPI构造一个访问客户对象，然后通过客户端对象对HDFS上的文件进行相应的操作（新建、上传、下载、删除等）。1、常用的类（１）Configuration：该类的对象封装了客户端或服务器的配置（２）FileSystem：该类的对象是一个文件系统对象，通过该对象调用一些他的方法，从而实现对文件的操作。 mkdirs(Path f
2021-08-02 17:08:53
1244
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人