
大数据+Linux
weixin_43289669
这个作者很懒,什么都没留下…
展开
-
Linux+虚拟机的JDK+Hadoop安装配置、单机模式配置、伪分布式配置、完全分布式配置
一、条件及部分Linux指令1、部分Linux指令cd文件名(A):表示进入A文件夹mkdir文件名(A):表示创建A文件夹rf –rm文件名(A):表示删除A文件夹cd / :返回根目录2、条件 1)、以下操作在SecureCRT里面完成 2)、关闭防火墙 firewall-cmd--state 显示防火墙状态running/not runn...原创 2019-05-21 21:36:11 · 2411 阅读 · 0 评论 -
在虚拟机用Hbase shell创建数据表
一、HBase安装配置1、HBase安装①下载压缩包(选择与自己安装的Hadoop版本的兼容版本)官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCR...原创 2019-05-22 17:04:34 · 1457 阅读 · 0 评论 -
虚拟机上用HiveQL语句实现wordcount程序
一、MySQL安装与卸载1、MySQL安装①官网下载mysql-server(yum安装)wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm下载安装wget:yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarc...原创 2019-05-22 17:09:48 · 351 阅读 · 0 评论 -
用Java、Scala编写Spark应用程序
一、官网下载安装Scala:scala-2.12.8.tgzhttps://www.scala-lang.org/download/tar -zxvf scala-2.12.8.tgz -C /opt/modulemv scala-2.12.8 scala测试:scala -version启动:scala二、官网下载安装Spark:spark-2.4.2-bin-ha...原创 2019-05-22 17:14:44 · 622 阅读 · 0 评论 -
MapReduce编程入门实例之WordCount:分别在Eclipse和Hadoop集群上运行
MapReduce编程入门实例之WordCount:分别在Eclipse和Hadoop集群上运行 首先看一下我的项目结构和WordCount程序: 其中word.txt将作为我们测试的输入文件,内容如下: hello hadoophello wordcount 程序代码: 1 package com.hadoop.WordCount; 2 import java.i...原创 2019-05-26 19:19:55 · 246 阅读 · 0 评论 -
安装配置JDK+Eclipse+Maven+Hdfs命令
一、步骤:1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。2.安装Eclipse①官网下载Eclipse安装包eclipse-ins...原创 2019-05-22 18:52:42 · 213 阅读 · 0 评论 -
NOSQL下的Redis和MongoDB的安装和配置
一、下载、解压MongoDB提供了linux平台上32位和64位的安装包官网下载安装包下载地址:http://www.mongodb.org/downloads二、建数据库目录MongoDB的数据存储在data目录的db目录下,这个目录在安装过程不会自动创建,手动创建data目录,并在data目录中创建db目录。将data目录创建于根目录下(/) mkdir -p /data/...原创 2019-05-22 19:41:18 · 129 阅读 · 0 评论