lhever_的博客

import org.apache.commons.io.IOUtils;import java.io.*;import java.util.ArrayList;import java.util.Arrays;import java.util.List;/** * <p>类说明：</p> * * @author lihong10 2021/5/21 14:31 * @version v1.0 * @modificationHistory===========.

安装spark（集群环境, 貌似spark的master节点必须与hadoop的master节点一致）cd /softtar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/cd /usr/local/spark-2.2.1-bin-hadoop2.7环...

本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等，并实际的做了一下验证。代码与引用的文章差别不大，现列出来作为备忘。import java.io.*;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSD

安装spark（单机环境）cd /softtar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local//usr/local/spark-2.2.1-bin-hadoop2.7环境变量：echo "export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.7" >> /etc/profil

安装scalacd /softtar -zxvf scala-2.12.4.tgz -C /usr/local/cd /usr/local/环境变量：echo "export SCALA_HOME=/usr/local/scala-2.12.4" >> /etc/profileecho -e 'export PATH=$PATH:$SCALA_HOME/bin'>> /etc/p

安装kafkacd /softtar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/mv /usr/local/kafka_2.11-1.0.0/ /usr/local/kafka_2.11环境变量：echo "export KAFKA_HOME=/usr/local/kafka_2.11" >> /etc/profileecho -e '

安装HBasecd /softtar -zxvf /soft/hbase-1.4.0-bin.tar.gz -C /usr/local/cd /usr/local/ ###可以看hbase解压到该目录, 文件名称是： hbase-1.4.0环境变量：echo "export HBASE_HOME=/usr/local/hbase-1.4.0" >> /etc/profileech

安装 hadoop赋予hadoop用户sudo权限：1. 切换到root用户，给hadoop用户授予sudo权限：修改/etc/sudoers文件，由于默认root用户也不可以写入，这里开启写入权限：su - rootcd /etc/ls -la | grep sudoerchmod u+w sudoers 2 增加一行，赋予hadoop用户sudo权限：

SSH免密钥登陆： 1.首先以root用户身份，修改：vim /etc/ssh/sshd_config #禁用root账户登录，如果是用root用户登录请开启。PermitRootLogin yes# 是否让 sshd 去检查用户家目录或相关档案的权限数据，# 这是为了担心使用者将某些重要档案的权限设错，可能会导致一些问题所致。# 例如使用者的 ~.ssh/ 权限设错时，

安装zookeeper关闭防火墙：停止： systemctl stop firewalld.service 禁止firewall开机启动： systemctl disable firewalld.service 查看默认防火墙状态（关闭后显示notrunning，开启后显示running）：firewall-cmd --state 解压安装： cd /soft tar -zx

安装java1. 列出已经安装的java：yum list installed | grep java2. 卸载自带：yum -y remove java-1.7.0-openjdk.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64 yum -y remove java-1.8.0-op

1.本示例的项目结构如下图所示：2.示例中的配置文件hbase-site.xml，只需将Hbase集群中的同名配置文件拷贝进来即可，该配置文件内容如下：<!--/** * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreement

1.源码如下：package com.mapred.core;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import o

第一步：选中项目，点击 File ->  Project structure  ->  artifacts ,然后在弹出的面板的中间点击绿色+号按钮，选择 JAR  -> from modules with dependencies。至此，弹出下图所示界面：第二步：如上图所示，填写Main class的值为带有main方法的那个启动类的完整类名。                 选