- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CDH6.1安装部署文档附带安装包（三节点为例）
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA 提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点#个人习惯在opt目录下创建一个package目录用于存放安装包三、解压安装zip包指令如下：unzip cloudera.zip如图：四、前期服务器环境准备1、...
2021-12-03 14:21:59
3863
原创 原生Hadoop、spark集群一键部署脚本
#!/bin/bash##########################################################################脚本使用说明#####################################1、使用脚本前需要弄好服务器的基础环境########################2、在hadoop的每个节点需要手动创建如下目录：/data/hdfs/tmp####3、修改下面的配置参数#########################.
2021-09-29 16:12:40
637
原创 上传jar包到hdfs
一、前端上传界面代码<form action="/ajax/pluginJarInfo/fileUpload" id="jarUpload" method="post" enctype="multipart/form-data"> <div class="uploadJarFile"> <input type="file" name="file" value="选择文件">
2020-10-26 14:32:16
1584
原创 hive sql 将查询数据导入csv文件中因字符串中有换行符导致出现文段换行的问题
一、此篇博客主要记录在此次从hive表中查询数据导入到csv文件中，因为某个字符串字段中含有大量的换行符导致存入在csv文件中的数据出现了换行、错位的情况，以此记录二、最终实现sql如下：hive -e "set hive.cli.print.header=true; SELECT id,msg_id,regexp_replace(msg_title,'\\\\n|\\n|\\r|\\\...
2020-04-08 09:08:18
3216
原创 hive 中自定义 base64 加密 解密 UDF 函数
一、maven依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <...
2019-12-28 09:54:53
2810
3
原创 java.net.BindException: Problem binding to [zdww-dsj:53] java.net.BindException: 地址已在使用;
一、问题出现场景1、在Ambari+HDP中，yarn 的RegistryDNS启动不起来二、问题截图三、造成原因在yarn的配置中可以看到DNS这块的配置默认是53端口，因为53端口被占用了，所以启动不起来四、处理办法修改DNS端口即可如下截图所示：注：端口修改成未被使用的就行，本处修改成了52....
2019-12-25 16:46:38
756
1
原创 centos7.4安装Ambari-2.7.1.0搭建HDP-3.1.0
一、环境准备1、centos7以上系统2、mysql版本：mysql-5.7.213、jdk版本：java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_644、Ambari版本：Ambari-2.7.1.05、HDP版本：HDP-3.1.06、保证所有节点时间同步二、关闭服务器防火墙并设置开机不启动（所有服务器）指令： ...
2019-12-17 17:45:55
2238
原创 linux下在线搭建mysql5.7.21版本
一、下载地址：https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm二、下载mysql yum源rpm安装包指令：wgethttps://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm三、安装mysql源yum localin...
2019-12-16 18:50:33
582
原创 quartz调度部分接口的调用
一、添加依赖：<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.37</version></dependency><...
2019-11-21 10:48:33
862
原创 File 类型文件转 MultipartFile
一、添加依赖<!-- https://mvnrepository.com/artifact/org.springframework/spring-mock --><dependency> <groupId>org.springframework</groupId> <artifactId>spring-mock&l...
2019-09-13 14:52:24
496
原创 springboot 集成swagger2
一、添加如下依赖：<!--swagger config --><!--引入ui包--><dependency> <groupId>com.github.xiaoymin</groupId> <artifactId>swagger-bootstrap-ui</artifactId> <...
2019-09-11 14:58:18
192
原创 springcloud 通过feign 远程调用三方项目的接口
一、前言1、此篇博客主要记录自己最近尝试使用feign调用三方项目的接口而编辑的demo，不足之处，烦请指点一二！！！！2、分别搭建用户中心（eureka）、服务提供方（server）、客户端（client），如下图：二、搭建用户中心1、pom文件(eureka.pom)：添加如下依赖<dependency> <groupId>org.sp...
2019-09-08 13:09:01
2467
转载 JVM参数设置
参数说明-Xmx3550m：设置JVM最大堆内存为3550M。-Xms3550m：设置JVM初始堆内存为3550M。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。-Xss128k：设置每个线程的栈大小。JDK5.0以后每个线程栈大小为1M，之前每个线程栈大小为256K。应当根据应用的线程所需内存大小进行调整。在相同物理内存下，减小这个值能生成更多的线程。但是操作系统...
2019-03-08 17:47:22
333
原创 Apache Storm安装部署
一、此文档安装spark在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（apache-storm-1.1.1.tar.gz）到/usr/local目录下如图：2、解压安装包指令：tar -zxvf apache-storm-1.1.1.ta...
2018-12-05 09:20:55
523
原创 Apache Spark安装部署
一、此文档安装spark在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（ spark-2.0.2-bin-hadoop2.7.tgz）到/usr/local目录下如图：2、解压安装包指令：tar -zxvf spark-2.0.2-bin-...
2018-12-03 08:58:35
1738
原创 Apache Kafka的安装部署
一、此文档安装kafka在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署1、上传安装包（kafka_2.11-1.0.0.tgz）到zgl-1节点上的（/usr/local）目录如图：2、解压安装包指令：tar -zxvf kafka_2.11-1.0.0...
2018-11-30 08:40:01
342
原创 Apache ZooKeeper安装
一、此文档安装zookeeper在以下节点上：zgl-1：192.168.127.121zgl-2：192.168.127.122zgl-3：192.168.127.123二、安装部署：1、在三个节点上分别新建zookeeper 数据目录指令：（注：三个节点均需执行以下指令！！！） mkdir -p /data/zookeeper-data如图zgl-1节点上：...
2018-11-28 08:40:14
1179
原创 apache-hive安装
前提：本配置文档，是将元数据存储在mysql中！！！ 一、在节点一（zgl-1）上传安装包（apache-hive-1.2.1-bin.tar.gz）到/usr/local 目录下如图所示：二、安装mysql指令：# yum install mysql mysql-server mysql-devel如图：执行指令结果如图：# /etc/ini...
2018-11-27 09:00:17
499
原创 Apache Hadoop 安装
一、此文档安装Apache Hadoop-2.7.4二、上传安装包：将hadoop-2.7.4-with-centos-6.7.tar.gz 上传到/usr/local 目录下如图：三、为了便于文件管理，分别在三台主机上创建文件夹，如下指令：（注：每个节点均需操作一下指令）# mkdir -p /data/hdfs/name# mkdir -p /data/hdf...
2018-11-23 09:02:21
1704
转载 spark 参数调优
num-executors 调整合适的executor进程数量参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作...
2018-11-22 14:54:17
197
原创 linux 中SSH免密登录设置
一、此处以三台节点为例zgl-1:192.168.127.121zgl-2:192.168.127.122zgl-3:192.168.127.123二、操作步骤如下1、设置zgl-1免密远程登录其他节点，以root用户为例#在zgl-1节点输入如下指令（生成密钥）：ssh-keygen -t rsa如下图：#如下操作，将公钥发送给每个节点： ssh-co...
2018-11-21 08:32:51
434
原创 克隆虚拟机
#主要以图文讲解，可以按图进行操作即可！！！#出现如下界面：#出现如下界面：#如下：#如下：#如下：#如下：#如下：#如下：#如下，启动虚拟机：#vim /etc/sysconfig/network-scripts/ifcfg-eth0如下图：按照图片操作#修改主机名：vim /etc/sysconfig/...
2018-11-20 08:38:58
240
原创 无法打开内核设备"\\.\Global\vmx86":系统找不到指定的文件。是否在安装VMware Workstation 后重新引导？
#启动虚拟机出现如下图所示问题： #解决办法：1、右键单击此电脑，点击管理，出现如下图所示，并按图操作：2、按如下图所示操作3、按照如下图所示操作4、问题已经解决，启动虚拟机即可！！！ ...
2018-11-16 08:40:40
12876
13
原创 Linux 中jdk1.8的安装步骤
一、查看虚拟机中现存在的jdk版本：输入指令：rpm -qa|grep jdk显示如下图：以上红线框内表示现在虚拟机中现存在jdk版本。注：在安装jdk1.8之前我们需要先卸载虚拟机现有在jdk版本二、卸载虚拟机现有在jdk输入指令：rpm -e --nodeps 后接现有在jdk版本信息，例如： rpm -e --nodeps java-1.7.0-openjdk...
2018-10-14 21:12:44
16618
原创 Linux，虚拟机搭建，centos6.5版本
注：本文主要以图片形式展示，步骤详尽！第一步，点击创建新的虚拟机。第二步，点击自定义高级。第三步，选择硬件兼容性，选择按照图片所示选择。第四步，选择稍后安装操作系统。第五步，选择客户机操作系统和版本，按照图片指示选择。第六步，拟定本创建虚拟机的名称和选择存储路径，此处示例名称（node-1），选择默认存储路径。第七步，配置本创建虚拟机的处理器，本...
2018-10-14 19:50:43
1127
原创 冒泡排序
需求: 1.创建一个任意长度的int类型数组(在此定义数组长度为10); 2.采用键盘录入(scanner)的方式给数组赋值; 3.通过冒泡排序,将数组从小到大排序; 4.使用增强for遍历数组,并打印结果代码实现:(类名:sort) public class Sort { public static void main(String[] args) {...
2018-06-22 07:15:42
222
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人