- 博客(12)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 hadoop学习笔记(六)Flume安装部署
Flume安装部署Flume安装及配置2.2 Flume 入门案例 Flume安装及配置 将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下 tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 修改文件名 mv apache-flume-1.7.0-bin flume-1.7.
2020-12-07 14:46:29
1075
原创 hadoop学习笔记(五)Hive安装部署
Hive安装部署Hive 安装及配置配置已经完成, 在此处启动hadoop集群Hive 常用命令将本地文件导入 Hive 案例安装MySqlHive 元数据配置到 MySql Hive 安装及配置 下载地址: https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ 提取码: gj4n 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-1.2.1-bin.tar.gz
2020-11-27 17:37:13
163
原创 hadoop学习笔记(四)常用的调优参数
常用的调优参数资源相关参数mapred-default.xmlyarn-default.xmlmapred-default.xml容错相关参数(MapReduce性能优化) 资源相关参数 mapred-default.xml 以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，
2020-11-27 10:00:45
198
原创 hadoop学习笔记(三)分布式环境搭建
分布式模式配置准备工作集群配置核心配置在集群上分发配置好的Hadoop配置文件查看文件分发情况SSH无密码登陆配置群起集群 准备工作 准备3台客户机（关闭防火墙、静态ip、主机名称、hsots） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 CentOS7使用集群同步脚本对配置文件同步分发 参考 https://www.cnblogs.com/mwcloud/p/11350617.html scp（secure copy）安全拷贝 scp
2020-11-20 14:53:00
137
原创 hadoop学习笔记(二)伪分布式模式配置
伪分布式模式配置启动HDFS并运行MapReduce程序配置集群启动集群查看集群启动YARN并运行MapReduce程序配置集群 启动HDFS并运行MapReduce程序 使用的虚拟机系统为CentOS7 jdk版本: jdk1.8.0_144 hadoop版本: hadoop-2.7.2 下载地址 关闭防火墙 firewall-cmd --state systemctl stop firewalld.service systemctl disable firewalld.service 配置集群 （a
2020-11-19 17:14:51
248
原创 hadoop学习笔记(一)环境搭建
安装环境环境版本说明具体步骤 环境版本说明 使用的虚拟机系统为CentOS7 jdk版本: jdk1.8.0_144 hadoop版本: hadoop-2.7.2 下载地址 具体步骤 在/opt目录下创建目录 module , software cd /opt mkdir software mkdir module 上传安装包到software目录 加压软件安装包 tar -zxvf jdk-8u144-linux-x64.tar.gz /opt/module/ tar -zxvf hadoop-2
2020-11-18 14:39:54
137
原创 window下使用winsw部署jar过程详细记录
下载 WinSW v2.11.0 下载如图红框内的文件 WinSW.NET4.exe 可执行文件 sample-minimal.xml 配置文件 新建目录结构 新建部署主目录 test_v1.0.0 在文件夹里面新建 部署文件夹 jar jre logs 如下图 复制WinSW文件到部署主目录下 复制java jdk jre的文件到jre目录下 复制要不说的jar包到jar文件夹下 修改WinSW文件为要部署的服务名称 修改配置文件test.xml, 如下并保持 &l
2021-11-23 10:05:18
2892
原创 docker 里安装reids 基础命令
docker 里安装reids 基础命令docker 命令 docker 命令 获取redis 镜像 docker pull redis 查看本地镜像 docker images 查看运行的镜像 docker ps 启动redis 容器 docker run -d redis -p 6379:6379 --name reids01 --requirepass "123456" 参数说明 ...
2019-05-29 19:19:51
166
转载 CentOS7 安装mysql
原文链接：http://blog.youkuaiyun.com/xyang81/article/details/51759200 安装环境：CentOS7 64位，MySQL5.7 1、配置YUM源 在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包 she...
2019-04-08 21:58:35
113
原创 centos7 java环境搭建 tomcat配置
centos7 java环境搭建 tomcat配置准备工作安装java 环境安装tomcat所有命令 话不多说直接撸码 准备工作 jdk 下载地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载一个 linux-x64.tar.gz结尾的 tomcat 下载地址 htt...
2019-03-28 17:01:22
343
转载 如何将MyEclipse开发的项目导入到Eclipse中运行
由于以前的项目都是用myeclipse开发的，现在要换成eclipse来开发。但是项目导入到eclipse中发现该项目并不是web项目，也不能部署到tomcat里面去。 现在解决了这个问题了。 一.请首先确保你的机器上的eclipse是javaee版本的，或者已经安装看wtp插件 二.先Close Project,然后修改eclipse工程下的.proje
2013-10-30 10:08:38
719
原创 java Date 格式的转换
2. i 将String转成 Date SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd"); ParsePosition pos = new ParsePosition(0); Date strtodate = formatter.parse
2013-10-29 17:56:46
562
IDEA 快速入门开发手册
2019-03-26
Hadoop 环境搭建对应的安装包 hadoop-2.7.2 jdk-8u144-linux-x64
2020-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人