- 博客(22)
- 资源 (13)
- 收藏
- 关注
原创 cdh001
-------------------------------------------------------VM模版--------------------------------------------------------------安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456vi /etc/sysconfig/network
2017-09-07 14:20:39
413
原创 无密码登陆
ssh-keygen -t rsa在~/.ssh/目录中生成两个文件id_rsa和id_rsa.pub如果想从hadoop001免密码登录到hadoop002中要在hadoop001中执行ssh-copy-id -i ~/.ssh/id_rsa.pub [用户名]@hadoop002这里为了实现任何机器之间都可以免密码登陆,所以在hadoop001中再执行两
2017-09-07 14:12:28
291
转载 Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
文件下载CDH (Cloudera’s Distribution, including Apache Hadoop),是hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理
2017-08-02 13:42:04
439
转载 Hadoop HA on Yarn——集群配置
集群搭建因为服务器数量有限,这里服务器开启的进程有点多:机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode, DFSZKFailoverController, ResourceManagerDataNode, NodeManagerQuorumPeerMa
2017-08-01 18:03:18
464
转载 Flume架构以及应用介绍
在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念 flume是分布式的日
2017-08-01 14:58:35
340
转载 Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
一简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。二特点Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。
2017-08-01 11:37:32
789
转载 Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服
2017-07-31 18:09:44
272
转载 hive学习笔记
1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 hadoop 中的大规模数据的机制。hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re
2017-07-31 17:57:09
1181
转载 【Hadoop】Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。
2017-07-31 16:13:11
284
转载 【Hadoop】HDFS的运行原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③
2017-07-31 16:02:39
339
原创 shell常用命令
shell 常用笔记.当前目录 .. 上级目录 ~用户根目录(/home/lzm)文件状态测试 -d 目录 -s 文件长度大于0 -f 正规文件 -w 可写 -L 符号连接 -u 文件有suid位设置 -r
2017-07-28 16:36:25
355
原创 linux集群时间同步,ntpd、ntpdate
spark001 spark002 spark003 都安装 yum install ntp----------------------------------------------spark001---------------------------------- 修改配置文件/etc/ntp.conf,在其中插入: restrict
2017-07-28 11:26:58
684
转载 手机用fiddler抓包
手机用fiddler抓包电脑最好是笔记本,这样能和手机保持统一局域网内;其他不多说,直接说步骤了。一.对PC(笔记本)参数进行配置 1. 配置fiddler允许监听到https(fiddler默认只抓取http格式的) 打开Fiddler菜单项Tools->TelerikFiddler Options->HTTPS, 勾选
2017-07-27 17:40:41
344
原创 spark集群
-------------------------------------------------------VM模版--------------------------------------------------------------1.)安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456vi /etc/sysconfig/ne
2017-07-27 16:32:13
315
原创 vmware11配置vmware-tools实现windows文件与vm文件共享
#参考地址http://jingyan.baidu.com/article/ca00d56c74dde4e99eebcfd2.htmlroot用户进入#在任意位置,新建一个目录 /mnt/cdrom, 用于挂载虚拟光驱(cd):mkdir /mnt/cdrom#将目录 /mnt/cdrom挂载在虚拟光驱 /dev/cdrom:mount /dev/cdrom /
2017-07-27 16:30:34
1481
原创 liunx安装jdk及VisualVM性能配置
官网地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html1.) 文件jdk-7u17-linux-x64.tar.gz放在/root/tools/2.) sudo tar zxvf /root/tools/jdk-7u17-linux-x64.t
2017-07-27 16:27:04
899
原创 grep-awk-seq快速上手文档
grep-awk-seq快速上手文档grep 正则 文件内容查找特定字符匹配grep '1' /usr/local/logs范围内字符:单个字符[]grep '[a-zA-Z]' /usr/local/logs空行grep '^$' /usr/local/logs匹配包含 e fgrep 'e.*f' /usr
2017-07-27 16:22:08
549
原创 Centos没有网卡eth0配置文件
复制 /etc/sysconfig/network-scripts/ifcfg-lo 改名 ifcfg-eth0内容修改如下DEVICE=eth0NETMASK=255.255.255.0NETWORK=192.168.0.0BROADCAST=127.255.255.255ONBOOT=yesDEVICE="eth0"B
2017-07-25 11:36:13
2929
转载 Linux系统下安装rz/sz命令及使用说明
可以提示 cc yum install cc对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多linux系统初始并没有这两个命令。今天,我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装root 账号登陆后,依次执行以下命令:
2017-07-24 16:00:06
511
原创 liunx 配置tomcat
官网地址 http://tomcat.apache.org/1.) 文件apache-tomcat-7.0.65.tar.gz放在/root/tools/ 项目编译代码/var/wwwroot/下2.) sudo tar zxvf /root/tools/apache-tomcat-7.0.65.tar.gz -C /root/lzmInstall/tomcat
2017-06-16 11:21:48
289
原创 liunx 基础
CentOS 6.4版本,64位http://archive.cloudera.com/cdh5/在整个大数据领域,对于Hadoop 发行版本,有公司Cloudera>>>>>>> 虚拟化工具VMWare1)安装VMWare虚拟机软件2)创建虚拟机 ---- 此处省略3)安装CentOS 6.4操作系统---- 此处省略4)导入已经安装好的虚拟机
2017-06-16 11:03:18
299
转载 【HTTPS服务器配置】----Nginx配置
一、SSL证书申请1、确认需要申请证书的域名2、生成私钥和csr文件在linux机器上执行以下命令生成私钥#openssl genrsa -out server.key 2048在linux机器上执行以下命令生成csr文件#openssl req -new -key server.key -out certreq.csr以下黑色标识文字仅供参
2017-06-14 10:23:56
485
jBPM4.3用户指南pdf
2012-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅