- 博客(40)
- 收藏
- 关注
RSS订阅
原创 Linux命令提示符
目录（文件夹）常用命令2.1创建文件夹的命令格式：mkdir 目录名mkdir -p 目录名1/目录名2/目录名3(嵌套)注意: 新建目录的名称 不能与当前目录中 已有的目录或文件同名示例： mkdir /opt/dir1mkdir -p /opt/dir1/dir2/dir3/dir42.2删除文件夹的命令（谨慎使用，谨慎使用，谨慎使用）格式：rm 文件夹 （有提示）rm -f 文...
2019-10-14 08:36:51
463
原创 HBase安装部署
第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压将我们的压缩包上传到Hado...
2019-12-12 08:47:45
264
原创 Apache ZooKeeper
1、Zookeeper基本知识1.1、ZooKeeper集群搭建Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。Zookeeper运行需要java环境，所以需要提前安装jdk。对于安装leader+follower模...
2019-12-09 21:51:21
402
2
原创 Linux常用命令
Linux的cat命令语法:cat [-AbeEnstTuv] [--help] [--version] fileNamecat 命令用于连接文件并打印到标准输出设备上。参数说明：-n 或 --number：由 1 开始对所有输出的行数编号。-b 或 --number-nonblank：和 -n 相似，只不过对于空白行不编号。-s 或 --squeeze-blank：当遇到有连续两...
2019-12-07 15:31:08
379
原创 Sqoop导出
将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中。export有三种模式：默认操作是从将文件中的数据使用INSERT语句插入到表中。更新模式：Sqoop将生成UPDATE替换数据库中现有记录的语句。调用模式：Sqoop将为每条记录创建一个存储过程调用。以下是export命令语法：$ sqoop export (generic-args) (expo...
2019-12-03 18:15:26
459
原创 Sqoop导入
“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据下面的语法用于将数据导入HDFS：$ sqoop import (generic-args) (import-args)Sqoop测试表数据在mysql中创建数据库userdb，然后执行参考资料中的sql脚本：创建三张表: emp雇员表、 emp_add雇员地址表、emp_...
2019-12-03 17:19:33
399
1
原创 Apache Sqoop
一、Apache Sqoop1.sqoop介绍**Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。**来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括：HDFS、Hive、H...
2019-12-03 16:55:45
205
1
原创 Hive基本概念
1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive直接使用hadoop所面临的问题人员学习成本太...
2019-11-19 21:13:39
326
原创 Guo某的大数据学习之路-第五天
今日学习内容：初始MapReduce计算框架是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。MapReduce计算框架并行计算框架一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。Hadoop为什么比传统技术方案快1、分布式存储2、分布式并行计算3、节点横向扩展4、移动程序到数据端5、多个数据副本MapReduce核心思想分...
2019-11-12 21:51:31
202
原创 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException
今天在敲WordCount的时候，在运行过程中遇到了这个bug~19/11/12 08:48:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable19/11/12 08:48:21 E...
2019-11-12 09:59:36
640
原创 Guo某的大数据学习之路-第四天
内容回顾HDFS特性1.海量数据存储：HDFS可横向扩展，其存储的文件可以支持PB级别数据；2.高容错性：节点丢失，系统依然可用，通过数据保存多个副本，副本丢失后自动恢复；可构建在廉价（与小型机大型机比较）的机器上，实现线性扩展（随着节点数量的增加，集群的存储能力，计算能力随之增加）；3.大文件存储：HDFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储；HD...
2019-11-05 14:49:04
243
原创 Guo某的大数据学习之路-第三天
DataNode作用1、执行数据的读写（响应的是客户端）2、周期性向NameNode做汇报（数据块的信息、校验和）若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机）心跳周期 3秒 3、执行流水线的复制（一点一点复制）机架感知实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。配置的位置是core-site.xm...
2019-11-04 21:33:01
246
原创 关于Hadoop启动之后jps没有namenode节点的解决方法
安装完Hadoop集群的时候进行网页验证时发现并没有加载出来检查ip地址是否是namenode所在节点的ip发现ip地址对应上了，那我们运行一下jps，发现没有192.168.100.201这个节点下并没有namenode这时候我运行停止所有命令，发现Hadoop01节点没有namenode可以停止我怀疑问题出在了我多次格式化导致namenode启动不了这时候就需要删除原目录，即...
2019-11-01 09:57:27
41198
20
转载 Linux ssh下批量实现免密登录
准备内容：1.存储远程主机IP地址的文件/cloud_nsd/shell/ip.txt不用的IP地址需用“#”注释#201.1.2.100#201.1.2.200#192.168.4.6192.168.4.1192.168.4.22.pssh.sh脚本#!/bin/bash#AUTHOR:AN#VERSION：1.1.0#DATE:2019-04-16#MODIFY:2...
2019-10-29 16:21:55
810
原创 Guo某的大数据学习之路-第二天
内容概要：今天向大家介绍一下大数据，以及大数据的特点同时，这也是我们学习大数据第二天的内容（下列内容均为课堂讲义）1、大数据概述传统数据处理介绍（了解大数据到来之前，传统数据的通用处理模式。）数据来源:1、企业内部管理系统 ,如员工考勤（打卡）记录。2、客户管理系统（CRM）数据特征：1、数据增长速度比较缓慢，种类单一。2、数据量为GB级别，数据量较小。数据处理方式：1、...
2019-10-25 14:53:09
2044
1
原创 Guo某的大数据学习之路-第一天
内容概要：今天主要讲两个知识点：服务器与RAID。同时，这也是我们学习大数据第一天的内容（下列内容均为课堂讲义）什么是服务器？笔记本台式机服务器: 也称伺服器，是一种高性能计算机，提供计算服务的设备。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。...
2019-10-24 20:07:37
670
原创 初识大数据~
什么是大数据？ 字面意思理解：大量的数据，海量的数据 数据集的大小已经远远超过了现有普通数据库软件和工具的处理能力的数据大数据有什么特点？ 海量化 数据量大（多） 多样化 结构化数据，半结构化数据，和非结构化数据 快速化 数据的增长速度快 高价值 海量数据价值高大数据能做什么？ 1、海量数据快速查询 2、海量数据的存储（数据量大，单个大文...
2019-10-23 21:28:02
221
原创 linux集群的部署
linux集群的部署 1、在虚拟机中实例三个虚拟机主机，三个虚拟主机需要配置IP，且两两之间可以ping通 2、关闭防火墙（需要在所有的主机中进行设置） /etc/init.d/iptables stop chkconfig iptables off 3、关闭selinux （需要在所有的主机中进行设置） 编辑文件 vi /etc/selinux/conf...
2019-10-21 17:27:42
404
1
原创 Linux tr,split,awk,sed命令&实例
Linux trLinux tr 命令用于转换或删除文件中的字符。tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。语法tr [-cdst][--help][--version][第一字符集][第二字符集] tr [OPTION]…SET1[SET2] 参数说明：-c, --complement：反选设定字符。也就是符合 SET1 的部份不做处理，不...
2019-10-18 08:07:27
455
原创 Linux 挂载iso文件
linux 挂载iso文件 方式1 通过vm 虚拟软件“设置”-》cd/dvd-》设置ISO 映像。选中“开机链接”和“已连接” 创建一个iso挂载的目录 /mnt/cdrom lsblk -f sr0 iso9660 CentOS_6.9_Final 执行挂载命令：mount /dev/sr0 /mnt/cdrom [root@nod...
2019-10-18 07:59:49
456
原创 Linux 硬盘挂载
目标：将一个新硬盘能够挂载到linux 系统上（开机自动挂载）第一步：查看当前系统磁盘挂载 查看系统硬盘挂载情况： lsblk -f （老师不离开）sda├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot├─sda2 ext4 fe1d0...
2019-10-16 21:23:35
209
原创 Linux tee 实例（2）
1.1 目标通过 tee 可以将命令结果 通过管道 输出到 多个文件中1.2 实现命令含义命令结果 | tee 文件1 文件2 文件3通过 tee 可以将命令结果 通过管道 输出到 多个文件中将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中cat 5.txt | sort | uniq -c | tee a.txt b.txt c.t...
2019-10-16 07:57:42
187
原创 Linux tee 命令&实例
Linux tee命令用于读取标准输入的数据，并将其内容输出成文件。tee指令会从标准输入设备读取数据，将其内容输出到标准输出设备，同时保存成文件。语法tee [-ai][--help][--version][文件...]参数：-a或–append 附加到既有文件的后面，而非覆盖它．-i或–ignore-interrupts 忽略中断信号。–help 在线帮助。–vers...
2019-10-15 20:58:59
217
2
原创 Linux uniq 实例（2）
uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。4.1 目标uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。4.2路径第一步：实现去重效果第二步：不但去重，还要 统计出现的次数4.3 实现第一步：实现去重效果命令英文含义uniq [参数] 文件unique 唯一去除重复行...
2019-10-15 20:51:54
199
原创 Linux uniq 命令&实例
Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列。语法uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]参数：-c或–count 在每列旁边显示该行重复出现的次数。-d...
2019-10-15 20:50:51
185
1
原创 Linux we 实例
3.1 目标显示指定文件 字节数, 单词数, 行数 信息.3.2 路径第一步: 显示指定文件 字节数, 单词数, 行数 信息.第二步: 只显示 文件 的行数第三步: 统计多个文件的 行数 单词数 字节数第四步: 查看 /etc 目录下 有多少个 子内容3.3 实现第一步: 显示指定文件 字节数, 单词数, 行数 信息.命令含义wc 文件名显示指定文件...
2019-10-15 20:43:43
279
原创 Linux wc命令
Linux wc命令用于计算字数。利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。语法wc [-clw][--help][--version][文件...]参数：-c或–bytes或–chars 只显示Bytes数。-l或–lines 只显示行数。-w或–words 只显示字数。–hel...
2019-10-15 20:40:46
155
原创 Linux sort 实例
1.1 目标sort可针对文本文件的内容，以行为单位来排序。1.2 路径第一步: 对字符串排序第二步: 去重排序第三步: 对数值排序第四步: 对成绩排序2.3 实现第一步: 对字符串排序[root@node01 tmp]# cat 2.txtbananaapplepearorangepear[root@node01 tmp]# sort 2.txt...
2019-10-15 20:35:49
148
原创 Linux sort命令
Linux sort命令用于将文本文件内容加以排序。sort可针对文本文件的内容，以行为单位来排序。语法sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]参数说明：-b 忽略每行前面开始出的空格字符。-c 检查文件是否已经按照顺序排序...
2019-10-15 20:27:28
145
原创 Linux cut 实例
准备工作：zhangsan 68 99 26lisi 98 66 96wangwu 38 33 86zhaoliu 78 44 36maq 88 22 66zhouba 98 44 46以上是成绩表信息使用 逗号 分割, 第一列 是 姓名, 第二列是 语文成绩, 第三列是 数学成绩, 第四列是 英语成绩准备工作vim 1.txt111:aaa:bbb:ccc222...
2019-10-15 20:19:12
350
原创 Linux cut命令
Linux cut命令用于显示每行从开头算起 num1 到 num2 的文字。语法cut [-bn] [file]cut [-c] [file]cut [-df] [file]使用说明:cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。参数:-...
2019-10-15 19:57:40
217
原创 Linux chmod命令
Linux/Unix 的文件调用权限分为三级 : 文件拥有者、群组、其他。利用 chmod 可以藉以控制文件如何被他人所调用。使用权限 : 所有使用者语法chmod [-cfvR] [--help] [--version] mode file...参数说明mode : 权限设定字串，格式如下 :[ugoa...][[+-=][rwxX]...][,...]其中：u 表示该文件...
2019-10-15 09:49:21
169
原创 Linux chgrp命令
Linux chgrp命令用于变更文件或目录的所属群组。在UNIX系统家族里，文件或目录权限的掌控以拥有者及所属群组来管理。您可以使用chgrp指令去变更文件与目录的所属群组，设置方式采用群组名称或群组识别码皆可。语法chgrp [-cfhRv][--help][--version][所属群组][文件或目录...] 或 chgrp [-cfhRv][--help][--reference=&...
2019-10-15 09:40:09
169
原创 Linux 第四天内容
Linux 打包压缩常用的命令打包压缩 tar z/jcvf 包的名称 文件的名称或路径 z/j:指定压缩格式 gz/bz2 bz2较小 -c:创建包 v:显示详细信息 f:文件名解压缩命令 tar z/jxvf 包名 -C 解压缩的路径 -x:表示解压 -C:文件解压后写入的路径用户组的增删改查...
2019-10-14 19:52:10
201
原创 Linux cat命令
命令：catcat 命令用于连接文件并打印到标准输出设备上。使用权限所有使用者语法格式cat [-AbeEnstTuv] [--help] [--version] fileName参数说明：-n 或 --number： 由 1 开始对所有输出的行数编号。-b 或 --number-nonblank: 和 -n 相似，只不过对于空白行不编号。-s 或 --squeeze-blan...
2019-10-14 11:26:19
141
原创 Linux find命令
Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。语法find path -option [ -print ] [ -exec -ok command ] {} \;参数说明 :find ...
2019-10-14 11:19:25
210
原创 Linux rm命令
Linux rm命令用于删除一个文件或者目录。语法rm [options] name...参数：-i 删除前逐一询问确认。-f 即使原档案属性设为唯读，亦直接删除，无需逐一确认。-r 将目录及以下之档案亦逐一删除。实例删除文件可以直接使用rm命令，若删除目录则必须配合选项"-r"，例如：# rm test.txt rm：是否删除 一般文件 "test.txt"? y ...
2019-10-14 11:15:00
208
原创 Linux grep 命令
Linux grep 命令Linux grep 命令用于查找文件里符合条件的字符串。grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。语法grep [-abcEFGhHilLnqrsvVwxy][-A&...
2019-10-14 11:09:21
265
转载 Linux vi/vim
vi/vim 的使用基本上 vi/vim 共分为三种模式，分别是命令模式（Command mode），输入模式（Insert mode）和底线命令模式（Last line mode）。 这三种模式的作用分别是：命令模式：用户刚刚启动 vi/vim，便进入了命令模式。此状态下敲击键盘动作会被Vim识别为命令，而非输入字符。比如我们此时按下i，并不会输入一个字符，i被当作了一个命令。以下是常...
2019-10-14 09:58:35
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人