- 博客(54)
- 收藏
- 关注
RSS订阅
原创 BootStrap4中使用图标
BootStrap4中使用图标bootstrap4已经不默认提供图标了,但我们可以引用bootstrap3的图标1、首先，需要bootstrap3的jar包，解压后将其css中的font.css复制下来2、将复制下来的font.css粘贴到bootstrap4的css中3、复制bootstrap3中的fonts文件夹4、粘贴到bootstrap4中bootstrap4.ja...
2019-04-01 20:16:51
15438
原创 SparkStreaming+Kafka+flume实战案例
项目分析：flume监控某端口下产生的日志，并将监控到的信息推送给kafka，kafka产生消费数据，再由SparkStreaming接收，并在控制台实时显示接收到的数据1. pom.xml<!-- scala --><dependency> <groupId>org.scala-lang</groupId> <art...
2019-06-28 15:58:57
615
原创 flume的安装和使用
Flume框架简介Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务。Flume基于流式架构，容错性强，也很灵活简单，主要用于在线实时分析。角色1. Source：用于采集数据，Source是产生数据流的地方，同时Source会将产生的数据流传输到 Channel，这个有点类似于Java IO部分的Channel2. Channel：用于桥接Sour...
2019-06-27 22:02:51
380
原创 kafka的命令行操作
查看当前服务器中的所有topickafka-topics.sh --list --zookeeper hadoop01:2181创建topickafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 2 --partitions 1 --topic test01// 选项说明// --replicat...
2019-06-25 23:32:15
310
原创 Kafka的安装
解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local修改解压后的文件名称mv kafka_2.11-0.11.0.0/ kafka在目录下创建logs文件夹mkdir logs修改配置文件vim /usr/local/kafka/config/server.properties// broker的全局唯一编号，不能重复b...
2019-06-25 23:27:09
286
原创 Centos7 安装redis
解压安装包至指定目录下tar -zxvf /opt/redis-3.0.0.tar.gz -C /usr/localredis由c语言编写，需要配置gcc编译环境yum install -y gcc-c++安装// 移动至解压路径下cd /usr/local/redis-3.0.0// 输入make进行编译make// 安装至指定目录make install PREFIX=...
2019-06-25 23:11:44
146
原创 Hive的使用
1. 创建表使用create命令创建一个新表create table if not exists zlh.test01(id int,name string) partitioned by (date string) row format delimited fields terminated by '\t';把一张表的某些字段抽取出来，创建成一张新表create table tes...
2019-06-04 23:27:28
197
原创 Hive的安装
一、解压hive.tar压缩包至指定目录二、配置hive-env.shJAVA_HOME=/usr/local/jdk1.8.0_211 # Set HADOOP_HOME to point to a specific hadoop install directoryHADOOP_HOME=/usr/local/hadoop-2.7.3 # Hive Configuration D...
2019-06-04 23:03:36
159
原创 Azkaban的使用
1. Command类型之单一job创建job描述文件vim command.jobtype=command command=echo "hello,world"将job资源文件打包成zip文件通过azkaban的web管理平台创建project并上传job压缩包启动执行该jo...
2019-06-03 12:12:20
222
原创 Azkaban的安装部署
一、安装需要的jar包// 将Azkaban Web服务器azkaban-web-server-2.5.0.tar.gz// Azkaban执行服务器azkaban-executor-server-2.5.0.tar.gz// sql脚本azkaban-sql-script-2.5.0.tar.gz二、安装azkaban在/usr/local目录下创建azkaban目录mk...
2019-06-03 10:17:09
277
原创 Sqoop的配置和使用
一、 解压sqoop.tar压缩包至指定目录二、配置开启Zookeeper开启集群服务配置文件( sqoop-env.sh )：#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.3#Set path to where hadoop-*-core.jar ...
2019-06-03 09:36:05
1956
原创 ZooKeeper 安装
1. 上传解压软件压缩包tar -zxvf /opt/zookeeper-3.4.6.tar.gz -C /usr/local2. 修改配置文件// 进入 conf 目录cd /usr/local/zookeeper-3.4.6/conf// 重命名 zoo_sample.cfgmv zoo_sample.cfg zoo.cfg// 编辑 zoo.cfgvi zoo.cfg...
2019-05-22 22:31:18
191
原创 Hadoop 安装
配置要求1. 网卡配置 查看详细配置信息2. 修改host映射 // 编辑 hosts 目录 vi /etc/hosts // 修改信息 192.168.137.128 hadoop01 192.168.137.129 hadoop02 192.168.137.139 hadoop033. 配置主机名 // 编辑 network 目录 vi /etc/sysconf/...
2019-05-22 22:17:51
205
原创 Hadoop 目录结构
目录名称功能bin存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本etcHadoop的配置文件目录，存放Hadoop的配置文件lib存放Hadoop的本地库（对数据进行压缩解压缩功能）sbin存放启动或停止Hadoop相关服务的脚本share存放Hadoop的依赖jar包、文档、和官方案例logs存放Hadoop运行的日志...
2019-05-22 20:50:14
977
原创 Centos7 Shell -函数
系统函数basename功能：返回完整路径最后 / 的部分，常用于获取文件名基本语法basename [pathname] [suffix]basename [string] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。选项：suffix为后缀，如果suffix被指定了，basename会将pa...
2019-05-18 15:20:14
1422
原创 Centos7 Shell - read读取控制台输入
基本语法read(选项)(参数)选项：-p：指定读取值时的提示符；-t：指定读取值时等待的时间（秒），如果没有在指定的时间内输入，直接退出程序示例读取控制台输入一个num值#!/bin/bashread -p "请输入一个数：" NUMecho "你输入的数是：$NUM"读取控制台输入一个num值，在3秒内输入。#!/bin/bashread -t 3 -p "请输入一...
2019-05-18 15:05:46
1879
原创 Centos7 Shell - 流程控制
1、if 判断基本语法# if if [ 条件判断式 ]then 代码块fi# if-elseif [ 条件判断式 ]then 代码块elif [条件判断式]then 代码块fi注意事项：[ 条件判断式 ]，中括号和条件判断式之间必须有空格示例：编写一个shell程序，如果输入的参数，大于等于60，则输出 “及格了”，如果小于60,则输出 “不及格...
2019-05-18 14:56:01
600
原创 Centos7 Shell编程 -运算符
1、运算符基本语法“((运算式))”或“((运算式))”或“((运算式))”或“[运算式]”expr m + n (注意expr运算符间要有空格)expr *, /, % 乘，除，取余示例计算（2+3）X 4的值求出命令行的两个参数[整数]的和2、条件判断基本语法（注意condition前后要有空格）#非空返回true，可使用$?验证（0为true，>...
2019-05-18 14:12:11
918
原创 Centos7 Shell编程 - 变量
1、Shell是什么Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。2、Shell脚本执行方式脚本格式要求脚本以 #!/bin/bash 开头执行脚本需要又可执行权限常用执行方式输入脚本的绝对路径或相对路径 (推荐)首先赋予脚本可执行权限执行脚本...
2019-05-18 09:51:07
2626
转载 Centos7 查看网卡uuid和mac地址
查看网卡 uuidnmcli con show查看 mac 地址虚拟机 > 设置 > 网络适配器 > 高级执行：nmcli device show过程中可能会报错：Error: NetworkManager is not running执行：systemctl start NetworkManager部分转载自：https://blog.csdn.ne...
2019-05-16 23:34:58
7110
1
原创 U盘exe病毒解决方法
windows+r 输入 cmd 进入命令行模式输入：attrib -s -h F:\* /s /d (F为U盘名)，回车
2019-05-16 21:52:38
9529
1
原创 Centos7 安装mysql
Linux(十一) 搭建JavaEE环境 - mysql安装1、下载 mysql 压缩包 点击进入官网下载2、使用 Xftp 传输到 /usr/local下3、解压 mysql 压缩包命令：tar -zxvf eclipse-java-2019-03-R-linux-gtk-x86_64.tar.gz4、重命名命令：mv mysql-8.0.16-el7-x86_64 mysql...
2019-04-28 20:08:02
289
原创 Centos7 安装eclipse
Linux(十一) 搭建JavaEE环境 - eclipse安装1、下载 eclipse 压缩包 点击进入官网下载2、使用 Xftp 传输到 /opt 下3、解压 jdk 压缩包4、
2019-04-28 19:19:15
836
原创 Centos7 安装tomcat
Linux(十一) 搭建JavaEE环境 - tomcat安装1、下载 tomcat压缩包 点击进入官网下载2、使用 Xftp 传输到 /opt 下3、解压命令：tar -zxvf apache-tomcat-9.0.14.tar.gz4、启动 tomcat切换到 tomcat 目录下切换到 bin 目录下./startup.sh 启动5、防火墙添加开放端口说明...
2019-04-27 13:37:53
246
原创 Centos7 安装jdk
Linux(十一) 搭建JavaEE环境 - jdk安装1、下载 jdk 压缩包 点击进入官网下载2、使用 Xftp 传输到 Linux 中
2019-04-27 12:38:03
247
原创 Centos7 rpm 和 yum
Linux(十) rpm 和 yum1、rpm 包管理 ( 一般用于卸载软件和查询是否安装 )介绍一种用于互联网下载包的打包及安装工具，它包含在某些Linux分发版中。它生成具有.RPM扩展名的文件。简单指令 - 查看已安装的 rpm 列表 rpm –qa|grep xxrpm包名基本格式 (包名：make-3.82-23.el7.x86_64)名称说明...
2019-04-26 16:30:37
332
原创 Centos7 进程管理 - 动态监控进程
Linux(九) 进程管理 - 动态监控进程1、动态监控进程top与ps命令很相似，都用来显示正在执行的进程。top与ps最大的不同之处在于，top在执行时间隔某一段时间后可以更新正在运行的的进程。基本语法top [选项]常用指令选项功能-d秒数 指定top命令每隔几秒更新。默认是3秒在top命令的交互模式当中可以执行的命令 。-i使top不显示...
2019-04-26 15:30:54
1040
原创 Centos7 进程管理 - 防火墙
Linux(十) 服务管理特殊说明在CentOS 7中启用了systemctl服务器命令，实际上是囊括了service 和 chkconfig。详见下图任务CentOS7之前CentOS7用于启动服务service frobozz startsystemctl start frobozz用于停止服务service frobozz stopsystem...
2019-04-25 23:46:06
310
原创 Centos7 进程管理 - 基础
Linux(九) 进程管理1、进程基本介绍在 Linux 中，每个执行的程序都称为一个进程。每一个进程都分配一个 ID 号。每一个进程，都会应一个父进程，而这个父进程可以复制多个子进程。每个进程都可能以两种方式存在的，前台与后台。前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作，但由于屏幕上无法看到的进程，通常使用后台方式执行。一般系统的服务都是以后台进程的方式存在...
2019-04-25 19:51:18
353
原创 Centos7 问题汇总
Linux 问题汇总1、-bash : xxx : 未找到命令vim (文本编辑器)问题： -bash: vim: command not found执行：输入 rpm -qa | grep vim 命令[root@localhost home]# rpm -qa | grep vimvim-filesystem-7.4.160-5.el7.x86_64vim-minima...
2019-04-25 14:19:50
454
原创 Centos7 磁盘分区、挂载
Linux(八) 磁盘分区、挂载1、分区基础知识(了解即可)分区的方式：mbr分区最多支持四个主分区系统只能安装在主分区扩展分区要占一个主分区MBR最大只支持2TB，但拥有最好的兼容性gtp分区:支持无限多个主分区（但操作系统可能限制，比如 windows下最多128个分区）最大支持18EB的大容量（1EB=1024 PB，1PB=1024 TB ）windo...
2019-04-24 21:58:23
519
原创 Centos7 定时任务调度
Linux(七) 定时任务调度说明任务调度：是指系统在某个时间执行的特定的命令或程序任务调度分类：1.系统工作：有些重要的工作必须周而复始地执行。如病毒扫描等2.个别用户工作：个别用户可能希望执行某些程序，比如对mysql数据库的备份。语法 crontab [选项]常用选项选项功能-e编辑crontab定时任务-l查询crontab任务...
2019-04-24 14:44:16
1164
原创 Centos7 权限管理
Linux(六) 权限管理1、文件/目录 所有者① 查看文件的所有者 ls –ahl② 修改文件所有者 chown 用户名 文件名2、文件/目录 所在组① 查看文件/目录所在组 ls –ahl② 修改文件所在的组 chgrp 组名 文件名3、权限的基本介绍0-9位说明第0位确定文件类型(d, - , l , c , b)第1-3位确定所有者（该文件...
2019-04-24 13:48:09
1188
原创 Centos7 用户、组管理
Linux(五) 用户管理1、添加用户 useradd [选项] 用户名细节说明当创建用户成功后，会自动的创建和用户同名的家目录也可以通过 useradd -d 指定目录 新的用户名，给新创建的用户指定家目录2、指定/修改密码 passwd 用户名3、删除用户 // 保留家目录 userdel 用户名 // 删除用户以及用户家目录 userdel -r 用户...
2019-04-24 10:57:54
595
原创 Centos7 实用指令 - 压缩和解压类
Linux(四) 实用指令 - 压缩和解压类1、gzip/gunzip 指令(gzip用于压缩文件， gunzip 用于解压的) // 压缩文件，只能将文件压缩为*.gz文件 gzip 文件 // 解压缩文件命令 gunzip 文件.gz2、zip/unzip 指令(zip用于压缩文件， unzip 用于解压的) // 压缩文件和目录的命令 zip [选项] XXX.zip 将...
2019-04-23 16:34:53
416
原创 Centos7 实用指令 - 搜索查找类
Linux(四) 实用指令 - 搜索查找类1、find指令(将从指定目录向下递归地遍历其各个子目录，将满足条件的文件或者目录显示在终端) find [搜索范围] [选项]选项 功能-name<查询方式> 按照指定的文件名查找模式查找文件-user<用户名> 查找属于指定用户名所有文件-size<文件大小> 按照指定的文件大小查找文件(+n ...
2019-04-23 16:21:07
1512
原创 Centos7 实用指令 - 时间日期类
Linux(六) 实用指令 - 时间日期类1、date指令(显示当前日期) // 显示当前时间 1) date // 显示当前年份 2) date +%Y // 显示当前月份 3) date +%m // 显示当前是哪一天 4) date +%d // 显示年月日时分秒 5) date "+%Y-%m-%d %H:%M:%S"2、date指令(设置日期) date ...
2019-04-23 15:45:40
944
原创 Centos7 实用指令 - 文件目录类
Linux(五) 实用指令 - 文件目录类1、pwd 指令(显示当前工作目录的绝对路径)pwd2、ls指令ls [选项] [目录或是文件]常用选项-a ：显示当前目录所有的文件和目录，包括隐藏的。-l ：以列表的方式显示信息3、cd 指令(切换到指定目录)cd [参数]常用参数绝对路径和相对路径cd ~ 或者cd ：回到自己的家目录cd .. 回到当前目录的...
2019-04-23 15:31:23
575
原创 Centos7 实用指令 - 基础
Linux(四) 实用指令指定运行级别0 ：关机1 ：单用户【找回丢失密码】2：多用户状态没有网络服务’3：多用户状态有网络服务4：系统未使用保留给用户5：图形界面6：系统重启常用运行级别是3和5 ，要修改默认的运行级别可改文件 /etc/inittab的id:5:initdefault:这一行中的数字 命令：init [012356]帮助指令1. man (获得帮...
2019-04-23 14:07:39
271
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人