- 博客(36)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Centos7.6操作系统安装+Bond配置（600GB磁盘版本）
1.安装前准备工作准备centos7.6操作系统镜像 CentOS-7-x86_64-DVD-1810.iso 服务器安装一般都是在BMC界面操作，所以安装前需要在BMC界面挂载好操作系统镜像重启服务器后自动进入安装界面。华为大数据集群安装操作系统配置
2021-12-11 19:59:30
4953
原创 Shell流程控制
if 语句if [ 条件判断式 ];then 程序 fi 或者 if [ 条件判断式 ] then 程序 fi----------------------------#!/bin/bashif [ $1 -eq "1" ]then echo "11111111111111"elif [ $1 -eq "2" ]then ...
2019-12-11 19:45:03
211
原创 Kafka集群Leader选举原理
Kafka集群Leader选举原理我们知道Zookeeper集群中也有选举机制，是通过Paxos算法，通过不同节点向其他节点发送信息来投票选举出leader，但是Kafka的leader的选举就没有这么复杂了。Kafka的Leader选举是通过在zookeeper上创建/controller临时节点来实现leader选举，并在该节点中写入当前broker的信息{“version”:1,”br...
2019-12-03 15:30:34
932
原创 CDH部署时的依赖包
centos7下最小化安装yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb wget
2019-11-29 13:47:28
437
原创 企业数据仓库的一些思考
数据仓库是一个用数据支持企业决策制定，为各部门提供系统的数据支持的集合，可以帮助企业改进业务流程、控制成本、提高产品质量等。
2019-09-19 21:48:45
221
原创 Lede 配置ddns解析（koolddns for openwrt）
准备工作本次采用的软路由，版本是kooolshareLede 2.32，其他的机器支持ddns都行koolddns for openwrt - 0.6.1 ，版本不一设置有较大区别家中有公网地址，这个是必须的，没有公网可以用frp之类的穿透你要有一个阿里的域名，其他域名提供商的也行第一步：获取AccessKey，有哪家的用哪家的https://usercenter.console....
2019-09-13 23:12:11
25522
原创 linux批量修改root密码脚本
#!/bin/bashremote_cmd="echo new_passwd@000 | passwd --stdin root" #new_passwd@000 替换成你自己的密码ip_array=(10.0.1.110.0.1.210.0.1.3)for ip in ${ip_array[*]}do ssh root@$ip $remote_cmddone缺点...
2019-09-03 11:38:16
3235
原创 Spark面试题库
1. Spark消费 Kafka，分布式的情况下，如何保证消息的顺序Kafka 分布式的单位是 Partition。如何保证消息有序，需要分几个情况讨论。同一个 Partition 用一个 write ahead log （WAL）组织，所以可以保证 FIFO 的顺序。不同 Partition 之间不能保证顺序。但是绝大多数用户都可以通过 message key 来定义，因为同一个 key ...
2019-09-01 23:54:21
1328
转载 frp内网穿透服务端搭建
Frp项目主页https://github.com/fatedier/frp/blob/master/README_zh.md
2019-08-27 16:20:13
416
原创 GCP配置root账户连接
GCP默认的系统为Debian获取root账户流程如下sudo -i //切换到root账户vi /etc/ssh/sshd_config //编辑配置文件修改如下配置PermitRootLogin yes //默认为no，需要开启root用户访问改为yesPasswordAuthentication yes //默认为no,改为yes开启密码登陆:wq 保存并退出/etc...
2019-08-27 15:45:40
680
原创 flume的一个错误
flume报错 (PollableSourceRunner-TaildirSource-s1) [WARN - org.apache.flume.source.taildir.TaildirSource.tailFileProcess(TaildirSource.java:266)] The channel is full or unexpected failure. The source wi...
2019-08-20 23:33:16
1321
原创 几个常用的Linux命令
1.查看cpu个数: cat /proc/cpuinfo | grep processor2.查看磁盘：df -h （查看磁盘使用率） df -i (查看iNode使用) fdisk -l (查看磁盘整体) iostat -kx （查看磁盘）
2019-08-19 02:23:35
272
原创 Presto 部署安装
1. 解压安装包到指定文件夹个人习惯将软件部署在opt/module下tar -zxvf presto-server-0.196.tar.gz -C /opt/module/2. 创建数据存储目录datamkdir data路径为/opt/module/presto/data3. 创建存储配置文件文件夹 etcmkdir etc路径为/opt/module/presto...
2019-08-10 02:02:31
1654
原创 Azkaban3.x编译
1.环境准备git,gcc,g++, jdk1.8,联网环境2.下载azkaban源码git clone https://github.com/azkaban/azkaban.git 或者(本次编译的是3.7.x)wget https://github.com/azkaban/azkaban/archive/3.70.2.tar.gz3.编译1. 进入源码目录/opt/cs/a...
2019-08-09 15:38:32
519
原创 04--Hive的DDL数据定义
1.1 创建数据库CREATE DATABASE [IF NOT EXISTS] database_name #创建数据库[COMMENT database_comment] #数据库的描述[LOCATION hdfs_path] #存储路径[WITH DBPROPERTIES (property_name=property_value, ...)]; //指定数据块属性数据库在HD...
2019-08-06 01:13:42
119
原创 03--hive交互命令和常见数据类型
bin/hive -help[root@hadoop33 hive]# hive -helpusage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --d...
2019-08-05 18:07:13
195
原创 ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
从spark升级到2.0.0之后，原有的lib的整个大JAR包已经被分散的小JAR包的替代，所以肯定没有办法找到这个spark-assembly的JAR包,修改一下配置就行了hive脚本114行开始if [[ -n "$SPARK_HOME" ]]then sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` C...
2019-08-05 17:51:09
2747
转载 02--Hive和数据库比较
Hive和数据库比较由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。1 查询语言由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。...
2019-08-05 17:35:18
130
原创 01--浅析Hive
1.什么是HiveHive是由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序2 Hive的优缺点2.1 优点操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。避免了去写MapReduce，减少开发人员的学习成本...
2019-08-05 17:26:42
150
原创 02-几个常用的转换算子(value类型)
map(func)返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成mapPartitions(func)类似于map，但独立地在RDD的每一个分片（分区）上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素，有M个分区，那么map的函数的将被调用N次,而mapPartitions...
2019-08-05 13:55:23
1203
原创 01--浅析RDD
1.1什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据（计算）抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。1.2 RDD的属性一组分区（Partition），即数据集的基本组成单位;一个计算每个分区的函数;RDD之间的依赖关系;一个Partitioner，即R...
2019-08-05 00:30:38
155
原创 OozieWeb控制台已禁用的错误
Oozie Web控制台已禁用。要启用Oozie Web控制台，请安装Ext JS库。有关详细信息，请参阅Oozie Quick Start文档。进入oozie安装路径[root@cdh11 oozie]# pwd /var/lib/oozie下载扩展库到该目录，解压，配置权限后既可 wget http://archive.cloudera.com/gplextras/misc/ex...
2019-08-01 21:23:07
181
原创 Hive函数----01关系运算
1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式 A 与表达式 B 相等，则为 TRUE；否则为 FALSE；只要有任意比较项为NULL,均返回 FALSE;举例： select 1 from jred where 1=1;1 select 1 from jred where 1=null; 空 select 1 from jred where nu...
2019-08-01 01:17:26
200
原创 WEB篇一 初识html
Html介绍1.什么是html?Html是用来描述网页的一种语言。HTML 指的是超文本标记语言 (HyperTextMarkupLanguage)HTML 不是一种编程语言，而是一种标记语言(markup language)标记语言是一套标记标签(markup tag)HTML 使用标记标签来描述网页2.Html的作用？Web浏览器的作用是读取ht...
2019-07-31 00:21:14
490
原创 超好用的软件分享
记录一下我曾经用过的超级好用的软件Everything 最好用的文件搜索工具 下载地址Snipaste 最好用的截图工具 简介-----下载地址
2019-07-31 00:21:05
578
原创 MySQL5.5.27安装教程
一、MYSQL的安装１、打开下载的mysql安装文件mysql-5.5.27-win32.zip，双击解压缩，运行“setup.exe”２、选择安装类型，有“Typical（默认）”、“Complete（完全）”、“Custom（用户自定义）”三个选项，选择“Custom”，按“next”键继续３、点选“Browse”，手动指定安装目录４、填上安装目录，...
2019-07-31 00:17:49
10479
4
原创 本地源部署CDH 5.8.5集群（Centos6.8）
1.环境说明OS：CentOS release 6.8 (Final)CDH: CDH 5.8.53节点测试集群，32G内存，16核CPU,500G/SSD2.安装文件下载cm5.8.5-centos6.tar.gz：http://archive.cloudera.com/cm5/repo-as-tarball/5.8.5/cm5.8.5-centos6.tar.gzParce...
2019-07-31 00:06:30
269
原创 VMware网络设置
在日常使用VMware时最常用的时NAT网络转换模式，在这种模式下虚拟机可以通主机，主机可以通虚拟机，虚拟机之间可以互通，很方便我们进行各种测试，简单测记录一下配置过程。虚拟机安装成公后会多出两块网卡负责NAT 的网卡就是VMnet8的这块网卡，我基本上只用这个，所以另一块禁用了，VMnet1仅主机模式这个不重要打开虚拟机看看配置编辑-->虚拟网络编辑器配置网...
2019-07-30 03:39:34
1497
原创 CDH-5.8.5部署全过程
CDH-5.8.5 部署全过程最近公司部署测试环境，记录一下部署过程，本次部署采用的时虚拟机部署，系统为 CentOS Linux release 7.4.1708 (Core)，部署的CDH的版本为CDH-5.8.5准备工作...
2019-07-30 03:18:34
823
原创 NTP服务部署（centos7）
NTP服务在大数据集群部署时时一个很关键的步骤，集群时间不对会导致很多问题1.yum安装ntp服务 yum -y install ntp 离线安装需要三个包 ntp.x86_64 0:4.2.6p5-28.el7.centos autogen-libopts.x86...
2019-07-29 23:54:09
875
原创 xsync 脚本
xsync文件分发脚本#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1...
2019-07-29 22:35:36
984
原创 Centos7下安装Mysql-5.6.45
1.下载Mysql对应的RPM安装包贴一下下载地址(https://dev.mysql.com/downloads/mysql/)下载如下3个rpm包MySQL-devel-5.6.45-1.el7.x86_64.rpm MySQL-client-5.6.45-1.el7.x86_64.rpm MySQL-server-5.6.45-1.el7.x86_64.rpm2.卸载Mari...
2019-07-29 21:22:50
2063
1
mysq el7.zip
2019-07-30
CDH 5.4.7本地快速安装教程,基于ubuntu14.04
2018-11-22
JavaScript编程精解机械出版社出版
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人