libotao的博客

原创 旋转相册

原创 启动软件输入密码

# 硬编码的正确密码的哈希值(这只是一个示例，你应该使用更安全的方法来存储和验证密码) $correctPasswordHash = "cc0c306017c7d88cb92009d56e2e31c1d2e2a97d989dc5c27cb8f65d69e8aad7" # 替换为实际密码的哈希值 # 读取用户输入的密码 $userPassword = Read-Host "please inp...

原创 git上传

分支创建分支(test-gitee)git branch test-gitee切换分支(test-gitee)git checkout test-gitee或者直接 创建并切换 分支(test-gitee)git checkout -b test-gitee查看当前分支git branch### 分支更新```shellgit pull origin test-gitee ...

原创 hadoop安装

hadoop安装零、hadoop启动命令start-all.shstart-dfs start-yarnhadoop-deamons.sh yarn-deamons.shhadoop-deamon.sh yarn-deamon.shmr-jobhistoryserver.sh start historyserveryarn-deamon.sh start timelineserve...

原创 第五章 搭建maven工程及测试

搭建maven工程及测试5.1 准备pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...

原创 Hive分区/分桶

分区hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力分区的目的是提升查询效率,将原来的文件进行多层次的管理分区有三种,静态分区,动态分区,混合分区关键字:partitioned by(字段)分桶分桶是对一个表或者一个分区进行更加细粒度的划分Hive会对分桶的那一列按照哈希值%桶的数量分发到...

原创 第三章 Flink 集群搭建

Flink集群搭建Flink 可以选择的部署方式有：Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。我们对standalone模式的Flink集群进行安装，准备三台虚拟机，其中一台作为JobManager(hadoop1)，另外两...

原创 Flink 运行架构

第四章 Flink 运行架构4.1 Yarn 模式任务提交流程(1)Flink任务提交后，Client将Flink的Jar包和配置上传到HDFS(2)向Yarn的ResourceManager提交任务(3)ResourceManager启动AM并为该任务分配一个Container容器(4)ResourceManager通知对应的NodeManager启动ApplicationMast...

原创 大数据Flink之基本架构

第二章 Flink基本架构2.1JobManager 与 TaskManagerFlink 运行时包含了两种类型的处理器：JobManager 处理器：也称之为 Master，用于协调分布式执行，它们用来调度 task，协调检查点，协调失败时恢复等。Flink 运行时至少存在一个 master 处理器，如果配置高可用模式则会存在多个 master 处理器，它们其中有一个是 leader，...

原创 大数据Flink之概述

大数据课程之 Flink第一章 概述1.1流处理技术的演变 　　在开源世界里，Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz和创业公司 BackType 的一个团队开发，后来才被 Apache 基金会接纳。Storm 提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的水平，换句话说，它并不能保证 e...

原创 Linux下chkconfig命令详解(service)

Linux下chkconfig命令详解(service)一、释义chkconfig命令主要用来更新(启动或停止)和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。二、使用语法chkconfig [--add][--del][--list] [系统服务] 或 chkconfig [--level <等级代号>] [系...

原创 k8s集群卸载

k8s集群卸载# 重置 kubeadmkubeadm resetrm -rf $HOME/kuberm -rf /etc/kubernetes/rm -rf /etc/systemd/system/kubelet.service.drm -rf /etc/systemd/systemrm -rf /etc/systemd/system/kubelet.servcerm -rf /...

原创 org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains...

问题描述org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.最近在做Spark的性能优化，测试使用不同CPU核数和内存对计算性能的影响，由于是在测试集群进行测试的，硬件配置比生产上...

原创 docker在线安装

docker安装

原创 【无标题】

pmp

原创 《将博客搬至优快云》

《将博客搬至优快云》

原创 csdn语法说明

csdn语法说明

原创 harbor安装

harbor离线安装1、安装docker环境## 配置加速器sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://172.31.0.10:443","https://2v36sw26.mirror.aliyuncs.com"],...

原创 yum源问题

yum源问题【错误问题】File "/usr/bin/yum", line 30except KeyboardInterrupt, e:^^^^^^^^^^^^^^^^^^^^SyntaxError: multiple exception types must be parenthesized【原因】yum需要用python2编译，如果服务器安装的是python3.6并作为默认编译器的...

原创 Linux自动切换用户

Linux自动切换用户一、创建sh文件touch su_user.sh二、下载脚本yum install -yexpect三、脚本内容#!/bin/bash# This is our first script.echo 'su user[root]!'expect -c " spawn su - root expect \":\" send \"root\r\" intera...

原创 tableau server 数据备份及恢复

tableau server 数据备份及恢复一、数据备份1> win+r，进入到dos命令行模式2> 进入到tableau server的bin路径下　　cd C:\Program Files\Tableau\Tableau Server\10.0\bin3> 停止tableau server服务　　tabadmin stop4>备份tableau ...

原创 Tableau Server 常用命令

Tableau Server 常用命令1> 停止tableau server服务 tabadmin stop2> 恢复tableau server数据 tabadmin restore {备份文件数据.tsbak} tabadmin restore D:\tableaubackup\tabserver20190527.tsbak3> 启动ta...

原创 Tableau Server注册安装及配置详细教程

Tableau Server注册安装及配置详细教程本文讲解的是 Tableau Server 10.0 版本的安装及配置这里分享的 TableauServer 安装版本为64位的10.0版本Server作为参考，按理也应适用其它版本，详细安装过程如下。开始前先提几 个点，尽可能减少各位在安装过程出错状况：1、整个安装过程比较漫长，测试过最快在 20-40 分钟左右能搞定， 视电脑配置影响会...

原创 zookeeper之安装

zookeeper之安装一、准备条件1.1 最低三个服务器(一主多从，1个leader，多个flower)1.2 将zookeeper安装包上传到集群并解压zookeeper二、将conf目录下的 zoo_sample.cfg拷贝一分，并命名为zoo.cfgcp ./zoo_sample.cfg zoo.cfg三、修改zoo.cfg配置文件tickTime=2000 心...

原创 Oracle 同义词详解(synonym)

Oracle 同义词详解(synonym)一、Oracle同义词概念　　Oracle 数据库中提供了同义词管理的功能。同义词是数据库方案对象的一个别名，经常用于简化对象访问和提高对象访问的安全性。在使用同义词时，Oracle数据库 将它翻译成对应方案对象的名字。与视图类似，同义词并不占用实际存储空间，只有在数据字典中保存了同义词的定义。在Oracle数据库中的大部分数据库对 象，如表、视图、...

原创 TomCat之负载均衡

TomCat之负载均衡本文讲述了tomcat当nginx负载均衡服务器配置步骤以下是Tomcat负载均衡配置信息1.修改nginx的nginx.conf文件添加如下属性:localhost是名称.端口号和配置文件中必须一致weight指的是权重比必须配置在server{}之上起一个别名修改配置(名称必须一致)测试(必须开启tomcat)出现tomcat页面代表成功...

原创 TomCat之安装

TomCat 之安装(伪分布式版本)本次安装是使用的伪分布式的安装(即一台机器安装两个tomcat)1.通过scp导入tomcat安装包2.解压缩成俩个文件3.修改第一个tomcat的配置文件server.xml(需要修改三个端口号)<1> 接受关闭请求的的端口号(默认是8005)<2> 访问tomcat的端口号(默认是8080)<...

原创 大数据之Sqoop

大数据之Sqoop一、Sqoop 简介 　　Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres 等)中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 　　Sqoop 项目开始于...

原创 Sqoop 之 安装

Sqoop 之 安装前言　　安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。一、下载并解压1) 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中 3) 解压 sqoop 安装包到指定目录，如： ...

原创 Kafka与Flume之集成比较

Kafka与Flume之集成比较一、Kafka与Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 　　适合多个生产者；　　适合下游数据消费者不多的情况；　　适合数据安全性要求不高的操作；　　适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发:　　适合数据下游消费众多的情况；　　适合数据安全性要求较...

原创 Kafka之配置信息

Kafka之配置信息一、Broker配置信息属性默认值描述broker.id必填参数，broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition最少的目录。port9092...

原创 Kafka 之 Streams

Kafka 之 Streams一、概述1.1Kafka Streams　　Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。1.2Kafka Streams特点1)功能强大　　高扩展性，弹性，容错2)轻量级　　无需专门的集群　　一个库，而不是框架3)完全集成　...

原创 Kafka 之producer拦截器(interceptor)

Kafka 之producer拦截器(interceptor)一、拦截器原理　　Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。　　对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指...

原创 Kafka之 API实战

Kafka之 API实战一、环境准备　　1)启动zk和kafka集群，在kafka集群中打开一个消费者[hadoop1 kafka]$ bin/kafka-console-consumer.sh \--zookeeper hadoop1:2181 --topic first　　2)导入pom依赖<dependency> <groupId>org...

原创 Kafka之工作流程分析

Kafka之工作流程分析kafka核心组成一、Kafka生产过程分析1.1 写入方式　　producer采用推(push)模式将消息发布到broker，每条消息都被追加(append)到分区(patition)中，属于顺序写磁盘(顺序写磁盘效率比随机写内存要高，保障kafka吞吐率)。1.2 分区(Partition)　　消息发送时都被发送到一个topic，其本质就是一个目录，而...

原创 Kafka之概述

Kafka之概述一、消息队列内部实现原理(1)点对点模式(一对一，消费者主动拉取数据，消息收到后消息清除)　　　　点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多，数据生产后，推送给所有订阅者)　　　　发布订...

原创 Kafka之安装

Kafka之安装一、下载kafka　　此博客只讲述kafka0.8和kafka1.0两个版本　　更改kafka下的/home/bigdata/kafka/config/server.properties1.1 kafka0.8版本　　20行：broker.id=1　　28行：host.name=hadoop1　　63行：log.dirs=/home/bigdata/kafka0.8/d...

原创 Oracle数据库查看用户状态

Oracle数据库查看用户状态一、当前ORACLE用户的状态可查看视图DBA_USERS;一般情况下在使用的正常用户均处于OPEN状态　　select username,account_status from dba_users;二、ORACLE数据库用户有多种状态，可查看视图USER_ASTATUS_MAP　　select * from user_astatus_map; 　　九种状...

原创 linux压缩和解压文件命令

linux压缩和解压文件命令一、tar命令 解包：tar zxvf filename.tar 打包：tar czvf filename.tar dirname二、gz命令 解压1：gunzip filename.gz 解压2：gzip -d filename.gz 压缩：gzip filename .tar.gz 和 .tgz 解压：tar zxvf fi...

原创 JVM性能调优

JVM性能调优一、JVM内存模型及垃圾收集算法1.1根据Java虚拟机规范，JVM将内存划分为：New(年轻代)Tenured(年老代)永久代(Perm)　　其中New和Tenured属于堆内存，堆内存会从JVM启动参数(-Xmx:3G)指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:PermSize -XX:MaxPermSize等参数调整其大小...