- 博客(59)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 centos7安装mysql问题
异常信息:warning: user mysql does not exist - using root解决办法:yum install -y perl-Module-Install.noarch
2020-05-27 12:56:20
330
原创 CDH安全之Sentry权限管理
文章目录一、Sentry概述1.1 Sentry是什么1.2 Sentry中的角色二、Sentry安装部署三、Sentry与Hive/Impala集成3.1 修改配置参数3.2 配置Hive使用Sentry3.3 配置Impala使用Sentry3.4 配置HDFS权限与Sentry同步四、Sentry 授权4.1 基于 Hue4.2 基于 命令行一、Sentry概述cdh 版本的 hadoop 在对数据安全上的处理通常采用 Kerberos+Sentry 的结构。kerberos 主要负责平台用户
2020-05-21 16:15:35
4224
原创 hue: There are currently no roles defined
这个原因是这个用户没有查看的权限，hive，hue就可以，因为sentry中没有配置default组为超级组在hue中创建hive账号、hive组，使用该账号登陆, 即可添加角色
2020-05-21 14:19:31
385
原创 二、Flink基础之 部署模式
文章目录一、Standalone模式1.1 下载flink安装包1.2 安装 flink1.3 配置文件二、Yarn模式三、Kubernetes部署一、Standalone模式1.1 下载flink安装包https://flink.apache.org/downloads.html1.2 安装 flink解压即可1.3 配置文件vim conf/flink-conf.yam...
2020-04-13 13:12:36
456
原创 window10 下使用 nc 工具
文章目录一、下载地址二、使用一、下载地址https://eternallybored.org/misc/netcat/二、使用将解压后的单个文件全部拷贝到 C:\Windows\System32 的文件夹下。注意：不是拷贝整个文件夹，而是文件夹里面的全部文件。nc -l -p 7777...
2020-04-13 12:25:13
2103
1
原创 一、Flink基础 之 wordcount
文章目录一、搭建maven工程1.1 pom 文件1.2 添加scala框架 和 scala文件夹1.3 批处理wordcount1.4 流处理 wordcount一、搭建maven工程1.1 pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4...
2020-04-13 12:22:38
396
原创 CentOS 修改主机名和IP
文章目录一、修改主机名二、修改 ip一、修改主机名hostnamectl set-hostname 主机名二、修改 ipvim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticIPADDR=192.168.161....
2020-04-04 22:59:58
338
原创 Centos7.7 CDH6.2.1 安装教程
文章目录此教程以 6.2.0 的版本为例一、下载此教程以 6.2.0 的版本为例一、下载CDH下载地址下载cdh选择对应linux的下载，例如我下载的是 centos7.7 下使用的cdh6.2.0下载cm...
2020-04-04 22:34:45
3275
原创 定时清空 HBase 表
文章目录一、 需求二、实现一、 需求业务上需要将当天的数据写入hbase 提供给后台查询前台展示，第二天清空前一天的数据二、实现vim truncateGpsToDay.shtruncate 'TBL_GPS_TODAY'executorTruncateToDay.shhbase shell /root/truncateGpsToDay.sh配置定时任务0 0 ...
2020-04-03 09:56:42
587
原创 Spark 任务停止后自动重启
#! /bin/bashstatus="RUNNING"programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'`if [ "$status" == "$programStatus" ]then #"程序正在运行..."else echo `date "+%Y-%m-%d...
2020-03-26 22:36:33
1413
原创 mysql 5.7.20下载、安装和配置方法及简单操作技巧(window绿色版)
下载： https://dev.mysql.com/downloads/mysql/ 直接下载，无需注册和登录。安装： 将下载的mysql压缩包解压后的整个目录放在指定目录 配置： 新建一个ini文件，并命名为my.ini，放置到mysql安装目录中。文件内容是：[mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [my
2020-03-18 14:34:59
1493
1
转载 Hive on Spark 参数调优
文章目录前言executor参数spark.executor.coresspark.executor.memory/spark.yarn.executor.memoryOverheadspark.executor.instancesspark.dynamicAllocation.enabledDriver参数spark.driver.coresspark.driver.memory/spark.d...
2020-03-16 14:48:33
960
原创 CentOS7 下安装 Docker
文章目录一、前提条件二、卸载旧版本三、安装一、前提条件操作系统要求要安装Docker Engine-Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。二、卸载旧版本较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。$ sudo yum remove docker docker-client...
2020-03-08 15:07:12
209
原创 CDH 平台安装 Apache Phoenix
文章目录下载 Phoenix解压拷贝指定 jar到 HBase 的lib目录在 CDG - hbase配置中加入相关参数将 hdfs 和 hbase 相关配置文件拷贝到 Phoenix/bin目录下重启 Hbase即可连接Phoenix下载 Phoenixhttp://phoenix.apache.org/download.html解压[root@bigdata-5 ~]# tar -z...
2020-03-02 20:25:49
423
原创 Hive beeline连接
启动hiveserver2服务[kino@bigdata01.sutpc hive]$ bin/hiveserver2启动beeline[kino@bigdata01.sutpc hive]$ bin/beelineBeeline version 1.2.1 by Apache Hivebeeline>连接hiveserver2beeline> !connect ...
2020-02-29 22:49:35
557
原创 This account is currently not available（用户当前不可用）
在安装好 CDH 之后，使用安装时自动创建的 hdfs 用户登录不了[root@bigdata-3 ~]# su hdfsThis account is currently not available.原因是此用户的shell是/sbin/nologin需修改成/bin/bash...
2020-01-13 11:50:32
1815
原创 Hive 导出 csv 文件
hive -e "set hive.cli.print.header=true; select * from data_table where some_query_conditions " | sed 's/[\t]/,/g' > outputData.csv参数说明:- set hive.cli.print.header=true：输出表头- sed 's/[\t]/,/g：将...
2019-12-23 18:11:54
775
原创 windows 下彻底删除免安装版mysql
1、本方法是基于免安装版的mysql5.6.4 2、方法： 1）、删除mysql文件夹 2）、开始-运行里面输入regedt，打开注册表.注册表里MySQL的项就是这三项： HKEY_LOCAL_MACHINE/SYSTEM/ControlSet001/Services/Eventlog/Application/MySQL HKEY_LOCAL_MACHINE/SYSTEM/Control
2019-12-04 18:29:11
535
原创 Java split 指定切割个数
Java split 在特殊业务下切割数组String ids2 = "100,,,,";// java 按, 切割成数组。String[] id = ids1 .split(",");String idA = id[0];String idB = id[1];String idC = id[2];String idD = id[3];// 然后就..... java....
2019-12-04 18:19:30
2475
原创 二分查找法的实现及源码
二分查找：给定数组是有序的，给定一个key值。每次查找最中间的值，如果相等，就返回对应下标，如果key大于最中间的值，则在数组的右半边继续查找，如果小于，则在数组左半边查找，。最终有两种结果，一种是找到并返回下标，第二种是没找到。例如有一组给定数组是有序的数据: int[] arr102030405060708090100定义两个边界, 下标low表示左边...
2019-12-04 18:05:11
468
原创 Java集合: asList 的缺陷
Arrays.toList(T t) 方法在开发中用起来非常方便, 却存在几个缺陷…1. 不要使用8中基本数据类型数组转换为集合2. asList产生的集合不可操作(不可以做出结构上的改变)上述例子是将 Integer类型的数组转为 List 集合, 并且在 list 中 add 一个新的参数, 这个过程很简单, 但是结果出乎意料的不是 size=6, 而是:从报错信息看到, 在 4...
2019-12-04 18:05:02
344
2
原创 Linux 集群分发脚本
文章目录一、scp（secure copy）安全拷贝1.1 scp定义1.2 基本语法1.3 案例实操二、 rsync 远程同步工具2.1 基本语法2.2 案例实操三、 xsync集群分发脚本前提: 需要有多个虚拟机, 名字保持相似性，例如: linux01、linux02、linux03.....3.1 需求：循环复制文件到所有节点的相同目录下3.2 需求分析一、scp（secure copy...
2019-12-04 18:03:11
412
原创 CentOS7 离线安装 MySql5.7
文章目录一、下载地址二、 解压安装一、下载地址https://download.youkuaiyun.com/my二、 解压安装将安装包剪切到 /opt/software/ 目录下mv mysql-libs.zip /opt/software/ 解压mysql-libs.zip文件到 当前目录下[root@hadoop102 software]# unzip mysql-libs....
2019-12-04 17:57:30
253
原创 Linux下卸载 MySQL
文章目录一、 查看安装的 mysql二、卸载一、 查看安装的 mysql[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64二、卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64...
2019-12-04 17:57:17
258
原创 Hive DDL 数据定义
文章目录一、创建数据库一、创建数据库创建一个数据库, 数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db。hive (default)> create database db_hive;避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法）hive (default)> create database ...
2019-12-04 17:56:56
231
原创 Hive 查询
文章目录一、 基本查询1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit 语句二、Where 语句2.1 比较运算符2.2 Like 和 Rlike2.3 逻辑运算符（and/or/not）三、分组3.1 Group By 语句3.2 Having 语句四、Join语句4.1 等值 Join4.2 表的别名4.3 内连接4.4 左外连接4.5 右外连接4.6...
2019-12-04 17:56:45
375
原创 Hive java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)解决办法
查看 dfs/yarn 是否启动,jps查看 hiveservice2 是否被占用netstat -anop|grep 10000如果被占用， 用 kill -9 端口 杀死该进程在 Hadoop的 core-site.xml 文件添加如下内容<property> <name>hadoop.proxyuser.hadoop.hosts<...
2019-12-04 17:56:24
13015
原创 Linux扩展/删除swap分区
文章目录一、 SWAP 是什么。二、扩展2.1 扩展之前查看自己的swap 有多大2.2 增加交换分区文件及大小2.3 设置交换文件2.4 立即启用交换分区文件2.5 再次查看分区，成功扩展2G一、 SWAP 是什么。SWAP就是 linux 下的虚拟内存分区，它的作用是在物理内存使用完之后,将磁盘空间(也就是SWAP分区)虚拟成内存来使用。二、扩展2.1 扩展之前查看自己的swap ...
2019-12-04 17:55:49
2082
原创 Linux Swap
文章目录本文内容取自于：http://hbasefly.com/2017/05/24/hbase-linux/?gwtaxk=qctky一、swap是干嘛的？二、数据库系统为什么嫌弃swap？三、 swap的工作机制3.1 先来看看swap是如何触发的？本文内容取自于：http://hbasefly.com/2017/05/24/hbase-linux/?gwtaxk=qctky一、swap是...
2019-12-04 17:55:38
430
原创 kafka stop 脚本有时候不起作用的原因
问题描述: 执行 kafka-server-stop.sh 命令后， kafka 进程不会被杀死[kino@hadoop103 kafka]$ bin/kafka-server-stop.sh [kino@hadoop103 kafka]$ jps12146 Kafka12783 Jps问题解决： 修改 kafka-server-stop.sh 脚本注释 原本的 PIDS， 增加下...
2019-12-04 17:53:09
1499
1
原创 kill pid 和 kill -9 pid 的区别
先看看 kill 命令的帮助kill可以看到使用 kill 命令时, 可以选择性传入参数 -s sigspec 或者 -n signum，那么这参数又是个是什么东西…帮助说我们可以通过 kill -l（查看Linux/Unix的信号编号）下图是对部分信号量解释:可以看到 kill 命令可以传入的 “信号编号” 还是不少的…一、kill -n signum pid下...
2019-12-04 17:53:04
26400
2
原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
问题描述：MySQL 配置 HA后，启动 Hive，报错Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at ...
2019-12-04 17:52:55
785
原创 scala 变量和数据类型
文章目录一、注释二、标识符的命令规范三、 Scala关键字（39个）四、变量五、键盘输入六、数据类型关系七、数据类型八、类型转换一、注释和 Java 的三种注释一样// ① /*② *//** * ③ */二、标识符的命令规范Scala中的标识符声明，基本和Java是一致的，但是细节上会有所变化，有以下四种规以字母或者下划线开头，后接字母、数字、下划线以操作...
2019-12-04 17:52:48
408
原创 scala 流程控制
文章目录一、 分支控制 if-else二、嵌套分支三、Switch 分支结构四、For循环控制4.1 范围数据循环方式 n `to` m4.2 范围数据循环方式 n `until ` m4.3 循环守卫4.4 循环步长4.5 嵌套循环4.6 引入变量4.7 循环返回值五、While循环控制六、do..while循环控制七、多重循环控制八、While循环中断一、 分支控制 if-else和 Ja...
2019-12-04 17:52:40
570
原创 scala 高阶函数(高阶算子)
定义：参数为函数的函数称为高阶函数① 在 scala 中， 函数是一等公民，函数可以 像对象一样进行传递、函数可以赋值给变量函数赋值给变量例子：def main(args: Array[String]): Unit = { // 调用 foo 函数, 将 foo 的返回值给 f, foo 的返回值为 Unit, 所以 f 也是 Unit //val f = foo ...
2019-12-04 17:52:33
528
原创 scala 闭包和柯里化
文章目录一、闭包：函数式编程的标配一、闭包：函数式编程的标配从 Java 问题引申闭包在 Java 中，匿名函数不能访问外部变量public static void main(String[] args) { int i = 10; Thread t1 = new Thread() { @Override public void run() ...
2019-12-04 17:52:25
620
原创 scala 值调用、名调用和控制抽象
scala 拥有两种参数传递的方式：按值传递 与 按名传递。按值传递 避免了参数的重复求值，效率相对较高；而 按名传递 避免了在函数调用时刻的参数求值，而将求值推延至实际调用点，但有可能造成重复的表达式求值。值传递def main(args: Array[String]): Unit = { def f: () => Int = () => { pri...
2019-12-04 17:52:15
402
原创 Hive drop database删除数据库
删除一个数据库，默认情况下，hive不允许删除含有表的数据库，要先将数据库中的表清空才能drop，否则会报错加入CASCADE关键字，可以强制删除一个数据库hive (default)> drop database if exists table;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql....
2019-12-04 17:52:07
1870
mysql-libs.zip
2019-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人