- 博客(42)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ELK收集spring-boot日志
ELK收集spring-boot日志ELK集群搭建rpm包安装方式(后面有tar包安装方式)tar包安装ELK集群tar包安装Elasticsearch安装Kibana安装logstashSpring-boot 日志输出配置收集日志到ELKfilebeat收集本地日志到logstashlogstash传输日志到ELasticsearchELK索引周期控制ELK集群搭建rpm包安装方式(后面有tar包安装方式)rpm包下载 wget https://mirrors.tuna.tsinghua.edu.
2022-05-08 12:46:49
907
原创 Spring-Mail
Spring-Mail基本了解发送纯文本邮件发送HTML邮件发送内嵌资源的邮件发送带附件的邮件基本了解spring为发送邮件提供了一个抽象层: 定义了MailMessage 和 MailSender抽象 来描述邮件消息和邮件发送者# 消息MailMessage: 有两个实现类: SimpleMainMessage(text格式) 和 MimeMailMessage(多用途)setTo(String to) 发送地址，可以设置多个setFrom(String from) 发送方setCc(St
2022-04-28 23:26:23
3475
原创 Protobuf使用
Protobuf使用下载编译器java 依赖实例编译成java类测试快速的进行json格式化下载编译器https://github.com/protocolbuffers/protobuf/releases/download/v3.19.4/protobuf-java-3.19.4.tar.gzhttps://github.com/protocolbuffers/protobuf/releases/download/v3.19.4/protoc-3.19.4-linux-x86_64.zipht
2022-03-09 15:59:34
664
原创 HBase分布式集群搭建
包下载地址1、将集群中的所有节点的hosts文件配置完成2、将集群中的所有节点的防火墙关闭3、将集群中的所有节点的时间设置一致yum install ntpdatentpdate ntp1.aliyun.com4、将所有的节点设置免密钥登陆参考hdfs搭建5、 解压hbase安装包tar xzvf hbase-2.3.7-bin.tar.gz -C /opt/bigdatacd hbase-2.3.7/rm -rf docs6、在/etc/profile文件中配置HBase的环境
2022-03-08 09:56:42
3182
原创 Tomcat源码环境搭建
Tomcat 9.X 源码环境搭建下载源码idea打开设置为maven项目pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a
2022-03-06 17:59:30
702
3
原创 logback的配置文件
<?xml version="1.0" encoding="UTF-8"?><!--scan="true" 当发生变化 自动重载文件--><!--scanPeriod="1000" 自动重载文件时间间隔--><!--debug="true" 打印出logback内部日志信息--><configuration debug="false"> <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径-->
2022-01-17 22:14:08
891
原创 Java8的日期-时间学习
java8时间**Java 8中获取今天的日期****Java 8中获取年、月、日信息****Java 8中处理特定日期****Java 8中判断两个日期是否相等****Java 8中检查像生日这种周期性事件****Java 8中获取当前时间**时间的加减法**Java 8的Clock时钟类****判断日期是早于还是晚于另一个日期****Java 8中处理时区**显示固定日期 信用卡到期日，当月有多少天**Java 8中检查闰年****计算两个日期之间的天数和月数****在Java 8中获取当前的时间戳**
2021-12-09 15:26:15
712
原创 Spark-SQL教程
目录创建SparkSession通过SparkSession创建SparkContext手动创建DataFrame创建DataSetDataSet的使用 - 读取文本文件DataSet的使用 - 读取MySQLSpark_On_Hivestandalone模式hive集群模式搭建hive-metastore服务的配置hiveserver2服务的配置hive 的命令行简单介绍IDEA使用spark程序交互hiveSpark-Sql服务SPARK整合HIVESpark-Sqlspark-sql函数自定义函数
2021-11-28 09:05:33
4837
原创 Sqoop参数及案列
目录查看帮助的方法 -- [官网](https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html)命令行参数通用参数Import -- 从MySQL到HDFS，HIVE，HBase增量导入的参数HCatalog参数HBase专属参数导出控制参数输出行格式参数:案例MySQL 导入数据到 HDFS 案例从MySQL导入数据到hivemysql数据导入到HBaseHDFS数据导出到MySQLHive 数据导出到mysql查看帮助的方法 – 官网sqoop h
2021-11-15 17:31:34
1691
原创 Hive案例-来自hive实战
注: 案例素材来自于中国工信出版社出版书籍 hive实战. 译者- 唐富年目录准备数据检索数据库建库创建表并装载rawfirstname.csv文件创建rawlastname并装载创建rawperson并装载装载额外的数据创建retrievedb.rawaddress表并装载数据创建retrievedb.rawaddresshistory创建retrievedb.rawaccount清洗数据创建临时表assessdb.firstname001 -- 去掉第一行的字段列名创建临时表assessdb.fir.
2021-11-12 17:34:28
1648
原创 Hadoop-3.22+ snappy + lzo源码编译安装
Hadoop-3.22+ snappy + lzo源码编译安装编译安装cmake 3.21.4安装maven编译安装protobuf编译安装findbugs下载并编译lzo下载源码包编译安装cmake 3.21.4编译cmakeyum install openssl-devel -ywget https://github.com/Kitware/CMake/releases/download/v3.21.4/cßmake-3.21.4.tar.gztar xf cmake-3.21.4.tar.g
2021-11-05 10:55:56
309
原创 spark3.1.2基于yarn的集群安装
spark3.1.2基于yarn的集群安装准备工作集群配置准备工作wget https://www.apache.org/dyn/closer.lua/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz -O /opt/spark-3.2.0-bin-hadoop3.2.tgz# 创建统一目录mkdir -p /opt/bigdata/spark# 解压tar xf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/b
2021-10-26 22:03:45
976
原创 源码编译Tez整合HIve,提升Hive执行效率
Hive On Tez源码编译Tez基于Hadoop3.3.1热身运动上传 Tez 的 jar 包到 HDFS配置 Hive部署 Tez 本地程序Tez 包的引入复制tez包到其他机器测试功能遗留了一个问题源码编译Tez基于Hadoop3.3.1热身运动搭建java环境# 安装java环境mkdir /usr/java# tar xf jdk-8u261-linux-x64.tar.gz -C /opt/ln -s /opt/jdk1.8.0_261 /usr/java/default
2021-10-24 22:52:33
2675
1
原创 Hive3.1.2版本部署
Hive3.1.2版本部署安装HiveHive Masterhive客户端节点分发hive包启动 metastore 与 hiveserver2 服务**初始化 Hive 元数据****启动 Metastore 服务****启动 Hiveserver2 服务**安装Hivewget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压cd $HIVE_HOME/confcp hive-default.xml.
2021-10-24 12:41:46
3003
原创 手动安装Hadoop3.3.1+ Yarn HA集群
Hadoop集群搭建手动安装Hadoop3.3.1+ Yarn HA集群服务主机ip规划准备工作启动zookeeperHadoop配置文件启动与维护高可用 NameNode + Yarn 分布式集群1. 启动与格式化 ZooKeeper 集群2. 启动 JournalNode 集群3. 格式化并启动主节点 NameNode 服务4. NameNode 主、备节点同步元数据5. 启动备用节点的 NameNode 服务6. 启动 ZooKeeper FailoverController（zkfc）服务7. 启动
2021-10-24 10:55:48
3522
原创 Spark-RDD操作
Spark-RDD操作什么是RDD怎么理解RDD创建RDD3中方式读取数据并产生RDD读取普通文本数据读取json格式的数据读取CSV，TSV格式的数据读取sequenceFile格式的数据读取object个数的数据读取HDFS中的数据读取MySQL数据库中的数据保存RDD的数据到外部存储保存成普通文件保存成json文件保存成CSV，TSV格式文件保存成sequenceFIle文件写数据到HDFS写入到MySQL数据库RDD的高级操作RDD缓存缓存与释放RDDRDD的检查点机制(Checkpoint)RDD
2021-10-12 15:25:23
761
原创 RDD的算子大全
RDD的算子大全RDD的算子大全基础转换操作0. Spark初始化1.map操作2.flatMap操作3.filter操作4.distinct去重操作5.mapPartions操作6. mapPartionWithIndex 操作7.union操作8. intersection交集9. subtract差集10. cartesian 笛卡尔积11.repartion重新分区12. randomSplit按权重拆分13. glom分区变数组14.zip 拉链操作15.zipPartition操作16.zipW
2021-10-10 20:54:14
1506
原创 Spark-2.3.4集群安装部署
Spark集群安装部署安装包准备Standalone部署Spark集群修改默认配置集群启动命令介绍集群启动验证Standalone模式部署高可用Master集群修改默认配置分发配置，集群启动验证集群spark-submit提交程序查看提交程序的帮助说明基于yarn模式部署Spark集群主要操作配置文件hadoop配置文件添加mapred-site.xml文件添加配置分发配置文件启动yarn启动spark验证安装包准备下载包2.3.4版本wget https://archive.apache.org/
2021-10-09 08:50:34
749
原创 Hive参数操作和运行方式
Hive参数操作和运行方式Hive参数操作和运行方式1、Hive参数操作1.1 hive参数介绍1.2 hive参数的设置方式2、hive运行方式1、hive运行方式分类2、hive命令行模式详解3、hive脚本运行方式Hive参数操作和运行方式1、Hive参数操作1.1 hive参数介绍 hive当中的参数、变量都是以命名空间开头的，详情如下表所示：命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量例： hive --hivecon
2021-10-08 11:37:27
488
原创 Hive函数学习
Hive函数学习Hive函数学习1.内置运算符1.1关系运算符1.2算术运算符1.3逻辑运算符1.4复杂类型函数1.5对复杂类型函数操作2.内置函数2.1数学函数2.2收集函数2.3类型转换函数2.4日期函数2.5条件函数2.6字符函数3.内置的聚合函数（UDAF）4.内置表生成函数（UDTF）5.自定义函数5.1 UDF 开发Hive函数学习--- 查看所有函数或操作符show functions;--- 查看函数描述describe function trim;describe funct
2021-10-08 11:27:42
750
原创 HiveServer2服务简介
HiveServer2服务简介HiveServer2基本概念介绍hiveserver2的搭建使用独立hiveserver2模式共享metastore server的hiveserver2模式搭建HiveServer2的访问方式1、beeline的访问方式2、jdbc的访问方式HiveServer2基本概念介绍1、HiveServer2基本介绍HiveServer2是一个服务接口，能够允许远程的客户端去执行SQL请求且得到检索结果。HiveServer2的实现，依托于Thrift RPC，是Hive
2021-10-08 11:12:45
6986
原创 Hive动态分区和分桶
Hive动态分区和分桶1、 Hive动态分区和分桶1、Hive动态分区1、hive的动态分区介绍2、hive的动态分区配置3、hive动态分区语法动态分区加载数据案列2、Hive分桶1、Hive分桶的介绍2、Hive分桶的配置3、Hive分桶的抽样查询1、 Hive动态分区和分桶1、Hive动态分区1、hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值，但是这样的话会导致用户的操作复杂度提高，而且在使用的时候会导致数据只能插入到某一个指定分区，无法
2021-10-08 10:59:48
486
原创 Hive基本SQL操作
Hive基本SQL操作Hive DDL（数据库定义语言）1、数据库的基本操作2、数据库表的基本操作Hive DML1、插入数据1、Loading files into tables2、Inserting data into Hive Tables from queries3、Writing data into the filesystem from queries4、Inserting values into tables from SQL2、数据更新和删除Hive DDL（数据库定义语言）1、数据库的
2021-10-08 10:55:46
2854
原创 Hive-2.3.9的安装搭建
Hive的安装搭建Hive安装分类远程数据库模式安装远程元数据服务模式安装hive可以基于源码的方式安装，也可以使用二进制安装包安装，此文档基于二进制安装前期准备工作，完成hadoop集群的安装Hive中最最重要的角色就是metastore因此按照metastore的管理共有四种hive的安装搭建方式：官网参考地址如下：hive官网安装方式文档Hive安装分类 1、Local/Embedded Metastore Database（Derby） 2、Remote Metastore
2021-10-08 10:37:42
1832
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人