
大数据
文章平均质量分 76
IUNIQUE
读史使人明智,读诗使人灵秀,数学使人周密,科学使人深刻,伦理学使人庄重,逻辑修辞使人善辩,凡有所学,皆成性格。
展开
-
Maven SCM Release版本控制与发布
Release版本控制与发布前言POM中SCM配置POM中build配置POM中distributionManagement配置mvn deploymvn release:preparemvn release:perform前言Maven代码版本控制与发布提示:以下是本篇文章正文内容,下面案例可供参考POM中SCM配置代码工程中添加SCM配置 <scm> <!--git仓库地址--> <connection>scm:git:http://具体ip地址原创 2021-10-20 17:13:42 · 1415 阅读 · 0 评论 -
Skywalking8.7+log4j日志上报功能对接,8.4有漏洞
Skywalking日志上报日志上报选择Skywalking版本添加Maven依赖客户端log4j.properties修改代理插件agent.config配置添加参考文档地址日志上报使用skywalking的日志收集功能,打通链路追踪和日志收集,实现链路问题的快速跟踪选择Skywalking版本skywalking选择8.4以上版本(8.4存在漏洞,已踩过坑),小编使用的是8.7版本添加Maven依赖 <dependency> <groupId>org原创 2021-10-19 13:29:43 · 2597 阅读 · 2 评论 -
Jdbc连接Phoenix+Kerbores总结之Ticket Client方式(此篇亲测有效)
对接Phoenix总结pom依赖jdbc连接代码问题总结由于工作需要,需要对接CDH6.3.3的Phoenix,实现使用SQL来操作HBASE表pom依赖Phoenix选择的版本:5.0.0-HBase-2.0<dependencies> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId>原创 2020-11-12 15:21:52 · 372 阅读 · 0 评论 -
windows系统进行Kerberos认证并配置浏览器访问(MIT Kerberos Ticket Manager )
Windows kerbores认证目录下载MIT安装包修改krb5.ini配置用户名和密码认证测试4.keytab认证测试目录介绍windows如何使用用户名和密码进行kerbores认证下载MIT安装包链接:https://pan.baidu.com/s/1C8wisL0fMR2dMnyxMeb2Dg提取码:bwnx修改krb5.ini配置配置文件默认路径:C:\ProgramData\MIT\Kerberos5(注意可能是隐藏文件哦)下面是我的配置信息,其实就是把kerbores里面的原创 2020-09-16 14:58:32 · 5681 阅读 · 1 评论 -
hive安装使用步骤记录
hive安装使用hive安装环境准备安装包下载(版本3.1.0)文件配置修改hive-env.sh修改hive-site.xml(没有该文件,请先创建)添加mysql的连接驱动包到hive的lib目录下配置hive的环境变量启动hive初始化交互方式bin/hiveHiveServer2使用sql语句或者sql脚本进行交互hive安装由于以前hive没有记录安装步骤,今天正好之前安装的hive...原创 2020-04-05 17:54:46 · 314 阅读 · 0 评论 -
hive安装-初始化元数据命令
初始化元数据命令schematool -dbType mysql -initSchema原创 2020-04-05 16:59:09 · 1771 阅读 · 0 评论 -
Flink集群搭建与一键脚本启停
Flink1.7.2集群搭建Flink集群搭建环境准备安装包下载安装Hadoop相关配置文件修改配置slaves配置masters配置flink-conf.yaml安装包分发一键启停脚本web监控界面Flink集群搭建由于最近项目上需要使用到flink,所以特地学习了一下,首先还是介绍搭建步骤环境准备本次安装集群需要3个节点,下面是我的节点信息:node1 192.168.75.200...原创 2020-04-05 13:42:09 · 910 阅读 · 0 评论 -
HBase集群搭建与一键脚本启停
HBase集群搭建原创 2020-01-23 13:21:59 · 538 阅读 · 0 评论 -
kerberos原理解析
一、核心术语1、KDC:key distributed center ,整个安全认证过程的票据生成管理服务,其中包含两个服务,AS和TGS2、AS:Authentication service,认证服务,为client生成TGT的服务3、TGS:Ticket granting service,ticket生成服务,为client生成某个服务的ticket 4、TGT:Ticket-gran...原创 2018-12-16 11:23:33 · 315 阅读 · 0 评论 -
HiveServer2启动时停留在日志打印处的解决方案
HiveServer2启动时打印日志时卡住问题现象问题产生原因解决效果问题现象问题产生原因经过排查,原来是hive连接的mysql数据库没有启动,所以导致该问题的产生解决效果...原创 2019-09-03 09:51:02 · 1760 阅读 · 2 评论 -
hadoop客户端操作出现:Exception in thread "main" org.apache.hadoop.security.AccessControlException:
Permission denied解决方案:hdfs-site.xml中添加下面的配置文件后,重启hadoop文件系统&lt;property&gt; &lt;name&gt;dfs.permissions&lt;/name&gt; &lt;value&gt;false&lt;/value&gt; &lt;/p原创 2018-11-21 10:48:24 · 5159 阅读 · 3 评论 -
使用hadoop客户端命令时出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform.
当我集群搭建好了之后,发现使用了hadoop客户端命令时出现了如题的问题,有人说是64位和32位的问题,经过仔细的查找,在一个帖子上面找到了解决方案。https://blog.youkuaiyun.com/japson_iot/article/details/81156162注:我是借助上面帖子里面的解决方法,替换了navite文件夹,我使用的是2.2.0,下载的navite是2.4.0的版本,经过测试...转载 2018-11-20 15:07:19 · 637 阅读 · 0 评论 -
hadoop集群环境搭建步骤记录
首先在一台linux机器上面安装好hadoop需要的基础环境1、安装JDK2、安装maven3、安装Ant4、安装findbugs5、安装protobuf,需要以下四个步骤,这个不需要配置环境(使用命令protoc --version检测)a、./configureb、makec、make checkd、make install使用yum安装cmake、openssl-d...原创 2018-11-20 13:51:11 · 271 阅读 · 0 评论 -
zookeeper集群搭建与监控工具ZK UI安装
zookeeper集群搭建与监控工具ZK UI安装欢迎使用Markdown编辑器zookeeper集群搭建监控工具ZK UI安装合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML ...原创 2020-01-12 21:09:44 · 657 阅读 · 0 评论