- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Centos8，添加开机自启动服务
1. WantedBy 是以哪种方式启动：multi-user.target表明当系统以多用户方式（默认的运行级别）启动时，这个服务需要被自动运行。文件直接采用tomcat的PID文件（应当与/xsmart/tomcat/bin/catalina.sh文件中的CATALINA_PID参数取值一致）服务的pid文件路径，对于tomcat而言，必须与tomcat的bin/catalina.sh中的CATALINA_PID参数一致，（可省略）描述，可填写服务名称：XSmart服务。
2023-08-28 16:16:41
1542
原创 zookeeper安全加固
ZK的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写)。注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限。world：默认方式，相当于全世界都能访问。auth：代表已经认证通过的用户(cli中可以通过addauth digest ser:pwd 来添加当前上下文中的授权用户)
2023-08-24 14:20:37
714
原创 kerberos安全认证示例
Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。原文链接：https://blog.youkuaiyun.com/prefect_start/article/details/130981822。
2023-08-23 09:35:51
438
原创 Derby数据库
输入 cmd 回车，打开命令行窗口，执行“sysinfo”命令，测试数据库安装。启动的服务端仅支持数据库的本地连接，如果要在机器上远程连接数据库，还需要启动NetworkServerControl服务。命令：connect 'jdbc:derby:D:\derby_DB\test_db;在ij工具中执行以上命令，重新启动derby数据库服务，再次连接数据库时就需要用户密码认证。网络模式下，需打开两个控制台窗口，一个是用于启动Derby数据库服务端的“在命令行窗口，执行ij命令，进入derby数据库命令行。
2023-08-22 08:36:47
712
原创 Mysql_binlog恢复
所谓恢复，就是让mysql将保存在binlog日志中指定段落区间的sql语句逐个重新执行一次而已。数据库密码-v数据库数据库密码-v数据库。
2023-08-21 14:22:35
459
原创 sqoop部署流程
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
2023-08-19 14:27:37
307
原创 hadoop生态圈，kafka详细部署教程
使用kafka-reassign-partitions.sh工具生成的reassign plan只是一个建议，方便，但不一定是我们想要的，所以我们可以自己编辑一个reassign plan，然后执行它。对于压缩的日志保留的最长时间，也是客户端消费消息的最长时间，同log.retention.minutes的区别在于：一个控制未压缩数据，一个控制压缩后的数据。文件”sync”到磁盘之前累积的消息条数，因为磁盘IO操作是一个慢操作，但又是一个”数据可靠性"的必要手段，所以此参数的设置，需要在。
2023-08-18 10:47:49
350
原创 局域网 ntp 时间同步
注意：上图的169配置，是以自身时间为准，如果能够连接外网，也可以以外网的NTP时间源同步服务器为准，也就是说，169向外网的NTP时间源同步服务器同步时间，170、171再向169同步时间。注意：开启了slew方式时，在600s内的偏差会使用slew方式以0.5ms/s的速度缓慢平滑的进行微调，整个过程<=14天消除偏差，如果此时偏差查过了600的话会继续使用step的方式分步分阶段调整偏差。step（默认）的同步方式指的是分步，分阶段，相当于电视换频道一样，一个一个的跳跃。
2023-08-17 13:47:19
435
原创 ambari 安装及使用ambari安装hadoop记录
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。百度百科-验证。
2023-08-15 10:58:52
2492
原创 telegraf + TDengine 实现服务器实时监控
TDengine 是一款产品开源、云原生的时序数据库（Time Series Database），具有高性能、高可靠、可伸缩、零管理、简单易学等技术特点。提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。在本文的场景中，我们使用 TDengine 来存储 Telegraf 采集的实时监控数据。
2023-08-14 13:38:32
805
原创 Hadoop 标签、队列配置示例
资源分配，在 default 分区可用100%的资源，在 label_154 分区可用30%资源，最大40%。-- 为队列指定标签，*表示所有标签，空格表示只能访问没有标签的节点，所有队列都可以访问没有标签的节点，不必指定。-- 队列状态可以为STOPPED或者RUNNING，如果一个队列处于STOPPED状态，用户不可以将应用程序提交到该队列或者它的子队列中 -->在root队列下，划分default、xtask、 ea三个子队列，ea队列下再划分ea_prod、ea_dev两个子队列。
2023-08-11 10:51:45
375
原创 HBase详细部署流程
大数据平台XSailboat简介_OkGogooXSailboat的博客-优快云博客 在安装HBase之前，首先应确保以下基础设施构建成功： 使用FTP上传安装文件（hbase-2.4.2-bin.tar.gz）到主机的 /xcloud 目录。 命令：su hadoopcd /xcloudtar -zxvf hbase-2.4.2-bin.tar.gzmv hbase-2.4.2 hbase 命令：su
2023-08-10 09:59:50
1072
原创 hadoop集群详细部署流程(二)
1）在使用集群管理脚本的时候，由于使用ssh进行远程登录时不会读取/etc/profile文件中的环境变量配置，所以使用ssh的时候java命令不会生效，因此需要在配置文件中显式配置jdk的绝对路径(如果各个节点的jdk路径不一样的话那hadoop-env.sh中应改成本机的JAVA_HOME)。Hadoop自带了一个MR的历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。
2023-08-09 14:27:20
177
原创 hadoop集群详细部署流程(一)
本教程将使用5台服务器来部署hadoop集群，5台服务器的主机名依次为XCloud150、XCloud151、XCloud152、XCloud153、XCloud154。在规划的5台服务器上，执行安装准备操作。命令：su修改后：命令：修改后：命令：注：ifcfg-enp0s3是网卡名称，实际操作时，注意替换修改后：命令：命令：ifconfig输出：如图，“inet”与“ether”之间，没有ipv6的信息，即说明ipv6已关闭。命令：修改后：命令：命令：ifconfig。
2023-08-08 10:22:48
336
原创 clickhouse集群详细部署流程
shard>，分片配置，一个 ClickHouse 集群可以分多个分片，每个分片可以存储数据，这里分片可以理解为 ClickHouse 机器中的每个节点，1个分片只能对应1个服务节点。如下图，假设ClickHouse的N个节点组成了一个集群，在集群的各个节点上，都有一张结构相同的数据表Y。如果它们的数据完全相同，则它们互为副本（红色部分）。大约在配置文件的1037行，<shard>表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，<replica>表示副本名称，三个节点的副本名称不能一样。
2023-08-07 09:47:11
5875
5
windows及linux系统下，mysql，oracle安装教程，附截图
2017-12-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人