<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wk022的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wk022</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wk022]]></copyright><item><title><![CDATA[bigtop gradle 任务依赖关系]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/139968522</link><guid>https://blog.youkuaiyun.com/wk022/article/details/139968522</guid><author>wk022</author><pubDate>Tue, 25 Jun 2024 20:50:20 +0800</pubDate><description><![CDATA[其他的16个任务和hadoop-deb任务的依赖关系类似，只是将hadoop替换为对应的组件名称即可。./gradlew deb 会编译ubuntu的所有deb包。比如hadoop替换为zookeeper。]]></description><category></category></item><item><title><![CDATA[ambari打包]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/139641005</link><guid>https://blog.youkuaiyun.com/wk022/article/details/139641005</guid><author>wk022</author><pubDate>Thu, 13 Jun 2024 08:38:12 +0800</pubDate><description><![CDATA[docker run -it bigtop/slaves:3.3.0-ubuntu-22.04 /bin/bash #启动镜像并进入。git clone https://github.com/apache/ambari.git #获取bigtop代码。adduser ambari #创建ambari用户。su - ambari #登录ambari用户。cd ambari #进入ambari目录。打包得到2个deb安装包。]]></description><category></category></item><item><title><![CDATA[bigtop-3.4.0-SNAPSHOT ubuntu22.04打包]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/139606850</link><guid>https://blog.youkuaiyun.com/wk022/article/details/139606850</guid><author>wk022</author><pubDate>Tue, 11 Jun 2024 19:40:47 +0800</pubDate><description><![CDATA[编译打包没有报错，共生成89个deb包，涉及的组件有18个，由于greenplum github上的源码最近改为只读，开源前景不明朗，已经在bigtop最新的版本中去掉了。git clone https://github.com/apache/bigtop.git #获取bigtop代码。注意：虽然编译打包没有报错，但是没有bigtop-select的deb包，不清楚为什么，后续会追踪这个问题。adduser bigtop #创建bigtop用户。su - bigtop  #登录bigtop用户。]]></description><category></category></item><item><title><![CDATA[doris2.0.7 安装]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/137567083</link><guid>https://blog.youkuaiyun.com/wk022/article/details/137567083</guid><author>wk022</author><pubDate>Tue, 09 Apr 2024 20:57:16 +0800</pubDate><description><![CDATA[doris2.0.7安装]]></description><category></category></item><item><title><![CDATA[hue中oozie设置队列]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/128680501</link><guid>https://blog.youkuaiyun.com/wk022/article/details/128680501</guid><author>wk022</author><pubDate>Fri, 13 Jan 2023 22:32:52 +0800</pubDate><description><![CDATA[hue中oozie设置队列]]></description><category></category></item><item><title><![CDATA[requests_kerberos]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/128578789</link><guid>https://blog.youkuaiyun.com/wk022/article/details/128578789</guid><author>wk022</author><pubDate>Fri, 06 Jan 2023 14:47:40 +0800</pubDate><description><![CDATA[python kerberos]]></description><category></category></item><item><title><![CDATA[Ambari 配置dfs.http.policy=HTTPS_ONLY]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/106276429</link><guid>https://blog.youkuaiyun.com/wk022/article/details/106276429</guid><author>wk022</author><pubDate>Fri, 22 May 2020 12:46:48 +0800</pubDate><description><![CDATA[1，生成 keystore

在其中一台机子上执行如下命令


openssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj '/C=CN/ST=beijing/L=chaoyang/O=xxxx/OU=dt/CN=xxxx.com'

生成 hdfs_ca_key,hdfs_ca_cert

将hdfs_ca_key,hdfs_ca_cert拷贝到集群中的每个节点上



分别登录每个基点执行一下命令


mk.]]></description><category></category></item><item><title><![CDATA[用crontab执行shell把top命令按日期追加到文件]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/100524780</link><guid>https://blog.youkuaiyun.com/wk022/article/details/100524780</guid><author>wk022</author><pubDate>Tue, 03 Sep 2019 18:32:58 +0800</pubDate><description><![CDATA[解决crontab定时输出top不执行办法

top -n 1不能在 crontab中使用，要加一个参数top -b -n 1

需求：在linux服务器用crontab执行shell基本把top命令结果按日期追加到文件。

常见问题：1.直接执行命令可以正常，放到shell脚本里面执行不行。

2.直接执行shell脚本正常输出，放到crontab后不行。

本文列出crontab和直接执行命令...]]></description><category></category></item><item><title><![CDATA[ambari 下postgresql 命令]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/100266141</link><guid>https://blog.youkuaiyun.com/wk022/article/details/100266141</guid><author>wk022</author><pubDate>Mon, 02 Sep 2019 14:09:39 +0800</pubDate><description><![CDATA[1.切换用户

 [root@master scripts]# su - postgres
 -bash-4.1

 2.登陆postpostgresql控制台

 -bash-4.1$ psql

 postgres=#

3. 进入ambari库

 postgres=# \c ambari
 ambari=#

4.授予ambari用户对ambari库的...]]></description><category></category></item><item><title><![CDATA[keepalived 各配置项和术语说明]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/100153819</link><guid>https://blog.youkuaiyun.com/wk022/article/details/100153819</guid><author>wk022</author><pubDate>Fri, 30 Aug 2019 11:30:45 +0800</pubDate><description><![CDATA[一、配置项

global_defs {
notification_email {#指定keepalived在发生切换时需要发送email到的对象，一行一个
sysadmin@fire.loc
}
notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
smtp_server localhost #...]]></description><category></category></item><item><title><![CDATA[du-查看文件夹大小-并按大小进行排序]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/99940276</link><guid>https://blog.youkuaiyun.com/wk022/article/details/99940276</guid><author>wk022</author><pubDate>Wed, 21 Aug 2019 10:08:45 +0800</pubDate><description><![CDATA[某天，我想检查一下电脑硬盘的的使用情况，作为一个命令控，废话少说，开始吧：

使用df 命令查看当前磁盘使用情况：

jack@jiaobuchong:~$ df -lh
Filesystem   Size Used Avail Use% Mounted on
/dev/sda3    18G 5.7G  11G 35% /
udev      2.7G 4.0...]]></description><category></category></item><item><title><![CDATA[CDH FQDN]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/88864032</link><guid>https://blog.youkuaiyun.com/wk022/article/details/88864032</guid><author>wk022</author><pubDate>Thu, 28 Mar 2019 10:50:31 +0800</pubDate><description><![CDATA[大数据集群中的节点的hostname需要配成FQDN。

1，其实hostname不配成FQDN也可以使用，但是和外部服务集成会遇到问题，FQDN能更好的注册到DNS服务器，方便外部服务调用。其实就是一个通用适配要求。

2，FQDN不要使用公网已有的顶级域名，如.dev。.dev已经被Google注册成顶级域名了，如果直接访问.dev的网址，会被转换成https协议的。影响正常使用。
...]]></description><category></category></item><item><title><![CDATA[zookeeper羊群效应]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/88129479</link><guid>https://blog.youkuaiyun.com/wk022/article/details/88129479</guid><author>wk022</author><pubDate>Mon, 04 Mar 2019 18:31:30 +0800</pubDate><description><![CDATA[羊群效应是使用zookeeper比较容易犯的一个错误。

问题描述：

   羊群效应常出现于通过zookeeper实现分布式锁的场景。

   客户端创建节点，序号最小的获取锁

   其他客户端监控最小节点，最小节点完成任务，发出通知，并释放

   其他客户端获取通知后，获取所有节点，序号最小的获取锁，依此类推。



问题原因：

  但是由于通知的客...]]></description><category></category></item><item><title><![CDATA[zookeeper隐藏通道]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/88128584</link><guid>https://blog.youkuaiyun.com/wk022/article/details/88128584</guid><author>wk022</author><pubDate>Mon, 04 Mar 2019 17:58:52 +0800</pubDate><description><![CDATA[隐藏通道是使用zookeeper比较容易犯的一个错误。

问题描述：

   客户端A操作后，客户端B才可以操作，两者具有依赖性。

   A操作了zookeeper后，然后通知B去读zookeeper中的状态。

   但是有可能A的操作还没有及时更新zookeeper，B已经读取了值，这个值是错误的。



问题原因：

   A直接通知B



解决方案：

...]]></description><category></category></item><item><title><![CDATA[Elasticsearch脑裂]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/88040887</link><guid>https://blog.youkuaiyun.com/wk022/article/details/88040887</guid><author>wk022</author><pubDate>Mon, 04 Mar 2019 16:58:23 +0800</pubDate><description><![CDATA[脑裂问题就是集群中出现了多个master，导致集群内部信息混乱，无法对外提供一致信息。

解决方案就：

    避免出现多个master。

根本解决方案：

    没有。 由于网络原因不可控。

避免措施：

    1，master节点与data节点分离，配置如下：

      主节点配置为：
          node.mas...]]></description><category></category></item><item><title><![CDATA[redis tip]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/87923004</link><guid>https://blog.youkuaiyun.com/wk022/article/details/87923004</guid><author>wk022</author><pubDate>Mon, 25 Feb 2019 19:36:30 +0800</pubDate><description><![CDATA[在redis3.2之后，redis增加了protected-mode]]></description><category></category></item><item><title><![CDATA[redis info]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/87879314</link><guid>https://blog.youkuaiyun.com/wk022/article/details/87879314</guid><author>wk022</author><pubDate>Fri, 22 Feb 2019 15:24:29 +0800</pubDate><description><![CDATA[used_memory：由 Redis 分配器分配的内存总量，包含了redis进程内部的开销和数据占用的内存，以字节（byte）为单位
used_memory_human：已更直观的单位展示分配的内存总量。
used_memory_rss：向操作系统申请的内存大小。与 top 、 ps等命令的输出一致。
used_memory_rss_human：已更直观的单位展示向操作系统申请的内存大小。
us...]]></description><category></category></item><item><title><![CDATA[redis3.0.6节点选举条件]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/86018212</link><guid>https://blog.youkuaiyun.com/wk022/article/details/86018212</guid><author>wk022</author><pubDate>Mon, 07 Jan 2019 18:37:45 +0800</pubDate><description><![CDATA[1，对于只有2个master的redis cluster，slave无法自动升级为master

2，官方推荐最少3个master，3个slave

3，如果3个master中有一个master没有slots，slave不能自动升级为master

4，至少存在2个active master，才能完成slave升级为master。一个6个节点的redis cluster，3个master，3个sl...]]></description><category></category></item><item><title><![CDATA[redis-trib.rb centos7.1环境配置]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/86017497</link><guid>https://blog.youkuaiyun.com/wk022/article/details/86017497</guid><author>wk022</author><pubDate>Mon, 07 Jan 2019 18:27:28 +0800</pubDate><description><![CDATA[#yum install centos-release-scl-rh　　　   //会在/etc/yum.repos.d/目录下多出一个CentOS-SCLo-scl-rh.repo源

#yum install rh-ruby23  -y　　　　             //直接yum安装即可　　

#scl  enable  rh-ruby23 bash　　　　        //必要一步 每...]]></description><category></category></item><item><title><![CDATA[机器学习的7个步骤]]></title><link>https://blog.youkuaiyun.com/wk022/article/details/82798694</link><guid>https://blog.youkuaiyun.com/wk022/article/details/82798694</guid><author>wk022</author><pubDate>Fri, 21 Sep 2018 11:11:34 +0800</pubDate><description><![CDATA[1，收集数据

2，准备数据

3，选择模型

4，训练

5，评估

6，超参数调节

7，预测]]></description><category></category></item></channel></rss>