- 博客(118)
- 收藏
- 关注
RSS订阅原创 bigtop gradle 任务依赖关系
其他的16个任务和hadoop-deb任务的依赖关系类似，只是将hadoop替换为对应的组件名称即可。./gradlew deb 会编译ubuntu的所有deb包。比如hadoop替换为zookeeper。
2024-06-25 20:50:20
300
原创 ambari打包
docker run -it bigtop/slaves:3.3.0-ubuntu-22.04 /bin/bash #启动镜像并进入。git clone https://github.com/apache/ambari.git #获取bigtop代码。adduser ambari #创建ambari用户。su - ambari #登录ambari用户。cd ambari #进入ambari目录。打包得到2个deb安装包。
2024-06-13 08:38:12
358
原创 bigtop-3.4.0-SNAPSHOT ubuntu22.04打包
编译打包没有报错，共生成89个deb包，涉及的组件有18个，由于greenplum github上的源码最近改为只读，开源前景不明朗，已经在bigtop最新的版本中去掉了。git clone https://github.com/apache/bigtop.git #获取bigtop代码。注意：虽然编译打包没有报错，但是没有bigtop-select的deb包，不清楚为什么，后续会追踪这个问题。adduser bigtop #创建bigtop用户。su - bigtop #登录bigtop用户。
2024-06-11 19:40:47
757
原创 Ambari 配置dfs.http.policy=HTTPS_ONLY
1，生成 keystore在其中一台机子上执行如下命令openssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj '/C=CN/ST=beijing/L=chaoyang/O=xxxx/OU=dt/CN=xxxx.com'生成 hdfs_ca_key,hdfs_ca_cert将hdfs_ca_key,hdfs_ca_cert拷贝到集群中的每个节点上分别登录每个基点执行一下命令mk.
2020-05-22 12:46:48
1964
原创 用crontab执行shell把top命令按日期追加到文件
解决crontab定时输出top不执行办法top -n 1不能在 crontab中使用，要加一个参数top -b -n 1需求：在linux服务器用crontab执行shell基本把top命令结果按日期追加到文件。常见问题：1.直接执行命令可以正常，放到shell脚本里面执行不行。2.直接执行shell脚本正常输出，放到crontab后不行。本文列出crontab和直接执行命令...
2019-09-03 18:32:58
1447
1
转载 ambari 下postgresql 命令
1.切换用户 [root@master scripts]# su - postgres -bash-4.1 2.登陆postpostgresql控制台 -bash-4.1$ psql postgres=#3. 进入ambari库 postgres=# \c ambari ambari=#4.授予ambari用户对ambari库的...
2019-09-02 14:09:39
776
转载 keepalived 各配置项和术语说明
一、配置项global_defs {notification_email {#指定keepalived在发生切换时需要发送email到的对象，一行一个sysadmin@fire.loc}notification_email_from Alexandre.Cassen@firewall.loc #指定发件人smtp_server localhost #...
2019-08-30 11:30:45
1993
转载 du-查看文件夹大小-并按大小进行排序
某天，我想检查一下电脑硬盘的的使用情况，作为一个命令控，废话少说，开始吧：使用df 命令查看当前磁盘使用情况：jack@jiaobuchong:~$ df -lhFilesystem Size Used Avail Use% Mounted on/dev/sda3 18G 5.7G 11G 35% /udev 2.7G 4.0...
2019-08-21 10:08:45
5678
原创 CDH FQDN
大数据集群中的节点的hostname需要配成FQDN。1，其实hostname不配成FQDN也可以使用，但是和外部服务集成会遇到问题，FQDN能更好的注册到DNS服务器，方便外部服务调用。其实就是一个通用适配要求。2，FQDN不要使用公网已有的顶级域名，如.dev。.dev已经被Google注册成顶级域名了，如果直接访问.dev的网址，会被转换成https协议的。影响正常使用。...
2019-03-28 10:50:31
417
原创 zookeeper羊群效应
羊群效应是使用zookeeper比较容易犯的一个错误。问题描述： 羊群效应常出现于通过zookeeper实现分布式锁的场景。 客户端创建节点，序号最小的获取锁 其他客户端监控最小节点，最小节点完成任务，发出通知，并释放 其他客户端获取通知后，获取所有节点，序号最小的获取锁，依此类推。问题原因： 但是由于通知的客...
2019-03-04 18:31:30
5416
1
原创 zookeeper隐藏通道
隐藏通道是使用zookeeper比较容易犯的一个错误。问题描述： 客户端A操作后，客户端B才可以操作，两者具有依赖性。 A操作了zookeeper后，然后通知B去读zookeeper中的状态。 但是有可能A的操作还没有及时更新zookeeper，B已经读取了值，这个值是错误的。问题原因： A直接通知B解决方案：...
2019-03-04 17:58:52
261
原创 Elasticsearch脑裂
脑裂问题就是集群中出现了多个master，导致集群内部信息混乱，无法对外提供一致信息。解决方案就： 避免出现多个master。根本解决方案： 没有。 由于网络原因不可控。避免措施： 1，master节点与data节点分离，配置如下： 主节点配置为： node.mas...
2019-03-04 16:58:23
508
转载 redis info
used_memory：由 Redis 分配器分配的内存总量，包含了redis进程内部的开销和数据占用的内存，以字节（byte）为单位used_memory_human：已更直观的单位展示分配的内存总量。used_memory_rss：向操作系统申请的内存大小。与 top 、 ps等命令的输出一致。used_memory_rss_human：已更直观的单位展示向操作系统申请的内存大小。us...
2019-02-22 15:24:29
171
原创 redis3.0.6节点选举条件
1，对于只有2个master的redis cluster，slave无法自动升级为master2，官方推荐最少3个master，3个slave3，如果3个master中有一个master没有slots，slave不能自动升级为master4，至少存在2个active master，才能完成slave升级为master。一个6个节点的redis cluster，3个master，3个sl...
2019-01-07 18:37:45
423
原创 redis-trib.rb centos7.1环境配置
#yum install centos-release-scl-rh //会在/etc/yum.repos.d/目录下多出一个CentOS-SCLo-scl-rh.repo源#yum install rh-ruby23 -y //直接yum安装即可 #scl enable rh-ruby23 bash //必要一步 每...
2019-01-07 18:27:28
1064
3
原创 redis NoRouteToHostException: 没有到主机的路由
最近项目中使用redis遇到了一个异常（redis版本3.2.3），分享出来供大家参考：异常如下：Caused by: redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool at redis.clients.util.Pool.getResour...
2018-08-03 16:12:22
9188
原创 Eureka的弱一致性
Eureka是spring cloud中的一个组件，提供注册发现功能。它是一个分布式应用，用于管理微服务地址。通过部署多个Eureka Server避免单点故障。 随着微服务的规模越来越大，Eureka的便利性越来越明显。访问服务只需要通过Eureka就可以了。但是Eureka也有它不好的地方，就是弱一致性，Eureka只能保证最终一致性，不能保证强一致性。由于异步性，E...
2018-07-23 11:05:06
5787
原创 sed技巧
1，sed中引入shell变量 eval sed ’s/$a/$b/’ filename sed "s/$a/$b/" filename sed ’s/’$a’/’$b’/’ filename sed s/$a/$b/ filename2，sed的参数是变量，变量中有特殊字符 当使用sed命令替换内容时，有时会用到变量，如 sed -...
2018-05-21 17:40:35
401
原创 文件备份工具
filebackup文件备份工具 支持限流 支持定时 支持断点续传 传送通道安全 应用于将数据备份到Linux上github地址：https://github.com/zhwk022/filebackup
2018-04-26 10:07:50
341
转载 CocosCreator设置启动场景
刚开始接触CocosCreator,在调试时,如果有多个场景,不知道如何设置将某个指定的场景设置为启动场景,折腾了一圈,找到了设置的地方,记录一下. 点击项目->项目设置 在预览运行里面设置初始预览场景: 原文：http://www.cnblogs.com/BTMaster/p/6782843.html...
2018-04-11 16:47:42
7148
原创 VMware虚机静态MAC地址
默认情况下，静态MAC地址将VMware组织上唯一标识符(OUI)作为前缀。然而，VMware OUI提供的免费地址范围是限制。如果您选择使用VMware OUI，这个范围的一部分是预留给vCenter服务器，主机物理NICs，虚拟NICs，以及将来使用。您可以设置一个包含VMware OUI前缀的静态MAC地址，以遵从以下格式:00:50:56:XX:YY:ZZ其中XX是00
2017-11-08 13:55:18
1264
原创 FireFox调用本地应用
最近由于项目需要，对FireFox调用本地应用进行研究，现在将研究成果发布出来供大家参考，不完善的部分希望大家指出，我会补充。FireFox可以javascript编程扩展浏览器的功能，扩展解决方案包括Add-ons，WebExtension，Add-ons是比较老的版本，现在已经被WebExtension替代了，当然Add-ons还可以用。WebExtension是一个通用的标准，不仅在Fi
2017-11-07 09:28:34
4121
原创 kafka官方文档翻译-design
1.动机我们设计的Kafka能够作为统一的平台来处理大型公司可能拥有的所有实时数据。为了做到这一点，我们不得不考虑一系列相当广泛的用例。它必须具有高吞吐量来支持大量事件流，例如实时日志聚合。它将需要正常处理大量数据积压，以便能够支持从离线系统定期进行数据加载。这也意味着系统必须处理低延迟传递来处理更传统的消息传递用例。我们希望支持可分区的，分布式的，实时的数据反馈处理，并创建和分发新的反馈。最后，...
2017-10-23 14:02:34
487
原创 kafka官方文档翻译-introduction
kafka被用来创建实时数据通道和流应用。它可以水平扩展，可以容错，处理速度非常快（wicked fast），并且运行在成千上万公司的生产环境中。kafka是一个分布式流平台。确切含义是什么？我们认为一个流平台具有3个关键能力：
2017-10-13 15:19:32
447
原创 Kafka源码阅读环境搭建
闲来无事，准备研究一下kafka，分3步走，1，搭建kafka代码阅读环境2，搭建kafka运行环境，并测试3，分析kafka启动部署原理4，分析kafka工作机制5，对关键部分进行分析马上开干。。。。1，jdk下载安装 下载地址：链接：http://pan.baidu.com/s/1gfakMjT 密码：1mkw2，scala下载安装
2017-10-01 14:23:57
2035
原创 ClassNotFoundException NoClassDefFoundError
ClassNotFoundException : Thrown when an application tries to load in a class through its string name using: 应用试图通过字符串名称载入一个类，载入方法如下：Class.forName()ClassLoader.findSystemClass()ClassL
2017-07-07 14:27:28
336
原创 happens-before
1，程序顺序规则：如果程序中操作A在操作B之前，那么B操作可以看到A操作的所有内存操作。2，监视器锁规则：在监视器锁上的解锁操作必须在同一个监视器锁上的加锁操作之前执行。3，volatile变量规则：对volatile变量的写入操作必须在对该变量的读操作之前执行。4，线程启动规则：在线程上对Thread.start的调用必须在该线程中执行任何操作之前执行。5，线程结束规则：线程中的
2017-06-16 14:50:41
278
原创 Thread tips
1，JMM为程序中所有的操作定义了一个偏序关系，称之为Happens-Before。如果两个操作之间缺乏Happens-Before关系，那么JVM可以对它们任意地重排序。2，进入和退出同步代码块的字节指令也称为monitorenter和monitorexit,而java的内置锁也称为监视器锁或监视器。3，通常,中断是实现取消的最合适方式。
2017-06-16 14:26:01
340
原创 Object.wait
Object.wait功能：挂起当前线程并释放锁用途：用于多线程开发，主要用于条件队列编程。用法：线程获取object锁后，调用object.wait，该线程被系统挂起，并释放锁。通过调用object.notify或者object.notifyAll可以唤醒该线程（调用notify或者notifyAll之前必须获得object锁）唤醒：1，notify notifyAll
2017-06-12 16:40:23
1075
原创 奇特的java类
public class Test { private Test(){} public Test instance = new Test(); public static Test custon(){ return new Test(); } public static void main(String[] args) { Test.custon(); }}
2017-05-22 21:42:58
309
1
转载 查看struts的所有action映射情况
如何查看struts的所有action映射情况如果在一个比较大的项目里面，struts的配置文件往往有很多个。 要查看一个action对应的类，不是用全文查找的方式，就是得一个文件一个文件去找。 现在有一个插件可以一下子列出所有的action映射情况。我们只需要在这里查找就可以了。 为了看到 struts2 应用里的 Action 等各种资源的影射情况， strut
2017-05-08 16:53:08
1607
转载 Criteria左外连接以及去重复数据
public List listFetch(Long id, int folderType) { Criteria criteria = getCriteria(FolderVO.class,"fo"); criteria.add(Restrictions.eq("fo.id", id));//id不是主键 criteria.add(Restrictions.e
2017-05-05 11:01:23
2148
转载 Stop The World(STW)
"stop-the-world" 机制简称STW,即,在执行垃圾收集算法时,Java应用程序的其他所有除了垃圾收集帮助器线程之外的线程都被挂起Java中一种全局暂停的现象全局停顿，所有Java代码停止，native代码可以执行，但不能和JVM交互多半由于GC引起Dump线程死锁检查堆DumpGC时为什么会有全局停顿？–类比在聚会时打扫
2017-05-02 13:14:24
1048
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人