时甭甭-优快云博客

原创记录一次redis的灾备与恢复

redis的持久化机制分为两种，rtb和aof。其默认灾备模式为rtb,是一种快照式的备份。 aof机制，需要配置appendonly yes。昨天开发环境的主机，意外断电。集群重启后，redis群集首先得现象是数据丢失。猜测是运维启动集群的时候，与之前的方式并不一致。因为是开发环境，里面的数据是测试数据，数据丢失并没有太重视。调用api发现，redis集群报错。数据已经无法正确写入。...

2019-06-24 14:03:54 1414

原创一次跨网路传输数据的经验

最近接到的任务是把hdfs的数据用json的形式，通过网路传输给公司A。读取文件解析组装json当然是非常容易的事情，过程还没走完（目前准备测试了），发现自己还是太青涩，事情考虑的确实不够全面。之前两个公司数据传输的方案，一直是公司A直接通过内网读我们的mysql。但是由于我们更改了数据的计算方式，数据放到了hdfs里面。传输数据方案讨论了以下几种方案： 1、对方直接拿我们的hdfs,自...

2019-06-18 16:29:42 708

原创 storm消费kafka数据监控问题——KafkaOffsetMonitor

storm消费kafka的速度在ui里面是看不到的。所以是需要一款kafka的监控软件，来监控storm消费kafka的情况。经过比较，选择了KafkaOffsetManager这款工具。这款软件的优点是，直接是一个jar，可以直接运行，对kafka集群没有要影响。但是使用中有几个问题要注意。 1、版本问题。现在网络上0.2.0版本提供下载较多，但是该版本不提供storm的支持。所以应...

2019-05-15 10:28:11 2212

原创 zookeeper报错：Will not attempt to authenticate using SASL (unknown error)

程序部署后，日志有以下信息。 Will not attempt to authenticate using SASL (unknown error) 经过查资料，这个问题与zookeeper里面的zoo.cfg配置有关。在程序填写的zookeper的路径，一定与zoo.cfg里面的server填写的名称一致。（比如，如果配置的时候写的实际ip,而不是host映射名称，那么就可以能报此类错误，...

2019-04-30 15:59:21 61705

原创 Redisson类报错：ClusterConnectionManager [ERROR] Can't connect to master: redis://127.0.0.1:7000

依旧是原程序使用新的redis集群后发现的问题。调用redis插入数据的api是使用正常的，一旦调用Redisson类，就会报错如下： 2019-04-30 10:01:22.242 o.r.c.ClusterConnectionManager [ERROR] Can’t connect to master: redis://127.0.0.1:7000 with slot ranges: ...

2019-04-30 15:43:09 18573 5

原创 redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster

把storm程序部署到新配的redis环境中（为三主三从伪redis集群），又各种报错真是伤不起。程序部署成功后，首先报错 redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster 经过检查redis的端口情况，发现其监听端口均为 127.0.0.1,即只能本地访问redis。将...

2019-04-30 15:24:36 1348

原创 HDFS多线程追加写数据踩坑

上一个同事使用strom框架，在Bolt的prepare中执行定时任务，将缓存数据利用HDFS原生API定时写入HDFS。最近将缓存系统改成了Redis，改写代码过程中，发现多线程调用HDFS的API进行追加写的代码各种报错。下面将踩坑总结如下: Hadoop的官方说明书明确指明，HDFS不可以多线程写，可以多线程读。通过测试，使用redis公平锁的方式，可以将数据多线程写入HDFS中。具...

2019-04-25 15:41:03 5731 4

白昼的晚上