<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wtjmgj的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wtjmgj</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wtjmgj]]></copyright><item><title><![CDATA[解决mysql innodb数据表在主从数据复制时存在数据丢失问题]]></title><link>https://blog.youkuaiyun.com/wtjmgj/article/details/84926828</link><guid>https://blog.youkuaiyun.com/wtjmgj/article/details/84926828</guid><author>wtjmgj</author><pubDate>Wed, 10 Oct 2018 10:08:01 +0800</pubDate><description><![CDATA[在我们实际的业务系统中，在往数据表中插入数据时，使用了事务机制，导致数据表在使用主从复制时存在主库中的表数据未全部复制到从库的数据表中。

查看官方文档，提示需要在 MySql主库的my.cnf配置文件中设置  innodb_flush_log_at_trx_commit=1 和 sync_binlog=1 
或者进入 MySQl Shell 执行：set @@global innodb_f...]]></description><category></category></item><item><title><![CDATA[如何获取CDH 嵌入式postgresql数据库的 cloudera-scm 密码]]></title><link>https://blog.youkuaiyun.com/wtjmgj/article/details/84926743</link><guid>https://blog.youkuaiyun.com/wtjmgj/article/details/84926743</guid><author>wtjmgj</author><pubDate>Mon, 08 Oct 2018 22:23:06 +0800</pubDate><description><![CDATA[
Get the cloudera-scm password in this file:
cat /var/lib/cloudera-scm-server-db/data/generated_password.txt

具体内容参考附件文件

]]></description><category></category></item><item><title><![CDATA[故障与机会]]></title><link>https://blog.youkuaiyun.com/wtjmgj/article/details/84909162</link><guid>https://blog.youkuaiyun.com/wtjmgj/article/details/84909162</guid><author>wtjmgj</author><pubDate>Tue, 19 Sep 2017 20:20:25 +0800</pubDate><description><![CDATA[最近每个月总是不定时的发生线上服务异常,每次服务故障的出现，对技术而言都是一次很好的实战解决问题的机会，但因生产环境一般只提供一套生产服务，并且每次出现故障以优先恢复生产服务为目标，而后再判断、排查、定位具体问题，如果应用服务能够打印足够多的log日志信息，后续技术可以从这些打印的错误日志中通过抽丝拨茧、仔细分析能够找到引起生产故障的最终原因，但在少数故障问题面前需要在当时的生产环境下才能定位到具...]]></description><category></category></item><item><title><![CDATA[解决预期数据下HBase建表时如何预分区regions.]]></title><link>https://blog.youkuaiyun.com/wtjmgj/article/details/84908564</link><guid>https://blog.youkuaiyun.com/wtjmgj/article/details/84908564</guid><author>wtjmgj</author><pubDate>Fri, 08 Sep 2017 19:55:51 +0800</pubDate><description><![CDATA[最近一次发现导入10几T数据到HBase(自动分配regions模式)表中，该表只占用55个resions匪夷所思, 根据每个resions存储文件的大小10G（ hbase.hregion.max.filesize设置的值是10G）, hbase表压缩方式为：“SNAPPY”格式.此类压缩比在60%左右. 根据以上计算，数据表最少分配600个resions. 实际通过查看hbase表各个resi...]]></description><category></category></item><item><title><![CDATA[解决使用 HBase Bulk Loading 工具出现超过32个hfile的问题，针对一个region的family]]></title><link>https://blog.youkuaiyun.com/wtjmgj/article/details/84902619</link><guid>https://blog.youkuaiyun.com/wtjmgj/article/details/84902619</guid><author>wtjmgj</author><pubDate>Tue, 27 Jun 2017 09:04:37 +0800</pubDate><description><![CDATA[导入指标时遇到 importtsv.bulk.output 目录输出的hfile文件个数超过32个时，需要分为多步操作，

第一步： 先把超过的文件个数（bulk.output的目录下的hfile文件个数保持在32之内）移到别的目录下。

第二步： 执行 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles output...]]></description><category></category></item></channel></rss>