<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[MT——黑板报]]></title><description><![CDATA[关注大数据技术]]></description><link>https://blog.youkuaiyun.com/mt0803</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mt0803]]></copyright><item><title><![CDATA[Spark Streaming 数据接受 导入到内存 生成Block的过程]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464278</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464278</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:57:34 +0800</pubDate><description><![CDATA[1. 数据接受,生成Block 流程
streamingContext启动时，会启动ReceiverTracker, 它会将需要启动的Receiver分发到Executor上，Executor上的ReceiverSuperviser会负责Receiver的启动，停止，重启管理(后续有详细文章描述：如何分发，启动等)。
Receiver上的store(Item)，实际调用ReceiverSupervi]]></description><category></category></item><item><title><![CDATA[OpenTSDB PreSplit Table]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464235</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464235</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:51:58 +0800</pubDate><description><![CDATA[Reference Issure 
Ref2
如果metric热度相差不大，即没有某些metric的time series特别多，比如百万级别，而某些metric的time series特别少，比如千级别。 
pre split 设计可以如下：
    start key: \x00\x00\x01
    end   key: \x00\x08\x00  // 假设有2048个metrics]]></description><category></category></item><item><title><![CDATA[OpenTSDB 存储容量估算 以及 建表方式]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464210</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464210</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:48:28 +0800</pubDate><description><![CDATA[容量估算根据 Rowkey以及表设计，进行存储容量估算的方式，大致如下： 
rowkey:  metric_name + ts + tag_name + tag_value …..确定metric_name的个数： m 
确定tag_name：         tag1 tag2 tag3 tag4….tagN 
确定tag_value的个数：   t1   t2   t3   t4  ….tn]]></description><category></category></item><item><title><![CDATA[OpenTSDB TroubleShooting]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464201</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464201</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:46:32 +0800</pubDate><description><![CDATA[1. OpenTSDB compactions 触发很大的.tmp文件 和 RegionServer crash.在默认的情况下，TSD会缓存一个metric在一个小时内的数据，然后组合数据一次性刷写到HBase。 如果时间戳使用的ms级别，那么一次性刷写会导致巨大量的流量到HBase， 数量庞大的qualifier和rowkey会达达超过hfile.index.block.max.size形成大量]]></description><category></category></item><item><title><![CDATA[OpenTSDB 使用时 推荐配置]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464193</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464193</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:45:24 +0800</pubDate><description><![CDATA[OpenTSDB所有的配置都在 link. 这里列出来的配置基本都有默认值，但是有些需要根据环境和性能做出改变，具体如下表：
  配置项
  默认值
  描述
  修改值  tsd.core.preload_uid_cache
  false
  是否在TSD启动的时候，预热UID缓存数据，为了提升性能，需要开启
  true
  tsd.core.auto_create_metrics
  fal]]></description><category></category></item><item><title><![CDATA[OpenTsdb 写入数据]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464178</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464178</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:43:31 +0800</pubDate><description><![CDATA[1. 关于 Metrics, value, tag name, tag value
opentsdb的每个时间序列必须有一个metric和一个或多个tag对，每个时间序列每小时的数据保存一行。
opentsdb的metrics, tag name, tag value的编码长度都是3byte, 所以UID的数量上限为 2^24  个。编码长度可以扩展到 8byte，即2^64 个， 一般不建议修改。]]></description><category></category></item><item><title><![CDATA[OpenTsdb 核心设计]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464164</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464164</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:41:32 +0800</pubDate><description><![CDATA[RowKey设计openTsdb的rowkey设计充分利用了HBase中索引信息仅在rowkey中的特点，它将指标metric,时间戳,数据值，tag标签名，tag标签值都包含在rowkey中，具体的设计如下图所示： 
如上图按照metric_name timestamp tagk tagv的顺序链接起来形成rowkey, 同时考虑到metric_name, tagk, tagv在连续不同时间存储的]]></description><category></category></item><item><title><![CDATA[Spark DataFrame 介绍]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50464124</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50464124</guid><author>mt0803</author><pubDate>Tue, 05 Jan 2016 17:35:08 +0800</pubDate><description><![CDATA[DataFrame的目标是让开发大数据的并行程序更加简单，受众更加广泛。DF受R & Python(Pandas)启发，被设计成支持 Big Data & Data Science Application. 作为RDD API的扩展，他的特性如下： 
* 高扩展性 
* 广泛支持各种数据格式 & 存储系统 
* Spark Sql Catalyst Optimizer提供执行优化和代码生成 
* 和]]></description><category></category></item><item><title><![CDATA[spark 1.6 preview]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50428205</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50428205</guid><author>mt0803</author><pubDate>Tue, 29 Dec 2015 17:43:52 +0800</pubDate><description><![CDATA[A new Dataset API
Autoatic memory configuration
Optimized state storage in Spark Streaming
Pipeline persistence inSpark MLA new Dataset APIRDD API 使用非常灵活，但是在某些case下，比较难于优化执行。DataFrame API内部执行虽然有优化，但是la]]></description><category></category></item><item><title><![CDATA[Spark Sort Based Shuffle 流程简单分析]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50405266</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50405266</guid><author>mt0803</author><pubDate>Fri, 25 Dec 2015 21:03:49 +0800</pubDate><description><![CDATA[写文件大致路径写文件大致路径入口是：ShuffleMapTask.runTask()val manager = SparkEnv.get.shuffleManager
writer = manager.getWriter[Any, Any](dep.shuffleHandle, partitionId, context)
writer.write(rdd.iterator(partition, co]]></description><category></category></item><item><title><![CDATA[Spark Sort Based Shuffle 内存使用情况]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/50405233</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/50405233</guid><author>mt0803</author><pubDate>Fri, 25 Dec 2015 20:55:36 +0800</pubDate><description><![CDATA[Spark Shuffle Write 调用链：ShuffleMapTask
    ---> SortShuffleManager
        ---> SortShuffleWriter
            ---> ExternalSorter在ExternalSorter发生了分区数据写内存、聚合、Spill、Merge、写文件操作。这里的内存结构为：PartitionedAppen]]></description><category></category></item><item><title><![CDATA[HBase Zookeeper 机器磁盘老是打满的故障分析与解决办法]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/45745923</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/45745923</guid><author>mt0803</author><pubDate>Fri, 15 May 2015 16:00:08 +0800</pubDate><description><![CDATA[最近连续两次发现凌晨5点的时候，zk机器磁盘打满导致zk进程挂掉，从而造成hbase集群不可用的事故。 通过分析发现，zk进程一直在写log到文件log.31001e217b, 写这个文件主要是zk将保存的状态信息的操作日志写入到文件中持久化，通过如下的命令查看该日志文件可以发现是什么运用在不停地更新zk中的状态：export ZOOKEEPER_CLASSPATH=/usr/local/hadoo]]></description><category></category></item><item><title><![CDATA[HBase Replication 流程介绍 与 可靠性测试]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/39184413</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/39184413</guid><author>mt0803</author><pubDate>Wed, 10 Sep 2014 18:12:52 +0800</pubDate><description><![CDATA[1.  Replication 大致流程]]></description><category></category></item><item><title><![CDATA[新手学-Hive-基础知识]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/38895333</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/38895333</guid><author>mt0803</author><pubDate>Fri, 05 Sep 2014 16:14:53 +0800</pubDate><description><![CDATA[1.Apache Hive 简介

建立在Hadoop之上的数据才]]></description><category></category></item><item><title><![CDATA[HBase 压力测试]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/39081905</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/39081905</guid><author>mt0803</author><pubDate>Fri, 05 Sep 2014 15:54:55 +0800</pubDate><description><![CDATA[测试环境：
3台RegionServer,每台的配置如下：
cpu: 32 core

mem: 48 GB，每台RS分配16GB
RSRPC Handler: 300]]></description><category></category></item><item><title><![CDATA[Jersey Json Deserialize - Boolean , Enum]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/38702105</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/38702105</guid><author>mt0803</author><pubDate>Wed, 20 Aug 2014 09:56:58 +0800</pubDate><description><![CDATA[新手第一次接触Jersey]]></description><category></category></item><item><title><![CDATA[Phoenix Secondary Index]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/38513271</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/38513271</guid><author>mt0803</author><pubDate>Tue, 12 Aug 2014 11:57:16 +0800</pubDate><description><![CDATA[１. Phoenix 二级索引]]></description><category></category></item><item><title><![CDATA[HBase Capacity Planning]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/38305009</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/38305009</guid><author>mt0803</author><pubDate>Wed, 30 Jul 2014 18:46:06 +0800</pubDate><description><![CDATA[1. Physical data size
Ganglia监控disk存储状态
2. JVM GC Lmitations
考虑到GC问题，RS的maxheap
 size一般推荐设置为16GB左右
3. Region count & size
估算region数量的Formula:
(RS memory)*(totalmemstore fraction)/((memstore siz]]></description><category></category></item><item><title><![CDATA[华为HBase 二级索引调研]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/14129697</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/14129697</guid><author>mt0803</author><pubDate>Mon, 04 Nov 2013 18:53:44 +0800</pubDate><description><![CDATA[1．Overall Solution


解决思想：


一个user table对应一个index table

index的创建与更新全部在RS端的cp-processor里实现

核心思想：一个actual　region对应一个index region


一对一的mapping，且两者必须在同一个RS上

执行balance,split操作后，受影响的actu]]></description><category></category></item><item><title><![CDATA[HBase Snapshot简介]]></title><link>https://blog.youkuaiyun.com/mt0803/article/details/12621991</link><guid>https://blog.youkuaiyun.com/mt0803/article/details/12621991</guid><author>mt0803</author><pubDate>Fri, 11 Oct 2013 19:11:48 +0800</pubDate><description><![CDATA[在HBase Snapshot出现之前，备份或者克隆table必须使用 Copy/Export Table工具，或者是 disable table，然后拷贝所有的HFiles。前者起MapReduce作业对RegionServer的压力太大，后者需要disable掉table，这就阻塞了读写。
         而Snapshot就可以允许admin在没有数据copy和对RS影响很小的情况下cl]]></description><category></category></item></channel></rss>