<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yangjin]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u013407595</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u013407595]]></copyright><item><title><![CDATA[开源日志系统比较 转载自董的博客]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/41962437</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/41962437</guid><author>u013407595</author><pubDate>Tue, 16 Dec 2014 16:39:39 +0800</pubDate><description><![CDATA[1. 背景介绍

许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：
（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；
（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；
（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。
本文]]></description><category></category></item><item><title><![CDATA[亚信大数据平台产品经理 杨晋：大数据是怎么应用于技术方面的]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/41901385</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/41901385</guid><author>u013407595</author><pubDate>Fri, 12 Dec 2014 22:46:23 +0800</pubDate><description><![CDATA[2014中关村大数据日于2014年12月11日在中关村举办，大会以大会以“聚合数据资产，推动产业创新”为主题，探讨数据资产管理和变现、大数据深度技术以及行业大数据应用创新和生态系统建设等等关键问题。大会还承载从政亚信府主管部门到各行各业的需求和实践中的疑问，探讨包括政府、金融、运营商等部门是如何通过数据资产管理和运营，实现转型发展和产业创新的路径。
在下午的金融@Big Data论坛上，亚信大数]]></description><category></category></item><item><title><![CDATA[Databricks终止Shark项目，转至Spark SQL]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/38587563</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/38587563</guid><author>u013407595</author><pubDate>Fri, 15 Aug 2014 16:46:22 +0800</pubDate><description><![CDATA[摘要：近日，Databricks宣布终止对Shark的开发，新的SQL on Spark项目将被Spark SQL代替。在此之外，HIVE-7292项目将是对Hive部分的补充，将Spark作为一个替代执行引擎提供给Hive。


在2014年7月1日的Spark Summit上，Databricks宣布终止对Shark的开发，将重点放到Spark SQL上。Databricks表示，Spa]]></description><category></category></item><item><title><![CDATA[Spark SQL的理解]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/38516533</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/38516533</guid><author>u013407595</author><pubDate>Tue, 12 Aug 2014 15:48:14 +0800</pubDate><description><![CDATA[转载自过往记忆（http://www.iteblog.com/）]]></description><category></category></item><item><title><![CDATA[Spark 0.9.1 MLLib 机器学习库]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/38060671</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/38060671</guid><author>u013407595</author><pubDate>Wed, 23 Jul 2014 11:10:10 +0800</pubDate><description><![CDATA[翻译自Spark官方文档。by月禾




Spark 0.9.1 MLLib

机器学习库简介


依赖
二元分类
线性回归
聚类
协同过滤


隐性反馈 vs 显性反馈

梯度下降基础算法
用Scala调用MLLib


二元分类
线性回归
聚类
协同过滤

用Java调用MLLib
用Python调用MLLib


二元分类
]]></description><category></category></item><item><title><![CDATA[Hadoop 2.0 ResourceManager HA原理]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/38011889</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/38011889</guid><author>u013407595</author><pubDate>Mon, 21 Jul 2014 10:26:53 +0800</pubDate><description><![CDATA[设计目标
主要目的是为了解决两种问题 


计划外的机器挂掉 

计划内的如软件和硬件升级等. 


架构
流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到active可以通过命令或开启auto failover。]]></description><category></category></item><item><title><![CDATA[Hive Server 2 调研，安装和部署]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37931659</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37931659</guid><author>u013407595</author><pubDate>Fri, 18 Jul 2014 16:11:28 +0800</pubDate><description><![CDATA[背景

      我们使用Hive Server 1已经很长时间了，用户ad-hoc query，hive-web, wormhole，运营工具等都是通过hive server来提交语句。但是hive server极其不稳定，经常会莫名奇妙假死，导致client端所有的connection都被block住了。对此我们不得不配置一个crontab检查脚本，会不断执行"show
 tables]]></description><category></category></item><item><title><![CDATA[hadoop平台gz、lzo压缩对比]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37819935</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37819935</guid><author>u013407595</author><pubDate>Tue, 15 Jul 2014 17:20:28 +0800</pubDate><description><![CDATA[压缩比:
rcfile:             1.04
rcfile+snappy:      0.27
rcfile+lzo:         0.25
sequencefile:       0.83
sequencefile+snappy:0.84
sequencefile+lzo:   0.79
单列读取速度:
select count(distinct product]]></description><category></category></item><item><title><![CDATA[Hbase实施方案估算方法]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37765095</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37765095</guid><author>u013407595</author><pubDate>Mon, 14 Jul 2014 17:00:47 +0800</pubDate><description><![CDATA[Hbase实施方案估算方法：
按照查询平均响应时间为 100ms，并发查询请求300次 /秒为标准进行估算
单个 regionserver单线程每秒处理请求个数为  
 1秒/100 毫秒=10个请求
由于 regionserver和数据节点部署在同一台主机上，通过 yarn进行资源分配，假设分配 5个cpu 核则单个 regionserver每秒处理请求数位 10*5=50次 /秒
由]]></description><category></category></item><item><title><![CDATA[HBASE表设计]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37681663</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37681663</guid><author>u013407595</author><pubDate>Fri, 11 Jul 2014 01:42:59 +0800</pubDate><description><![CDATA[1. 表的设计

1.1 Pre-Creating Regions

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照 region分区情况，在集群内做数据的]]></description><category></category></item><item><title><![CDATA[HIVE RCFile高效存储结构]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37681349</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37681349</guid><author>u013407595</author><pubDate>Fri, 11 Jul 2014 01:39:25 +0800</pubDate><description><![CDATA[本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在 MapReduce环境下的大规模数据分析中扮演重要角色。

Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据]]></description><category></category></item><item><title><![CDATA[大数据平台下多租户架构研究]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/37677985</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/37677985</guid><author>u013407595</author><pubDate>Fri, 11 Jul 2014 01:05:40 +0800</pubDate><description><![CDATA[多租户技术（multi-tenancy technology）是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。在大数据环境下实现多租户涉及如下关键技术：
1. 资源池
Hadoop资源池(pool)，或者作业池。 每个pool里有一定量的资源（管理员配置），每个用户属于某个pool，其提交的作业可使用这个pool中的资源。资源]]></description><category></category></item><item><title><![CDATA[TDW与PostgreSQL数据互访问功能]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/36508323</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/36508323</guid><author>u013407595</author><pubDate>Wed, 02 Jul 2014 23:52:12 +0800</pubDate><description><![CDATA[TDW与PostgreSQL数据互访问功能
李巍
TDW作为一个离线数据分析系统，在处理海量数据方面，通过并行计算，有很好的性能优势。但是我们知道，想用一个大而全的系统解决所有问题一般也是不现实的，同样，TDW也有它的劣势，比如对小数据处理性能低，update/delete性能差、接口不丰富等。因此我们引入一个强大的开源数据库PostgreSQL，并对其做一些功能扩展，使之有访问TDW数据的能]]></description><category></category></item><item><title><![CDATA[企业级PAAS平台-多租户]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/34440435</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/34440435</guid><author>u013407595</author><pubDate>Wed, 25 Jun 2014 15:43:00 +0800</pubDate><description><![CDATA[下图为Gartner的多租户参考架构



在私有云和公用云环境对多租户的理解上是有不同的概念的。在公用云环境往往我们谈的是saas的多租户，租户往往为使用业务系统的一个企业或组织，而在私有云环境，paas平台提供的应用往往为平台级应用，平台级应用面对的租户是业务系统本身。

在多租户和云结合的情况下，iaas基础资源层的共享已经会变化为最基本的要求。那么在iaas层之上来谈主要则包括]]></description><category></category></item><item><title><![CDATA[揭秘腾讯大数据之平台综述篇]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/31776823</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/31776823</guid><author>u013407595</author><pubDate>Tue, 17 Jun 2014 16:25:06 +0800</pubDate><description><![CDATA[腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户。特别是随着传统业务增长放缓，以及移动互联网时代的精细化运营，对于大数据分析和挖掘的重视程度高于以往任何时候，如何从大数据中获取高价值，已经成为大家关心的焦点问题。在这样的大背景下，为了公司各业务产品能够使用更丰富优质的数据服务，近年腾讯大数据平台得到迅猛发展。



从上图可以看出，腾讯大数据平台有如下]]></description><category></category></item><item><title><![CDATA[资源管理框架（mesos/YARN/coraca/Torca/Omega)选型分析]]></title><link>https://blog.youkuaiyun.com/u013407595/article/details/31776451</link><guid>https://blog.youkuaiyun.com/u013407595/article/details/31776451</guid><author>u013407595</author><pubDate>Tue, 17 Jun 2014 16:22:39 +0800</pubDate><description><![CDATA[1 资源调度的目标和价值

1.1 子系统高效调度

任务之间资源隔离，减少争抢。 任务分配调度时结合资源分配，各个任务分配合理的资源，充分利用系统资源，减少资源利用不充分的问题。 资源调度结合优先级，优先级高的分配更多的资源。

1.2 提高全系统的资源利用率

各个子系统，存在不同时期，对资源需求不一样的情况，平滑系统资源的利用。

1.3 支持动态调整切分资源，增强系统扩]]></description><category></category></item></channel></rss>