<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[samhacker的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/samhacker</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; samhacker]]></copyright><item><title><![CDATA[Ubuntu 安装 Anaconda 和 tensorflow-gpu 的关键步骤]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/124976304</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/124976304</guid><author>samhacker</author><pubDate>Thu, 26 May 2022 00:06:57 +0800</pubDate><description><![CDATA[Ubuntu 20.04 安装 Anaconda 和 tensorflow-gpu v2 的关键步骤。中间碰到了 GPU 训练模型速度慢、精度低等问题]]></description><category></category></item><item><title><![CDATA[Hadoop 2.6.0 重要特性之  Docker Container Executor (DCE)]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/42648765</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/42648765</guid><author>samhacker</author><pubDate>Mon, 12 Jan 2015 20:57:32 +0800</pubDate><description><![CDATA[Docker Container Executor (DCE) 是 Hadoop 2.6.0 包含的一个重要特性：至此，大数据的巨人 Hadoop 也终于可以利用当前虚拟化/云计算领域的宠儿 Docker 的强大能力了。]]></description><category></category></item><item><title><![CDATA[Spark 与 Hadoop 关于 TeraGen/TeraSort 的对比实验(包含源代码)]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/42200937</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/42200937</guid><author>samhacker</author><pubDate>Sat, 03 Jan 2015 21:45:02 +0800</pubDate><description><![CDATA[自从 Hadoop 问世以来，MapReduce 在很长时间内都是排序基准测试的纪录保持者，但这一垄断在最近被基于内存计算的 Spark 打破了。在今年Databricks与AWS一起完成的一个Daytona Gray类别的Sort Benchmark中，Spark 完胜 Hadoop MapReduce：“1/10计算资源，1/3耗时”。这是个很有意思的对比实验，因此笔者也在一个小规模集群上做了一个微缩版的类似试验。]]></description><category></category></item><item><title><![CDATA[通过 Job History Server 的 web console 查阅在 Yarn 上 MapReduce job 的 job conf xml 文件]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/42086693</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/42086693</guid><author>samhacker</author><pubDate>Mon, 22 Dec 2014 22:24:32 +0800</pubDate><description><![CDATA[很多时候，Yarn 的用户希望知道自己运行过的某个 MapReduce job 的运行参数，此时可以从MapReduce History Server的 web console上查阅该 job的conf xml 文件内容。当然用户也可以先登录Yarn 的 web console的地址，然后再从上面跳转到 Job History Server 的 web console进行查阅。本文将以一个简单的图文例子来具体演示该功能。]]></description><category></category></item><item><title><![CDATA[Spark GraphX 入门实例完整scala代码]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/42045539</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/42045539</guid><author>samhacker</author><pubDate>Sat, 20 Dec 2014 20:49:16 +0800</pubDate><description><![CDATA[由于天然符合互联网中很多场景的需求，图计算正受到越来越多的青睐。Spark GraphX 是作为 Spark 技术堆栈中的一员，担负起了 Spark 在图计算领域中的重任。网络上已经有很多图计算和 Spark GraphX 的概念介绍，此处就不再赘述。 本文将一篇很好的 Spark GraphX 入门文章中代码块整合为一个完整的可执行类，并加上必要注释以及执行结果，以方便有兴趣的朋友快速从 API 角度了解 Spark GraphX。]]></description><category></category></item><item><title><![CDATA[Google Protocol Buffers Java实例]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/41949845</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/41949845</guid><author>samhacker</author><pubDate>Mon, 15 Dec 2014 22:04:53 +0800</pubDate><description><![CDATA[Google Protocol Buffers 是 Google 公司开发的一款简洁、高效的数据序列化/反序列化的工具，有着跨平台、可扩展的优点，尤其适合作为数据存储和RPC数据交换格式。目前，已经被 Hadoop 用作其 RPC 模块的基础依赖。

本文将根据网络上流行的一个例子，用Java程序来直观地展示如何用 Protocol Buffers 进行代码生成、数据序列化存储以及数据反序列化读取的过程。]]></description><category></category></item><item><title><![CDATA[Spark 中 map 与 flatMap 的区别]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/41927567</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/41927567</guid><author>samhacker</author><pubDate>Sun, 14 Dec 2014 20:00:34 +0800</pubDate><description><![CDATA[通过一个实验来看Spark 中 map 与 flatMap 的区别。]]></description><category></category></item><item><title><![CDATA[图数据库 Titan 快速入门]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/39721131</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/39721131</guid><author>samhacker</author><pubDate>Wed, 01 Oct 2014 21:38:44 +0800</pubDate><description><![CDATA[尤其在互联网世界，图计算越来越受到人们的关注，而图计算相关的软件也越来越丰富。本文将快速展示 Titan这个open source 的图数据库。]]></description><category></category></item><item><title><![CDATA[Storm 安装速记]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/39275103</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/39275103</guid><author>samhacker</author><pubDate>Sun, 14 Sep 2014 22:40:05 +0800</pubDate><description><![CDATA[大数据数据处理最常用的是两类模式：批处理和流计算。在open source领域，批处理最有名的组件自然是大名鼎鼎的Hadoop MapReduce，而流计算则是Storm。 Storm是一个分布式的、容错的实时计算系统，目前是Apache 的一个incubator project (http://storm.incubator.apache.org/）。介绍Storm基本概念的文章已经很多了，本文就不再赘述。在此仅仅速记一下笔者实际安装 Storm的步骤。]]></description><category></category></item><item><title><![CDATA[R 语言开发环境搭建]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/38469347</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/38469347</guid><author>samhacker</author><pubDate>Sun, 10 Aug 2014 14:12:09 +0800</pubDate><description><![CDATA[R 语言在统计计算和绘图方面有着显著的优势，因此在大数据领域也有其一席之地。 本文将演示如何搭建R 语言开发环境。]]></description><category></category></item><item><title><![CDATA[3 分钟快速体验 Apache Spark SQL]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/38184663</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/38184663</guid><author>samhacker</author><pubDate>Mon, 28 Jul 2014 20:29:31 +0800</pubDate><description><![CDATA[“War of the Hadoop SQL engines. And the winner is …?” 这是个很好的问题。不过，无论答案如何，我们都值得花一点时间了解一下 Spark SQL 这个 Spark 家族里面的成员。]]></description><category></category></item><item><title><![CDATA[3 分钟学会调用 Apache Spark MLlib KMeans]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/38173547</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/38173547</guid><author>samhacker</author><pubDate>Sun, 27 Jul 2014 17:31:35 +0800</pubDate><description><![CDATA[Apache Spark MLlib是Apache Spark体系中重要的一块拼图：提供了机器学习的模块。不过，目前对此网上介绍的文章不是很多。拿KMeans来说，网上有些文章提供了一些示例程序，而这些程序基本和Apache Spark 官网上的程序片断类似：在得到训练模型后，几乎都没有展示如何使用该模型、程序执行流程、结果展示以及举例测试数据等部分。笔者根据Apache Spark官网上的程序片断，写了一个完整的调用MLlib KMeans库的测试程序，并成功在Spark 1.0 + Yarn 2.2 的]]></description><category></category></item><item><title><![CDATA[值得一提：关于 HDFS 的 file size 和 block size]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/23089157</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/23089157</guid><author>samhacker</author><pubDate>Mon, 07 Apr 2014 10:57:30 +0800</pubDate><description><![CDATA[一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。]]></description><category></category></item><item><title><![CDATA[Oozie 与 Yarn 协同工作]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/21413057</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/21413057</guid><author>samhacker</author><pubDate>Mon, 17 Mar 2014 22:58:01 +0800</pubDate><description><![CDATA[记录一下Oozie针对于Yarn的安装和配置流程。本文Oozie的版本为3.3.2，Hadoop为2.2。]]></description><category></category></item><item><title><![CDATA[HBase导出CSV格式数据的方法]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/21321045</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/21321045</guid><author>samhacker</author><pubDate>Sun, 16 Mar 2014 11:21:43 +0800</pubDate><description><![CDATA[本文的测试环境为hbase-0.96.0 + yarn(hadoop-2.0.3-alpha) + pig-0.12.0。在测试前，先创建了一张名为test的hbase表，它内容非常简单，就只有一行数据：


HBase export工具导出的数据的格式是sequence file。比如，在执行完命令“bin/hbase org.apache.hadoop.hbase.mapreduce.E]]></description><category></category></item><item><title><![CDATA[从 Yarn 回滚到 Hadoop 1.x]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/21319069</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/21319069</guid><author>samhacker</author><pubDate>Sun, 16 Mar 2014 10:20:08 +0800</pubDate><description><![CDATA[上一篇博客介绍了如何从Hadoop 1.x升级到Yarn ，而这篇博客将介绍如何从从 Yarn 回滚到 Hadoop 1.x。以下是主要步骤。
1、首先，能够回滚的前提是之前upgrade后没有执行过finalizeUpgrade的操作，否则将会导致回滚失败、NameNode不能正常启动：


2、设置、启用Hadoop 1.x的环境变量
3、更改‘dfs.data.dir’目录的权限]]></description><category></category></item><item><title><![CDATA[从Hadoop 1.x升级到Yarn]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/21291785</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/21291785</guid><author>samhacker</author><pubDate>Sat, 15 Mar 2014 17:25:17 +0800</pubDate><description><![CDATA[这里简单记录一下主要步骤。
1、停掉所有的Hadoop 1.x进程
2、copy Hadoop 2.x项目文件到所有节点上
3、设置Hadoop 2.x的环境变量
4、编辑Hadoop 2.x的配置文件
值得注意的是：需要使用之前版本的HDFS的meta data和 data。因此以下几项需要和之前版本Hadoop的设置一样：

a) core-site.xml
- hadoop.]]></description><category></category></item><item><title><![CDATA[HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/21282243</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/21282243</guid><author>samhacker</author><pubDate>Sat, 15 Mar 2014 15:23:50 +0800</pubDate><description><![CDATA[记录一下HBase 0.96.0 利用ImportTsv和completebulkload 导入数据的方法。我的环境里用的是Yarn。

1、利用ImportTsv 将cvs文件导入到HBase
步骤：

a. 在hbase里面创建好table: 

命令：create 'hbase-tbl-001','cf'
b. Upload simple1.cvs文件到hdfs上面，其内容为]]></description><category></category></item><item><title><![CDATA[使用cygwin 和 scala-eclipse 搭建 Mahout 源代码的开发环境]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/20235901</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/20235901</guid><author>samhacker</author><pubDate>Sat, 01 Mar 2014 22:02:04 +0800</pubDate><description><![CDATA[Open Source的projects很好，不过有些时候难免需要根据自己的需要来更改、重编译Open Source project的源代码。今天搭建了一个Mahout 源代码的Eclipse开发环境。
Mahout是用Maven编译的，而且运行在Linux系统上。但我比较习惯在windows上面做开发，所以就基于cygwin搭建了一个Eclipse开发环境。概要步骤如下：
1、安装cygwi]]></description><category></category></item><item><title><![CDATA[在GitHub上面创建一个自己的repository]]></title><link>https://blog.youkuaiyun.com/samhacker/article/details/20129213</link><guid>https://blog.youkuaiyun.com/samhacker/article/details/20129213</guid><author>samhacker</author><pubDate>Fri, 28 Feb 2014 12:34:48 +0800</pubDate><description><![CDATA[今天在GitHub上面创建了一个自己的repository：mahout.programming。以后会把相应的代码存放到其上面。这里简单记录一下步骤：
0、在GitHub注册帐户、上传ssh public key到GitHub

1、在GitHub上面创建了一个新的repository：

创建完后，页面上会有一些建议的commands：


2、在本地创建好一个Eclipse ]]></description><category></category></item></channel></rss>