
hadoop
passer199101
这个作者很懒,什么都没留下…
展开
-
could only be replicated to 0 nodes instead of minReplication (=1). There are 4 datanode(s) running
http://stackoverflow.com/questions/34245682/could-only-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-4原创 2017-02-16 12:11:21 · 1361 阅读 · 0 评论 -
Spark On YARN 集群安装部署
http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/转载 2015-08-26 17:39:55 · 526 阅读 · 0 评论 -
教你如何查看识别hadoop是32位还是64位
http://www.aboutyun.com/thread-12796-1-1.html转载 2015-08-25 10:05:43 · 773 阅读 · 0 评论 -
推荐系统笔记
http://blog.javachen.com/2015/06/15/note-about-recommendation-system.html转载 2015-07-15 17:17:48 · 403 阅读 · 0 评论 -
用Hadoop构建电影推荐系统
http://blog.fens.me/hadoop-mapreduce-recommend/转载 2015-07-14 22:46:17 · 1298 阅读 · 0 评论 -
avro 1.7.7中存在致命的bug, 可以使用1.7.4版本
使用1.7.7会报一下的错误:Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected使用1.7.4版本: org.apache.avro avro 1.7.4原创 2015-07-14 17:00:21 · 1039 阅读 · 0 评论 -
海量数据相似度计算之simhash和海明距离
http://www.lanceyan.com/page/3转载 2015-07-06 18:40:34 · 1046 阅读 · 0 评论 -
HDFS shell命令行详解
from http://www.cnblogs.com/zhaosk/p/4391294.html转载 2015-07-02 18:22:57 · 989 阅读 · 0 评论 -
Hadoop中Partition解析
http://blog.youkuaiyun.com/xw13106209/article/details/6912069转载 2015-07-09 22:59:34 · 539 阅读 · 0 评论 -
大数据开源列式存储引擎Parquet和ORC
http://dongxicheng.org/mapreduce-nextgen/columnar-storage-parquet-and-orc/转载 2015-07-09 22:25:10 · 1152 阅读 · 0 评论 -
hadoop 2.7.0版本发布
http://dongxicheng.org/mapreduce-nextgen/hadoop-2-7-0-release/转载 2015-07-09 22:24:08 · 514 阅读 · 0 评论 -
Hadoop深入学习:解析HDFS的写文件流程
http://flyingdutchman.iteye.com/blog/1900536转载 2015-06-23 14:29:26 · 419 阅读 · 0 评论 -
hadoop2的配置参数
namevaluedescriptionmapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, i原创 2015-05-29 18:00:24 · 1708 阅读 · 0 评论 -
Spark朴素贝叶斯(naiveBayes)
http://blog.youkuaiyun.com/lsshlsw/article/details/45174391转载 2015-08-03 15:52:00 · 1110 阅读 · 0 评论 -
TF-IDF与余弦相似性的应用(一):自动提取关键词
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html转载 2015-08-04 16:06:43 · 541 阅读 · 0 评论 -
Mac Hadoop2.7.2的安装与配置
http://apache.fayea.com/hadoop/common/ http://www.cnblogs.com/micrari/p/5716851.html原创 2017-01-21 16:25:16 · 599 阅读 · 0 评论 -
hadoop task的执行
一旦resource manager’s scheduler给一个任务分配了资源,application master就会启动这个task所在的container。task就是一个类名为YarnChild的java程序。在task运行之前,task运行所需的配置文件,jar文件等都会被复制到task所在的节点。最后,执行map task或者reduce task。因为YarnChild运行在一个专有原创 2017-01-20 17:27:45 · 809 阅读 · 0 评论 -
linux软连接和硬链接
http://www.cnblogs.com/micrari/p/5716851.html原创 2017-02-05 16:59:33 · 315 阅读 · 0 评论 -
Java API操作HA方式下的Hadoop
https://my.oschina.net/nivalsoul/blog/760113这篇文章介绍的就挺好原创 2017-01-05 16:40:45 · 1845 阅读 · 0 评论 -
java.io.IOException: No FileSystem for scheme: hdfs
解决办法详见:http://www.cnblogs.com/justinzhang/p/4983673.html 在程序中给Configuration做以下设置: conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")原创 2017-01-05 15:49:51 · 4079 阅读 · 0 评论 -
hbase1.1.7的安装
安装步骤参考 http://wuchong.me/blog/2015/04/05/hbase-cluster-deploy/hbase官方文档http://hbase.apache.org/book.html#configuration另外两篇也有参考价值 https://segmentfault.com/a/1190000000719467 https://segmentfault.com/原创 2016-11-04 18:30:10 · 735 阅读 · 0 评论 -
hadoop2.7.1安装
湄公河行动 todo list主机名分别为192.168.1.51 hadoop01 hadoop01.appcook.in192.168.1.52 hadoop02 hadoop02.appcook.in192.168.1.53 hadoop03 hadoop03.appcook.in配置免密码登录在每台机器上执行ssh-keygen -t rsa, 然后一路回车,生产秘钥和私钥 在原创 2016-11-04 14:48:09 · 880 阅读 · 0 评论 -
zookeeper-3.4.9的安装
下载地址 http://mirrors.cnnic.cn/apache/zookeeper/stable/下载 wget http://mirrors.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.9.tar.gz解压 usr/bigdata/zookeeper-3.4.9添加myid文件cd usr/bigdata/zookeeper-3.4.原创 2016-11-04 15:46:12 · 4661 阅读 · 0 评论 -
storm简介
http://www.searchtb.com/2012/09/introduction-to-storm.html转载 2014-04-13 00:08:18 · 596 阅读 · 0 评论 -
hadoop2 中log4j日志详解及自定义
http://www.360doc.com/content/15/0415/11/20466010_463339551.shtml转载 2015-10-14 20:00:52 · 1295 阅读 · 0 评论 -
安装 | Elasticsearch权威指南(中文版)
http://es.xiaoleilu.com/010_Intro/10_Installing_ES.html转载 2015-10-17 09:42:23 · 423 阅读 · 0 评论 -
Ambari——大数据平台的搭建利器
http://www.hackbase.com/article-973-1.htmlhttp://www.hackbase.com/article-974-1.html转载 2015-08-07 14:21:35 · 640 阅读 · 0 评论 -
MR, Unable to initialize any output collector
http://stackoverflow.com/questions/26926571/cdh5-2-mr-unable-to-initialize-any-output-collectorChecking the full task log of the failed attempt attempt_1415950730849_0001_m_000000_0 will help te转载 2015-05-29 17:56:21 · 1173 阅读 · 0 评论 -
hadoop1 的suffle过程
map端的suffle过程1.map task向环形内存缓冲区中写数据2.当环形内存缓冲区中的数据达到阀值时,开始将环形内存缓冲区中的数据spill到文件中3.每次调用sortAndSpill方法都会产生一个输出文件4.在spill的过程中:首先对map的输出数据按照key进行排序然后将排序后的数据按照分区顺序写到输出文件中5.map task结束后会产生大量的spil原创 2015-05-29 16:49:04 · 573 阅读 · 0 评论 -
hadoop2.x MapReduce过程
http://blog.youkuaiyun.com/fengzaibiao/article/details/41046661转载 2015-05-29 18:05:29 · 414 阅读 · 0 评论 -
如何重启namenode
如何namenode还在运行,则hadoop-daemon.sh stop namenodehadoop-daemon.sh start namenode否则:hadoop-daemon.sh start namenode原创 2014-12-11 22:55:41 · 4691 阅读 · 0 评论 -
如何查看hadoop的版本
bin/hadoop version原创 2014-12-29 11:28:59 · 22734 阅读 · 0 评论 -
Windows下Eclipse连接hadoop
http://www.cnblogs.com/baixl/p/4154429.html转载 2014-12-10 11:40:14 · 426 阅读 · 0 评论 -
hue的安装与使用
这是我个人的总结,仅供参考1.使用git将其下载到linux上,或者从http://gethue.com/hue-3-7-with-sentry-app-and-new-search-widgets-are-out/#下载 "3.7.1 tarball"版本使用git进行下载:git clone git@github.com:cloudera/hue.git2.h原创 2015-01-26 15:13:18 · 1021 阅读 · 0 评论 -
hadoop插件sqoop使用案例
http://shineforever.blog.51cto.com/1429204/1566788转载 2014-11-30 14:00:20 · 562 阅读 · 0 评论 -
storm and spark
http://www.cnblogs.com/hseagle/转载 2014-10-03 15:23:25 · 583 阅读 · 0 评论 -
Hadoop Hive sql 语法详解
http://www.uml.org.cn/yunjisuan/201409235.asp原创 2014-09-23 20:57:28 · 516 阅读 · 0 评论 -
mahout
http://aimeizi.net/blog/archives/原创 2014-05-14 18:10:30 · 566 阅读 · 0 评论 -
2014中国Spark技术峰会
http://special.csdncms.youkuaiyun.com/SparkSummit/原创 2014-04-20 00:19:00 · 808 阅读 · 0 评论 -
hadoop 报 Name node is in safe mode 错
运行hadoop程序时, 中途我把它终止了,然后再向hdfs加文件或删除文件时,出现Name node is in safe mode错误:rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode解决的命令:bin/hadoo转载 2014-03-23 20:56:30 · 634 阅读 · 0 评论