retacn_yue的专栏

Hdfs体系结果及shell java操作方式hdfs设计基础硬件错误需要冗余流式数据访问(数据分析)大规模数据集简单一致性模型,文件一次写入就不能修改程序采用”数据就近”原则分配节点执行 主节点:只有一个nameNode记录文件是如何分割成数据块,以及数据块存储在哪些节点上对内存和i/o进行管理接收用户操作请求维护文件系统的目录结构管理文件与b

海量数据的存取 hdfs （hadoop distributed file system 分布式文件系统）海量数据的分析 mapReduce (并行计算框架)Yarn (yet another resource negotiator 资源管理调度系统)Hadoop处理离线数据Storm实时的流处理(如实时推荐)    解决海量数据计算  1+2+3+4+5+6+

mapReduce体系结构和各种算法    Mapreduce的工作机制     任务执行优化推测式执行: jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务在mapred-site.xml中设置map和reduce任务的开启和关闭Mapred.map.tasks.speculative.executionMapre

使用hadoop自带的例子作测试Hadoop中的常用命令: //查看目录文件root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop dfs -ls /Found 1 itemsdrwxr-xr-x   - root supergroup          0 2015-10-02 13:25 /opt #将操作系统中的文

Hadoop中eclipse 插件的编译修改   hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java 注掉//import org.eclipse.jdt.internal.debug.ui.la

Hadoop 部署方式:本地单机模式: 伪分布模式：关闭防火墙 service iptables stop //关闭防火墙 Service iptables status //查看防火墙状态设置防火墙开机启动模式Chkconfig iptables --list   //查看Gedit /etc/inittab   //查看模式详情 Chkconfig iptabl

5 Hbase(nosql)体系结构有基本操作 flume pigGoogle bigtable的开源实现列式数据库可集群化可以使用shell web api多种方式访问适合高速读写的场景Hql查询语言noSQL的典型代表  逻辑模型以表的形式存放数据表由行和列组成,每个列属于某个列族,由行和列确定的存储单元称为元素每个元素保存了同一份数据的多个

Zookeeper 可以实现同步服务,配置维护和名命服务可以保证集群之间的数据的事务的一致性 Zk的安装与配置下载安装包,解压到指定目录修改环境变量Gedit /etc/profile 添加如下内容:(未作修改)Export ZK_HOME=/software/zookeeper/zookeeper-3.3.2/dataExport PATH=.:$HADOOP_H