
Hadoop
qa962839575
这个作者很懒,什么都没留下…
展开
-
linux之----vmware虚拟机的联网详解
我自己的理解:1、桥接模式01、桥接模式连接的话,相当于本地物理网卡和虚拟机网卡通过[VirtualEthernet switch(VMnet0)虚拟交换机]进行桥接,桥接成功后就物理网卡和虚拟网卡处于同一个网段,[VirtualEthernet switch(VMnet0)虚拟交换机]就相当于一台现实网络中的交换机,所以这里的虚拟机就相当于同一个局域网的另一台物理机了。原创 2015-01-11 17:34:43 · 2312 阅读 · 0 评论 -
linux命令详解:
1.通过远程工具登陆到linux后,所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录,使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中,如果文件使用“.”原创 2015-01-12 14:08:58 · 1546 阅读 · 0 评论 -
hadoop伪分布环境搭建
1.hadoop的伪分布安装1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkconfig iptables off验证: chkconfig -原创 2015-01-13 10:52:44 · 439 阅读 · 0 评论 -
hadoop原理和机制
1、SecondaryNameNode工作原理namenode:首先来说对于每个文件操作,Hadoop并不会都写到fsimage,这样是很慢的,但是每次操作在提交后运行前先写入edits编辑日志,当edits编辑日志文件大小超过64M(参数可以设定),或者时间超过1小时(参数可以设定),secondarynamenode就会做checkpoint的工作,这时namenode产生临时空文原创 2015-01-15 21:19:36 · 8812 阅读 · 0 评论 -
hadoop中对hdfs的shell操作--block--配置参数--启动问题
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls表示对hdfs下一级目录的查看1.2 -lsr 表示对hdfs目录的递归查看1.3 -mkdir创建目录1.4 -put 从linux上传文件到hdfs1.5 -get 从hdfs下载文件到linux1.6 -text 查看文件内容1.7 -rm 表示删除文件原创 2015-01-15 14:46:37 · 2831 阅读 · 0 评论 -
hadoop的java操作方式--RPC示例
1、用ip配置:core-site.xml中的fs.default.name,比如hdfs://192.168.208.15:9000 mapred-site.xml中的mapred.job.tracker,比如:192.168.208.15:9001 注意这里要配置主机名对应的ip,这里我的主机名是hadooptest,所以要在/etc/h原创 2015-01-15 10:57:04 · 894 阅读 · 0 评论 -
hadoop的安装-----伪分布式
1.hadoop的伪分布安装1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkconfig iptables off验证: chkconfig -原创 2015-01-13 12:28:22 · 3128 阅读 · 0 评论 -
数据挖掘Data Set收集
数据挖掘Data Set收集分类: ML2010-07-27 17:16 2403人阅读 评论(2) 收藏 举报数据挖掘classificationvisualization算法microsoft测试UCI数据集是一个常用的标准测试数据集,下载地址在http://www.ics.uci.edu/~mlearn/MLRepository.html我的主页上也有原创 2015-05-11 14:45:42 · 1753 阅读 · 0 评论 -
Flume NG 简介及配置实战
Flume NG 简介及配置实战http://my.oschina.net/leejun2005/blog/288136发表于10个月前(2014-07-08 01:46) 阅读(6952) | 评论(6) 33人收藏此文章, 我要收藏赞55月23日 西安 OSC 源创会开始报名啦,存储、虚拟机、Docker 等干货分享目录[-]原创 2015-05-11 15:13:57 · 627 阅读 · 0 评论