hadoop入门相关
mars_nier
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
VMware下linux虚拟机改ip无法生效的解决
vim /etc/sysconfig/network-scripts/ifcfg-eth0 后保存成功无法生效 解决方案参考:点击打开链接原创 2017-01-18 15:45:17 · 8065 阅读 · 0 评论 -
vmware克隆虚拟机之网卡配置(整理自网络已实践可用)
虚拟机搭建多centOS系统,克隆后遇到问题, 原虚拟机用eth0,克隆后新虚拟机eth0无法使用,原因应该是mac地址冲突。 vim /etc/udev/rules.d/70-persistent-net.rules 注释掉eth0,然后将下面的eth1改名为eth0,复制下此eth0的mac地址(ATTR{address}), vim /etc/sysconfig/network-原创 2017-02-20 17:52:36 · 1031 阅读 · 0 评论 -
copyToLocalFile(Path src, Path dst) 报空指针 问题分析
网上有现成答案,直接改成(false,xx,xx,true)即可。 问题分析: 调了3个参数的重载方法,默认false。 接下来调了4个参数的重载方法,默认false。 应该是最后那个false的原因。 查阅api: 字面理解,应该是使用原生的文件系统,不懂。。。 false的时候没有调那个getRawFxxx方法。原创 2017-03-01 17:43:48 · 1172 阅读 · 0 评论 -
vmware虚拟机克隆linux之初始配置
搭建hadoop伪分布式集群,最简洁的方法是在一台虚拟机上配好了,直接克隆,然后改改就好。 其他细化的改动不谈,只谈下克隆后必备的初始改动。 一,改ip 克隆后默认会分配一个初始ip,首先要把ip改了。, 1,ifconfig -a查看物理MAC HWADDR的值,复制下来。 2,,vim /etc/sysconfig/network-scripts/ifcfg-eth0,这里要改动原创 2017-04-18 15:23:17 · 613 阅读 · 0 评论 -
zookeeper入门学习总结(持续更新。。)
公理性总结: 1,必须配置奇数台,分布式也就是至少3台。 2,启动一半以上即可正常运行,3台配置的话也就是2台。 3,一个leader,n个follower,leader宕掉后,选举规则自动从follower中选出leader。 自我总结: 1,zoo.cfg中如果用主机名标识,则要在/etc/hosts中做主机名映射,否则配置不起来。测试方法是ping主机名,ping不通则原创 2017-04-18 11:22:17 · 422 阅读 · 0 评论 -
mapreduce过程---combiner原理入门
总结来说,combiner就是一个reduce,一个可有可无的reduce,在传输的数据量大的时候,适合加入combiner,可减少网络传输,提升效率。 在数据量不大的时候,combiner成了一个负担,因为多加了一个过程: mapper -> shuffle -> reducer ------- mapper -> combiner -> shuffle -> reducer原创 2017-04-06 16:51:24 · 1179 阅读 · 0 评论 -
ssh免登录快捷实现(多虚拟机环境,伪分布式)
首先,在本地使用ssh-keygen产生公钥私钥对 ssh-keygen -t rsa 此时生成 .pub是公钥。 然后, ssh-copy-id 10.0.0.250这一步将公钥拷到你的远程机上。 配置完成。 测试: ssh 远程机ip 无须输入密码,则配置成功。原创 2017-02-21 16:11:38 · 594 阅读 · 0 评论
分享