- 博客(6)
- 收藏
- 关注
RSS订阅转载 Navicat连接不上MySQL
内容参考网上的文章，此处只做记录。一.can‘t connect to MySql server on ‘192.168.X.X’这是因为mysql端口被防火墙拦截，需用linux执行如下指令：1.#/sbin/iptables -I INPUT -p tcp --dport 3306 -j ACCEPT2.#/etc/rc.d/init.d/iptables sa
2018-02-01 15:47:30
788
原创 vim只能读不能写解决办法
在vi/vim编辑器进入冒号，然后输入以下命令 %! sudo tee % > /dev/null此时会提示输入sudo用户的密码如果切换成功后，会提示以下信息，此时，输入大写L键4文件保存成功后，直接输入:q就可以退出
2018-01-31 16:35:57
1928
原创 FileSplit简单使用
hadoop的FileSplit简单使用FileSplit类继承关系：FileSplit类中的属性和方法：作业输入：[java] view plain copy print?hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/lib
2018-01-30 14:11:46
10212
转载 众所周知，Hadoop框架使用Mapper将数据处理成一个个的key/value键值对，在网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿
众所周知，Hadoop框架使用Mapper将数据处理成一个个的key/value键值对，在网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输（网络带宽严重被占降低程序效率），所有数据都经过reduce处理，造成Reducer的巨大压力，从而大大降低程序的性能。
2018-01-29 08:58:30
4866
原创 Combiner Partitioner Shuffle
众所周知，Hadoop框架使用Mapper将数据处理成一个个的key/value键值对，在网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。这其中假如我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输（网络带宽严重被占降低程序效率），所有数据都经过reduce处理，造成Reducer的巨大压力，从而大大降低程序的性能。
2018-01-29 01:03:43
973
原创 MapReduce
MapReduce是一种编程模型，用于大规模数据集的并行运算。概念”Map（映射）”和”Reduce（归约）”，是它们的主要思想，。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值)，指定并发的Reduce（归约）函数，用来
2018-01-28 01:56:14
840
notify一次，消费者线程消费多次。
2022-11-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人