MapR M3 MapReduce Streaming Python AWS 30分钟 (1)

最新推荐文章于 2023-03-03 18:35:17 发布
最新推荐文章于 2023-03-03 18:35:17 发布
阅读量481 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/carlzhangxuan/article/details/8972287
通过使用MapR虚拟机，用户能在30分钟内轻松配置本地环境，并利用Ubuntu进行Hadoop相关操作，包括wordcount等基本任务。演示了如何在本地执行Hadoop命令并上传文件至HDFS进行处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop配置本来就很麻烦，这次想用VM本地调试Python脚本，然后到Amazon Elastic MapReduce，M3+VMware Fusion。


30分钟即可配置好local mode，又是ubuntu，非常方便。


http://www.mapr.com/doc/display/MapR/A+Tour+of+the+MapR+Virtual+Machine

这份参考文档里又简单的说明，最下面就是wordcount，hadoop世界的hello world，随便准备几个文件推送到hdfs上原样执行就行啦。


执行hadoop命令

hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar wordcount /user/mapr/helloword 
/user/mapr/helloword-out
经过若干的jobinfo，结果乡下面这样。


OK，好奇心满足了吧，有时间再篇写mapreduce和python。









                

        

    

    
  



    

      

        

            

              
                
                  carlzhangxuan
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
大数据产业:从不同视角领略大数据对人类社会、经济、商业、政务等各个方面的深远影响

				
			

			

				

					AI天才研究院
				

				

					08-07
					
					1348
					
				

			

		

		

			
				
大数据领域的首富，著名的巴菲特就是在这个行业中脱颖而出的一位。他提出的“5Vs”理论是建立在海量数据的基础上，充分挖掘、整合、分析、交互和反馈五个核心价值观之上的。本系列文章旨在分享大数据领域的前沿技术发展趋势，并结合其中的具体案例进行深入剖析。希望读者能够从不同视角领略大数据对人类社会、经济、商业、政务等各个方面的深远影响，增强对大数据技术的理解、把握、运用，进一步促进科技进步和经济发展。欢迎大家提供宝贵意见，共同推动大数据领域的发展。

			
		

	



                

            
              



	

		

			

				
					
彻底了解大数据实时计算框架 Flink

				
			

			

				

					http://www.54tianzhisheng.cn/
				

				

					09-22
					
					970
					
				

			

		

		

			
				
在 1.1 节中讲解了日常开发常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。

第一代：Hadoop 承载的 MapReduce
第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任...

			
		

	



              


  
              

                


	

		

			

				
					
MapR M3 MapReduce Streaming Python AWS 30分钟 (2)

				
			

			

				

					carlzhangxuan的专栏
				

				

					05-25
					
					488
					
				

			

		

		

			
				
wordcount python例子.
http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/
hadoop命令如下：
hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-dev-st

			
		

	





	

		

			

				
					
MapReduce Streaming Python AWS 30分钟 (3)

				
			

			

				

					carlzhangxuan的专栏
				

				

					05-25
					
					325
					
				

			

		

		

			
				
M3+ubuntu的镜像在mac上不知为何总崩溃，换回CentOS+CDH的组合继续，安装顺序如下。

1.CentOS 6.0


2.JAVA JDK

>Linux x86 - RPM Installer






[root@localhost tmp]# chmod 777 jdk-xxxx-linux-xxxx-rpm.bin
[root@localho

			
		

	



		

			
		



	

		

			

				
					
MapReduce Streaming Python AWS 30分钟 (5)matrix multiplication

				
			

			

				

					carlzhangxuan的专栏
				

				

					05-26
					
					562
					
				

			

		

		

			
				
mapper.py
#!/usr/bin/env python
import sys

def convert_line_to_iter(file_in):
        for line in file_in:
                yield line.strip().split(' ')

def emit_key_value():
        for k,

			
		

	





	

		

			

				
					
MapR初体验

				
			

			

				

					hjwang1的专栏
				

				

					09-01
					
					862
					
				

			

		

		

			
				
转自：http://www.tbdata.org/archives/1833
一、MapR是什么？ 
MapR是MapR Technologies, Inc的一个产品，号称下一代Hadoop，使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布式计算服务

			
		

	





	

		

			

				
					
初识Mapr(三)——规划集群

				
			

			

				

					maoxiao_jsd的专栏
				

				

					12-30
					
					3349
					
				

			

		

		

			
				
一个MAPR Hadoop的安装通常是一个大型的集单个主机，称为节点，统称为集群。在一个典型的群集，大多数（或全部）的节点专用于数据处理和存储，以及节点的数目较少运行的其他服务，提供集群协调和管理。在部署MAPR的第一步是规划的节点将有助于集群，并选择将运行在每个节点上的服务。
首先，规划哪些计算机将作为节点在MAPR Hadoop集群和哪些具体的服务（守护进程）将运行在每个节点上。要确定计算机

			
		

	





	

		

			

				
					
Amazon EMR 实战心得浅谈

				
			

			

				

					亚马逊云科技专栏
				

				

					03-03
					
					654
					
				

			

		

		

			
				
01引言Amazon Elastic MapReduce (以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系列开源社区组件封装的云上托管大数据平台，用户可以基于 EMR 迅速拉起一套大数据集群，用于大规模数据处理、分析，使用时可根据实际业务所需灵活调配计算资源，一定程度上降低底层基础设施运维成本。Amazon 是最早将大数据管理平台上云的云厂商，查询其官网发行版本记录，能...

			
		

	





	

		

			

				
					
Alex 的 Hadoop 菜鸟教程: 第1课 hadoop体系介绍

					
热门推荐

				
			

			

				

					软件哲学
				

				

					07-02
					
					4万+
					
				

			

		

		

			
				
介绍hadoop的体系，对hadoop庞大的生态圈进行了介绍，并标出了学习的优先级。简单明了的介绍，看了不晕

			
		

	





	

		

			

				
					
大数据相关开源项目汇总

				
			

			

				

					Null的博客
				

				

					12-06
					
					2683
					
				

			

		

		

			
				
调度与管理服务

**Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。

**YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...

			
		

	





	

		

			

				
					
大数据技术原理与应用1Hadoop、HDFS

				
			

			

				

					AthlenaA的博客
				

				

					11-01
					
					3205
					
				

			

		

		

			
				
第1讲 大数据概述
1.1 大数据时代
1.2 大数据概念和影响
1.3 大数据的应用
1.4 大数据的关键技术
1.5 大数据与云计算、物联网
第2讲 大数据处理架构Hadoop
2.1 概述
2.2 Hadoop项目结构
2.3 Hadoop的安装与使用
2.4  Hadoop集群的部署和使用
第3讲 分布式文件系统HDFS
3.1 分布式文件系统HDFS简介
3.2 HDFS相关概念
3.3...

			
		

	





	

		

			

				
					
spring-ai-autoconfigure-model-image-observation-1.0.0-M8.jar中文-英文对照文档.zip

				
			

			

				

					07-19
				

			

		

		

			
				
1、压缩文件中包含：
中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。
2、使用方法：
解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。
3、特殊说明：
（1）本文档为人性化翻译，精心制作，请放心使用；
（2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等；
（3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。
4、温馨提示：
（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）；
（2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。
5、本文件关键字：
jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。

			
		

	





	

		

			

				
					
基因工程原理与技术(1).ppt

					
最新发布

				
			

			

				

					07-19
				

			

		

		

			
				
基因工程原理与技术(1).ppt

			
		

	





	

		

			

				
					
spring-ai-autoconfigure-vector-store-opensearch-1.0.0-RC1.jar中文文档.zip

				
			

			

				

					07-19
				

			

		

		

			
				
1、压缩文件中包含：
中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。
2、使用方法：
解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。
3、特殊说明：
（1）本文档为人性化翻译，精心制作，请放心使用；
（2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等；
（3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。
4、温馨提示：
（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）；
（2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。
5、本文件关键字：
jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。

			
		

	





	

		

			

				
					
采购计划审批单模板excel表格.xls

				
			

			

				

					07-19
				

			

		

		

			
				
采购计划审批单模板excel表格.xls

			
		

	





	

		

			

				
					
spring-ai-autoconfigure-vector-store-mongodb-atlas-1.0.0-RC1.jar中文-英文对照文档.zip

				
			

			

				

					07-19
				

			

		

		

			
				
1、压缩文件中包含：
中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。
2、使用方法：
解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。
3、特殊说明：
（1）本文档为人性化翻译，精心制作，请放心使用；
（2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等；
（3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。
4、温馨提示：
（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）；
（2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。
5、本文件关键字：
jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。

			
		

	





	

		

			

				
					
bretdoyle.javascript-extensions-pack-js-essentials-0.0.2.vsix

				
			

			

				

					07-19
				

			

		

		

			
				
您是 JS 开发者吗？以下是 5 个必备的 VSCode JavaScript 扩展：ESLint、Tabnine、Prettier、Live Server - npm 和 Quokka。
1. 插件名称：JavaScript Extensions Pack - Quokka, Tabnine, ESLint, LiveServer, Prettier
2. Marketplace地址：https://marketplace.visualstudio.com/items?itemName=BretDoyle.javascript-extensions-pack---js-essentials
3. Github地址：https://github.com/BretDoyle/JavaScript-Extensions-Pack---JS-Essentials.git
4. 插件功能：VSCode 的 5 大 JavaScript 扩展
5. 插件介绍：详细请跳转链接
6. 插件领域：前端开发

			
		

	





	

		

			

				
					
C++面向对象综合应用电梯类代码.doc

				
			

			

				

					07-19
				

			

		

		

			
				
C++面向对象综合应用电梯类代码.doc

			
		

	





	

		

			

				
					
python实现的FloodFill填充颜色.zip

				
			

			

				

					07-19
				

			

		

		

			
				
python实现的FloodFill填充颜色

			
		

	





	

		

			

				
					
python mapr函数用法

				
			

			

				

					12-21
				

			

		

		

			
				
在Python中，`map()` 函数是一个内置高阶函数，它将一个函数应用于序列（如列表、元组或字符串）的每个元素上，并返回一个新的迭代器，其中包含应用函数后的结果。其基本语法是：  ```python map(function, iterable...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值