hadoop streaming python 处理 lzo 文件遇到的问题

baiyangfu

于 2014-11-18 16:03:49 发布

阅读量3.9k

点赞数 1

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/baiyangfu_love/article/details/41247867

版权

本文记录了使用Hadoop Streaming和Python处理LZO文件时遇到的问题，如Windows与Linux文件格式差异导致的错误。解决方案是通过dos2unix转换文件格式。在mapper.py脚本中需要注意异常处理，确保脏数据不会导致任务失败。提交作业脚本的设置也十分关键，要忽略LZO文件中的行号以避免影响输入数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个小需求，不想写java的mapreduce的程序，想用streaming + python 处理一下就行了，遇到一些问题，做个笔记。

以后遇到这样的场景，可以放心使用了。

我是在windows 下的 pyCharm 编写的mapper 和 reducer ，直接上传到linux服务器，发现根本运行不了，老是报:

./maper.py file or directory not find

而且找不到原因，后来发现是windows和linux文件格式差异造成的。

也算是个教训吧。

python shell 脚本如果在windows上编写，到linux上运行，需要转换一下格式： dos2unix + 文件名

看一下python脚本：

mapper.py

#!/usr/bin/python
#coding:utf8

import json
import sys
import re

wrapper = ["fqa","fqq","gtt","zxb","zxa"]
for line in sys.stdin:
        try:
                line = line.decode("utf8")
                str = re.split("\\s+&

最低0.47元/天解锁文章