
hadoop/spark
专注成就专业_
专注成就专业!!!
展开
-
用python写MapReduce函数
尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例,而不是用Jython把python代码转化成jar文件。 例子的目的是统计输入文件的单词的词频。 输入:文本文件输出:文本(每行包括单词和单词的词频,两者之间用'\t'隔开) 1. Pyth原创 2015-08-05 21:14:02 · 1717 阅读 · 1 评论 -
定制带第三方库的python,解决spark/hadoop环境中sklearn的调用问题
Conda, Miniconda (Python)这是一个python定制的好工具。忙活了一整天,终于发现了它,这个工具可以让我们定制python和对应的第三方的库,方便我们在不同机器上执行这些第三方的库。 http://scikit-learn.org/stable/install.html conda/conda https://github.com/conda/conda Minic原创 2015-09-29 20:53:55 · 5096 阅读 · 1 评论