
Hadoop
T`gw
python、java、storm、hadoop
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
消除Hadoop警告WARN util.NativeCodeLoader
刚刚部署完Hadoop集群,使用hdfs命令时老是会报一堆警告,虽然没有妨碍到集群正常运行,但是很烦人例如:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable解决方法:进入hadoop集群安...原创 2019-07-16 09:58:13 · 860 阅读 · 0 评论 -
Hadoop集群搭建
准备工作4台linux服务器(ubuntu),主机名分别为:master,namesecond,slavenode01.slavenode02关闭linux防火墙sudo ufw disable 查看防火墙状态sudo ufw status jdk(Oracle)zookeeper安装包hadoop安装包windows 域名映射进入C:\Windows\System32\dr...原创 2019-07-19 14:01:41 · 245 阅读 · 0 评论 -
利用Python和Hadoop Streaming实现Map Reduce的简单案例
需求:得到每个月温度最高的两天mapper.py#!/usr/bin/env python# -*- coding: utf-8 -*-"""-------------------------------FileName: mapperAuthor: TgwDate: 19-07-28-------------------------------Change Activity...原创 2019-07-30 13:12:52 · 310 阅读 · 0 评论 -
Python str转byte后转义字符\n失效问题(已解决)
问题最近在使用python操作HDFS,发现在往HDFS文件中追加字符串时,换行的转义字符\n老是不起作用解决办法:在转义字符\n前再添加一个\rwith client.write('/tool/test_first.txt', encoding='utf-8',append=True) as writer: writer.write(' \r\n this is append ...原创 2019-07-26 11:01:47 · 3467 阅读 · 0 评论