- 博客(7)
- 收藏
- 关注
RSS订阅原创 python问题总结
1. python写入csv，在服务器上查看不乱码，下载到windows乱码 修改前： new_effect.to_csv("Native.csv")（乱码） new_effect.to_csv("Native.csv",encoding = "utf-8")(乱码） 修改后： new_effect.to_csv("Native.csv",encoding='utf_8_sig') ...
2018-05-18 09:22:42
282
原创 Hadoop异常总结
hadoop的日志目录（/opt/sxt/hadoop-2.6.5/logs） hadoop启动不正常 用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里： 第一步：在服务器的终端命令行使用jps查看相关进程 （namenode1个节点 datanode3个节点 secondary namenode1个节点） 第二步：如果已经知道了启动失败的服务进程，
2017-08-19 20:25:15
376
原创 Sqoop
Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 sqoop支持的数据库： Database version --direct support? connect string matches
2017-08-19 20:22:57
351
原创 自定义UDF函数应用异常
定义函数PlatformConvert： 实现传入hive表中string类型字段，通过查询中间表，返回int类型主键id值 publicclass PlatformConvert extends UDF{ public IntWritable evaluate(Text s) throws Exception{ if(s==null){
2017-08-19 20:19:21
3639
原创 Hadoop之HDFS
HDFS介绍 HDFS（HadoopDistributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 什么是分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。 [优点]
2017-07-09 15:48:21
477
原创 Hadoop问题之mapreduce运行时异常
当输入命令： hadoop jar mr.jar cn.hadoop.mr.MyJob /mr/wc/inputstream /mr/wc/outpustream 时出现异常
2017-07-06 19:41:23
507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人