
hadoop
pre_tender
好懒好懒
展开
-
Class org.apache.hadoop.hdfs.DistributedFileSystem not found
由hadoop2.7.1切换到hadoop3.1.1之后,加载jar包不全导致编译出现问题 原因是: Class org.apache.hadoop.hdfs.DistributedFileSystem由原本的hadoop-hdfs.2.7.1.jar中迁移到了hadoop-hdfs-client-3.1.1.jar 解决方法: 加载hadoop-h...原创 2019-03-12 21:42:04 · 7631 阅读 · 5 评论 -
[DONE] Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的一种出错原因解析并解决
声明 首先声明,此文章解决的是因各个节点中yarn-site.xml配置冲突而产生的问题,如果非此原因,请珍惜宝贵时间! 问题说明 在执行hive insert时候,出现了如下错误 hive (default)> select * from emp order by sal; ... 2019-04-09 09:56:49,924 Stage-1 map = 0%, reduce = ...原创 2019-04-09 11:58:19 · 1192 阅读 · 0 评论 -
离线日志采集流程
文章目录概述流程 概述 本文主要介绍在数据分析领域中,服务器离线日志数据从生成到采集再到存储、分析的流程。 流程 序号 步骤 内容说明 1 数据产生途径 我们的数据从哪里来?- 互联网行业:网站、app、系统(交易系统。。)- 传统行业:电信,人们的上网、打电话、发短信等等数据数据源:网站、app都要往我们的后台去发送请求,获取数据,执行业务逻辑;app获取要展现的商品数据;发送...原创 2019-08-20 23:52:33 · 453 阅读 · 0 评论