Hadoop
关注
分享
扫一扫
陈伦(colby)
项目经理/数据架构师/资深数据从业者。
熟悉传统数据、互联网数据处理，精通数据仓库方法论、数据迁移、数据处理、数据可视化、数据建模、架构设计、方案设计，曾负责多个数仓项目0到1建设并落地，有PB级数据调优实战经验！
曾获得计算机四级数据库证书、PMP项目管理专业人士证书等。
展开
-
Python操作HDFS封装类，拷贝过去直接用
from hdfs.client import Clientfrom conf.settings import DFS# 关于python操作hdfs的API可以查看官网:# https://hdfscli.readthedocs.io/en/latest/api.html# client = Client(url, root=None, proxy=None, timeout=None, session=None)# client = Client("http://hadoop:500.原创 2020-11-03 16:52:46 · 563 阅读 · 0 评论 -
基于HA高可用搭建-Hadoop-3.2.1实战搭建之Hbase-2.2.5集群部署
版本选择：Hadoop-3.2.1/Hbase-2.2.5一、Zookeeper正常部署[deploy@hadoop102 module]$ zk.sh start二、Hadoop正常部署[deploy@hadoop102 module]$ start-dfs.sh[deploy@hadoop102 module]$ start-yarn.sh三、Hbase上传、解压[deploy@hadoop102 module]$ tar -xzvf hbase-2.2.5-bin.原创 2020-07-03 15:45:59 · 796 阅读 · 0 评论 -
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
安装Hadoop3.2.1,做基准测试的时候报以下错误[2020-05-31 19:16:40.815]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster[原创 2020-05-31 11:28:31 · 859 阅读 · 0 评论 -
Container exited with a non-zero exit code 1. Error file: prelaunch.err.org.apache.hadoop.mapreduce.
这两天闲的慌，装了一下新版本的HADOOP 3.2.1，的HA，装好之后，测试wordcount程序时报下面的错误For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1590917926429_0002 Then click on links to logs of each attempt.. Failing the applicati原创 2020-05-31 10:32:58 · 21511 阅读 · 20 评论 -
Hive0.14Comment中文乱码解决
1.登录mysql变更hive的meta表use hive;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;a转载 2016-11-07 09:44:47 · 609 阅读 · 0 评论 -
hadoop-3.1.0双NameNode集群安装笔记-colby陈伦
1、修改主机名称vim /etc/hosts重启2、修改该hosts文件，添加主机跟ip的映射关系虚拟机网络host-only这个必须注释掉#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localhost localhost.localdoma...原创 2019-08-28 17:13:18 · 358 阅读 · 1 评论 -
Hive-ORC文件存储格式
Hive-ORC文件存储格式转自：http://www.lai18.com/content/24596525.html?from=cancelORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache H...转载 2019-09-04 19:14:59 · 414 阅读 · 0 评论