Hadoop
关注
分享
扫一扫
陈伦(colby)
项目经理/数据架构师/资深数据从业者。
熟悉传统数据、互联网数据处理，精通数据仓库方法论、数据迁移、数据处理、数据可视化、数据建模、架构设计、方案设计，曾负责多个数仓项目0到1建设并落地，有PB级数据调优实战经验！
曾获得计算机四级数据库证书、PMP项目管理专业人士证书等。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python操作HDFS封装类，拷贝过去直接用
from hdfs.client import Client from conf.settings import DFS # 关于python操作hdfs的API可以查看官网: # https://hdfscli.readthedocs.io/en/latest/api.html # client = Client(url, root=None, proxy=None, timeout=None, session=None) # client = Client("http://hadoop:500.原创 2020-11-03 16:52:46 · 610 阅读 · 0 评论 -
基于HA高可用搭建-Hadoop-3.2.1实战搭建之Hbase-2.2.5集群部署
版本选择：Hadoop-3.2.1/Hbase-2.2.5 一、Zookeeper正常部署 [deploy@hadoop102 module]$ zk.sh start 二、Hadoop正常部署 [deploy@hadoop102 module]$ start-dfs.sh [deploy@hadoop102 module]$ start-yarn.sh 三、Hbase上传、解压 [deploy@hadoop102 module]$ tar -xzvf hbase-2.2.5-bin.原创 2020-07-03 15:45:59 · 848 阅读 · 0 评论 -
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
安装Hadoop3.2.1,做基准测试的时候报以下错误 [2020-05-31 19:16:40.815]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster [原创 2020-05-31 11:28:31 · 936 阅读 · 0 评论 -
Container exited with a non-zero exit code 1. Error file: prelaunch.err.org.apache.hadoop.mapreduce.
这两天闲的慌，装了一下新版本的HADOOP 3.2.1，的HA，装好之后，测试wordcount程序时报下面的错误 For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1590917926429_0002 Then click on links to logs of each attempt. . Failing the applicati原创 2020-05-31 10:32:58 · 21680 阅读 · 20 评论 -
Hive0.14Comment中文乱码解决
1.登录mysql变更hive的meta表 use hive; alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; a转载 2016-11-07 09:44:47 · 634 阅读 · 0 评论 -
hadoop-3.1.0双NameNode集群安装笔记-colby陈伦
1、修改主机名称 vim /etc/hosts 重启 2、修改该hosts文件，添加主机跟ip的映射关系 虚拟机网络host-only 这个必须注释掉 #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 localhost localhost.localdoma...原创 2019-08-28 17:13:18 · 387 阅读 · 1 评论 -
Hive-ORC文件存储格式
Hive-ORC文件存储格式 转自：http://www.lai18.com/content/24596525.html?from=cancel ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache H...转载 2019-09-04 19:14:59 · 497 阅读 · 0 评论