工作日记（Hadoop）

最新推荐文章于 2025-08-23 23:02:37 发布
最新推荐文章于 2025-08-23 23:02:37 发布
阅读量182 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop开发 文章标签： 大数据 python 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/T6789/article/details/84550116

启动过程

1.service sshd start

        3896 DataNode
        3760 NameNode
        4104 JobTracker
        4295 Jps
        4230 TaskTracker
        4010 SecondaryNameNode

2.    ./apachectl start
启动Apache服务器

3. 启动hive的方法

hive --service hiveserver   启动thrift

4. 启动mysql数据库

service mysqld start

5. hive --service metastore  启动
6.Python环境安装好

Python操作hive

7.PHP操作hive

 

Hadoop集群搭建日记
chenhanl的博客
09-25 557
一.Hadoop的搭建与配置 1.环境配置要求 1.Centos7 2.jdk1.8.0_261-i586 3.hadoop 3.1.4 2.设置机器名称，在任意一台机器Centos7上修改域名映射 1.使用hostname命令查看本机名称。 2. vi /etc/hosts 域名映射 使用scp命令发送其他克隆机上 scp /etc/hosts root@
保安日记8.28--Hadoop入门
rainrainm的博客
08-28 181
昨天在centos中下载好了hadoop压缩包，今天看看能到哪一步。 因为是Linux系统感觉只能用命令行那么一点点写代码，先看看吧。 hadoop需要集群部署，服务器和节点IP地址的设置，需要改名改ip，Ping通，DNS解析。这些是什么鬼我真的不太懂。一点点学吧，所谓基础不牢，地动山摇。 目录 集群部署 搭建思路 1、部署服务器 2、节点地址规划 3、每节点资源规划 4、系统账号和密码 5、节点功能规划 6、节点文件目录规划 环境准备 集群部署 先来了解集群部署： 搭建思路
MapReduce的jobHistory(工作日志)介绍
王傲旗的大数据之路
11-01 6385
前言: 我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志 以下的操作都是在主节点(服务器)中 第一步：node01修改mapred-site.xml 1.进入到hadoop配置文件目录 hadoop安装目录...
保安日记Hadoop 8.29
rainrainm的博客
08-29 197
上次卡到了如何配置Hadoop（好像约等于没有进度......） 不过优快云写的博客还是有点不够全面，有的地方我不懂，也没有人来解释。因此我找到了一个更好的办法，阅读官方文档，还能提高英文阅读能力呢。 咱们先从第一条开始学习吧，不能一口吃成一个胖子不是。 目录 Hadoop设置单节点集群 先决条件 下载 启动 独立操作 伪分布式操作 全分布式操作 Hadoop设置单节点集群 先决条件 支持的平台：感觉对于数据库人员来说Linux才是主流的生产力平台，而Windows只是普通办公使
Hadoop学习日记
qq_37121044的博客
06-27 521
Hadoop的优势(4高) 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩张数以千计的节点。 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理的速度。 高容错性：能够自动将失败的任务重新分配 ...
黑马Hadoop-实训日记一
2403_84570861的博客
04-22 564
Hadoop使用的主从分布式是一种常见的分布式架构模式，它通过将数据分成多个块，并将这些块分别存储在多个节点上，实现了数据的分布式存储。计算集群主要负责高性能计算和大数据处理等任务，存储集群主要负责数据存储和管理，通信集群主要负责处理网络通信和消息传递等任务。分布式系统的设计目标是提高系统的整体性能和可靠性，并能够扩展到大规模的集群环境中。Hadoop YARN (Yet Another Resource Negotiator)：这是一个分布式资源管理框架，负责管理和调度集群中的资源，如内存和CPU核数。
Hadoop日记——Hadoop2.x介绍
m0_67402564的博客
09-02 295
Hadoop中的NameNode好比是人的心脏，绝对不可以停止工作。这是Hadoop1.x中的单点问题，也是Hadoop1.x不可靠的表现Hadoop2的出现解决了这个问题，也被称为HA。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈。
安装Hadoop
biyn9的博客
09-20 603
将 hadoop-3.2.4.tar.gz 导入到 opt 目录下面的 software 文件夹下面。进入到 Hadoop 安装包路径下，解压安装文件到/opt/module 下面。保存并退出： :wq。
Hadoop学习日记一
m0_38123714的博客
03-26 164
把学习的过程记录下来吧之前的帐号不记得了今天开始记录了。
hadoop个人笔记bug日记
02-06
hadoop个人笔记bug日记
Hadoop日记Day20---ZooKeeper系列（四）
03-03
配置服务是分布式应用所需要的基本服务之一，它使集群中的机器可以共享配置信息中那些公共的部分。简单地说，ZooKeeper可以作为一个具有高可用性的配置存储器，允许分布式应用的参与者检索和更新配置文件。...
分享|财务大数据实验室建设方案
tipdm0301的博客
08-20 1084
基于财务大数据实验室现状，高校亟需加强与大数据企业的联合与协作，全方面落实，从思想、教学、实训应用等方案，突出校企双方优势，共同培养出具有大数据背景的财务专业人才
Hive Metastore和Hiveserver2启停脚本
最新发布
liuwei0376的专栏
08-23 258
本文介绍了一个Hive服务管理Shell脚本，用于控制HiveMetastore和HiveServer2服务的启停。脚本包含四大功能：检查进程状态、启动服务、停止服务和重启服务。通过定义check_process函数，使用进程名和端口双重验证服务状态；hive_start和hive_stop函数分别处理服务的启动和停止；主程序通过case语句响应不同命令参数。脚本自动创建日志目录，记录服务输出，并提供了友好的使用提示。该脚本实现了Hive服务的规范化管理，简化了运维操作，提高了服务管理的可靠性。
数据湖学习
sun657053178的博客
08-20 1008
精通数据湖 = 架构原理 + 格式机制 + 引擎集成 + 元数据管理 + 实战经验。
Hadoop入门
qq_72758246的博客
08-17 791
Hadoop是什么Hadoop是Apache基金会开发的一套开源软件平台。它的功能是利用服务器集群对海量数据进行分布式处理。核心组件包括HDFS、MapReduce、YARN和Hadoop基础功能库。Hadoop生态系统广义上的Hadoop指的是一个更广泛的概念，即Hadoop生态圈。Hadoop是云计算PaaS层的解决方案之一，广泛应用于数据服务基础平台建设、用户画像、网站点击流日志数据挖掘等。创建数据库查看数据库信息删除数据库-- 强制删除数据库。
高级SQL优化 | 告别 Hive 中 GROUP BY 的大 KEY 数据倾斜！PawSQL 自适应优化算法详解
PawSQL的博客
08-22 717
摘要：PawSQL的GroupSkewedOptimization算法通过两阶段聚合解决Hive数据倾斜问题。该算法对热点数据先加盐分流（随机分成256组），再合并聚合，有效避免单Reducer处理大分组导致的性能瓶颈。支持COUNT/SUM/AVG等标准聚合函数的智能重写，如将AVG拆解为SUM/COUNT计算。适用于电商、金融等存在严重数据倾斜的分组统计场景，自动优化无需人工干预，显著提升查询效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值