大数据技术栈

最新推荐文章于 2025-06-01 13:10:12 发布

jianpan_zouni

最新推荐文章于 2025-06-01 13:10:12 发布

阅读量295

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/jianpan_zouni/article/details/88818515

大数据专栏收录该内容

2 篇文章

订阅专栏

大数据基础：

Linux操作

java语言

Hadoop

Scala

spark

时间应该主要在Hadoop，Hadoop是分布式系统基础框架，主要包括map reduce过程：

hadoop技术栈：

Pig	Chukwa	Hive		Hbase
Mapreduce		Hdfs		Zookeeper
core			avro

开始学习吧，据说每天三四个小时、周末八小时，大概需要三四个月撸一遍

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jianpan_zouni

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

复杂的大数据技术栈

专注计算机体系结构

05-20

5706

提到大数据，很多人可能都听说过4V - Big Volume, Big Velocity, Big Variety, Big Value，大数据从业人员的工作内容也都和这4个V中的某些内容密切相关。相比较传统的数据库技术，大数据的技术栈在过去几年取得非常迅速的发展，尤其是Hadoop和Spark已经构建了一个庞大的技术生态圈。文件系统方面，除了传统的行式存储，还有新的列式存储格式如ORC，

2024年大数据最全大数据技术栈详解(1)，OMG学它

2401_84166376的博客

05-05

993

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume的功能和ELK（日志实时检索系统）中的Logstash很像，都是用来传输和处理日志数据的。

参与评论您还未登录，请先登录后发表或查看评论

大数据技术工具思维导图全解析

最新发布

weixin_42560991的博客

06-01

1208

在信息技术迅猛发展的今天，大数据已经成为了炙手可热的关键词，它不仅是IT行业关注的焦点，也逐渐渗透到社会生活的各个领域。大数据，从字面上理解，指的是无法用传统的数据处理工具在合理时间内处理的大规模数据集。然而，大数据的真正内涵远远超越了“大”这个字面意思。大数据涉及的是复杂的数据集合，其特点是数据量大、种类多、生成速度快、价值密度低。

我所知道的大数据技术

阿朱=行业趋势+开发管理+架构

04-04

751

今天看到一篇有关云计算技术文章，把虚拟化和虚机集群管理OpenStack、容器Docker和容器集群管理Kubernetes、通用资源调度管理器Mesos和大数据处理调度...

大数据精选入门指南，包括大数据学习路线、大数据技术栈思维导图

04-01

大数据技术栈思维导图 大数据常用软件安装指南一、Hadoop 分散文件存储系统 —— HDFS 多元计算框架——MapReduce 集群资源管理器 —— YARN Hadoop单机伪集群环境搭建 Hadoop 云服务环境搭建 HDFS使用Shell命令 ...

大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

08-05

大数据技术栈思维导图 大数据常用软件安装指南包括Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习 Hadoop 分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce ...

大数据（三）大数据技术栈发展史

博客园搬家测试账号

05-22

910

-系列目录- 大数据(一)背景和概念 大数据(二)大数据架构发展史 大数据(三)大数据技术栈发展史前两章，我们分析了大数据相关的概念和发展史，本节我们就讲一讲具体的大数据领域的常见技术栈发展史。对主流技术栈有一个初步的认知。一、总览 大数据技术栈非常多估计大大小小多达上百种。但发展史、技术体系仍有迹可循。我们从数据采集、清洗、应用3大步骤来看，在每个步骤内部按照时序标识主流技术栈时间点。以此期...

Hadoop与Spark开源大数据技术栈概述

jeorgea的博客

10-26

1558

Hadoop与Spark开源大数据技术栈：随着大数据技术的快速发展，目前开源社区已经积累了比较完整的大数据技术栈，目前市场上应用最广泛的是以Hadoop与Spark为核心的生态系统。该生态系统分为5个层级分别是：数据收集，数据存储，资源管理与服务协调，计算引擎和数据分析。下面分别对这5个层级进行介绍 1.数据收集层：该层主要对关系型数据以及非关系型数据进行收集，以及分布式消息的收集 Sqoop/canal：关系型数据收集和导入工具，是连接关系型数据库（MySQL）和Hadoop（HDFS）的桥梁，S

大数据平台架构及主流技术栈

01-07

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐渐趋向统一。上图是目前国内各大互联网公司普遍采用的大数据平台架构和技术选型。康威定律

【大数据】大数据技术栈详尽解析

weixin_43298211的博客

06-25

2072

数据采集是大数据旅程的起点，涉及从不同源头获取数据的过程，包括传感器、日志文件、以及APIs等。这一环节的高效运作对于后续的数据处理和分析至关重要。如MapReduce，MapReduce工作流程分为Map阶段（将输入数据切分成独立块并应用映射函数提取键值对）、Shuffle阶段（对Map输出进行排序、分区和合并）和Reduce阶段（对相同键的值进行归约操作）。这种模型将复杂的计算任务分解，易于在大量普通硬件上并行执行

大数据技术栈列表

lydms的博客

06-30

2532

Flink是一个开源的流式数据处理和批处理框架，旨在处理大规模的实时数据和离线数据。它提供了一个统一的系统，能够高效地处理连续的数据流，并具备容错性和低延迟的特点。Flink的设计目标是在一个系统中同时支持流式数据处理和批处理，以满足不同类型的数据处理需求。它的核心概念是有向无环图（DAG），通过将数据处理作业表示为一系列操作符和数据流的有向图，实现了灵活的数据处理流程。Flink支持各种数据源和数据接收器，包括消息队列（如Apache Kafka）、文件系统（如HDFS）、数据库和套接字等。

大数据技术栈一览

林木森的博客

05-21

1478

1. 数据采集和传输层 Flume Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统。常用于日志采集系统中，支持定制各类数据发送方用于收集数据、通过自定义拦截器对数据进行简单的预处理并传输到各种数据接收方如HDFS、HBase、Kafka中。之前由Cloudera开发，后纳入Apache Logstash ELK工作栈的一员，也常用于数据采集，是开源的服务器端数据处理管道 Sqoop Sqoop主要通过一组命令进行数据导入导出的工具，底层引擎依赖于MapReduce，主要用于Hadoop

大数据技术栈简要介绍

wendao76的专栏

09-27

2323

大数据（Big Data）是IT行业中的一个重要术语，它指的是那些无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。这些数据集合具有海量的数据规模、快速的数据流转、多样的数据类型以及相对较低的价值密度等特征。大数据需要新的处理模式来增强其决策力、洞察发现力和流程优化能力，从而成为具有战略意义的信息资产。数据量角度：大数据首先体现在“大”上，即数据量巨大，通常达到数十TB甚至数百PB的规模，远远超出了传统数据处理软件的能力范围。数据处理角度。

大数据常用技术栈

智海观潮的博客

11-17

2911

提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。首先通过一张图来了解一下目前大数据领域常用的一...