大数据项目架构选型和集群规划

最新推荐文章于 2023-12-16 17:06:23 发布
最新推荐文章于 2023-12-16 17:06:23 发布
阅读量2.1k 收藏 20
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： 大数据项目架构 集群规划
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43740680/article/details/96200522
本文详细介绍了大数据项目的架构选型和集群规划过程，包括数据处理流程、架构逻辑及集群设计规划。从数据源采集到数据应用，阐述了各阶段使用的工具和技术，如sqoop、flume、HDFS、Hive、MapReduce等。在集群规划部分，讨论了数据量估算、节点数量配置及硬件选择，为中小型电商网站提供了参考方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据项目中如何实现架构选型和集群规划？

1.处理流程

  • 数据源

关系型数据库
表：订单，用户，地址。。。
日志文件: 页面数据、埋点数据

  • 数据采集

sqoop、kettle flume shell
.

  • 数据存储：

HDFS、Hive、HBASE

  • 数据清洗

Mapreduce、hive、sparkCore

  • 数据处理（分析）

Hive、MapReduce

  • 数据应用
    展示

2.架构逻辑

（1）用户访问不同的客户端，触发不同的SDK（前端、IOS、Android）
（2）SDK收集所有需要的数据，发送给nginx日志服务器（后台开发）
（3）nginx服务器接收SDK发送过来的日志，并记录下来（后台开发）
（4）使用flume采集所有日志节点上的数据到HDFS统一存放
（5）使用MapReduce对数据进行ETL
（6）使

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据（环境）-集群环境规划
不瘦十斤不换名字
06-09 1084
机器 hadoop01:192.168.58.200 hadoop02:192.168.58.201 hadoop03:192.168.58.202 宿主机 192.168.58.4 客户机 192.158.58.5 Hadoop集群 namenode:hadoop01,hadoop02 datanode:hadoop01,hadoop02,hadoop03 resourcema...
（三）大数据集群规划简介
weixin_43930865的博客
07-21 1833
大数据集群规划简介 1:服务器配置 kafka 推荐配置---- 双路8核Intel处理器；内存：64GB（以上） DDR4；硬盘：2*600GB SAS 硬盘(系统盘);12*8T SATA硬盘；磁盘推荐raid1 hdfs+hbase+hive 推荐配置----内存：256GB DDR4；硬盘：2*600GB SAS 硬盘;12*8T SATA硬盘；raid0 elasticsearch 推荐配置----内存：256GB DDR4（越大越好）；2*600GB SAS 硬盘;12*8T SATA硬盘；r
大数据集群规划、规模、版本、端口号
Wxh_bai的博客
04-11 746
3.客户端尽量放在1到2台服务器上，一是风险隔离，导致集群内部受到不必要的干扰。2）每条日志1K左右，每天1亿条： 100000000/1024/1024 = 约100G。假设每台服务器8T磁盘，128G内存。3）一年内不扩容服务器来算： 100G * 360天 = 约36T。5）预留20%~30%Buf = 108T/0.7 = 154T。2.kafka、ZK、Flume传输数据比较紧密的放在一起。1）每台日活跃用户100万，每人一天平均100条： 100万。6）算到这: 约 8T*20 台服务器。
CDH大数据平台搭建之集群规划
qq_41924766的博客
06-04 1881
CHD大数据平台搭建之集群规划前言一、集群规模二、集群规划总结 前言 话说无规矩不成方圆，搭建CDH大数据平台之前需要的工作很多，首先，你需要计算公司每日的数据量，来确定需要多少服务器，确定好服务器之后，需要规划集群节点的分配。由于是个人搭建，不存在数据量计算，只做集群规划即可。 一、集群规模 每日数据量的多少，决定了服务器的数量 计算规则如下： 1、hdfs数据保存3份 2、一般文件保存3年 3、每台服务器硬盘大小8T，但会留20%左右的空闲空间 所需服务器数量 = 公司每日数据量(TB) * 3 * 3
大数据项目技术选型.docx
12-17
本文总结了大数据项目技术选型的相关知识点，涵盖了Hadoop生态系统的各个组件，包括HDFS、YARN、HBase、Hive、Pig、Spark、Flume、Sqoop、Storm、Solr、Zookeeper等，以及相关的技术栈和架构设计。 Hadoop是大数据...
大数据架构选型与设计
l567891011的博客
02-16 3944
大数据架构选型与设计 1.1如何构建大数据平台？ 1.1.1数据库与ER建模 1.1.1.1数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.1....
大数据平台架构技术选型与场景运用
大数据学习博客
05-03 3688
一、大数据平台 大数据在工作中的应用有三种： 与业务相关，比如用户画像、风险控制等; 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴; 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。 数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。 对大数据以及人工智能概念都是模糊不清的，该按照...
【大数据】Doris 的集群规划和环境准备
最新发布
Code · Cloud · Think · Repeat
12-16 2007
Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，我们建议 Doris 的部署遵循以下需求。
高可用大数据集群搭建--集群规划
xiaohu的博客
04-26 376
Zookeeper：分布式协调服务，可以由单个或多个节点组成。在Zookeeper集群中，有一个节点作为Leader，其他节点作为Follower。Leader节点负责协调所有客户端请求，并将它们发送到相应的Follower节点进行处理。Zookeeper还支持数据发布/订阅和通知机制，可以通过监视节点上的变化来实现配置管理和同步。JournalNode：主要用于提供高可用性和容错性支持。
大数据平台技术架构解决方案
11-06
大数据平台技术架构解决方案 讲解了一些场景下大数据架构的解决方案 分布式内存计算,交互式,实时在线,实时流,批处理离线挖掘
大数据项目集群
05-21
https://blog.youkuaiyun.com/fulq1234/article/details/80371426
大数据高可用集群.docx
03-14
大数据高可用集群搭建详情，配置文件，版本，环境，集群规划， HA的解决方案，大数据高可用集群搭建详情，配置文件，版本，环境，集群规划， HA的解决方案
大数据集群
12-12
大数据集群, 包含了Hadoop,HBase,spark,hive,zookeeper,storm等故障排除端口详解;
Hadoop2.X大数据集群规划与架构设计
u011277123的博客
05-12 7993
卡弗卡大数据 2017-05-07 17:27 第一阶段：先说说伪分布式 不管是HDFS和YARN，在我们之前的文章中已经说过关于伪分布式的部署和安装。也就是我们把HDFS的两个节点NameNode和DataNode，YARN的ResourceManger和NodeManager都放在同一个机器上。 机器1：bigdata-senior01.kfk.com 进程包括：
大数据（1f）集群规划+版本选择（持续更）
ArYe
04-09 688
集群规划 服务名 Hadoop HIVE ZooKeeper Kafka HBase Atlas 运维
大数据基本集群搭建
cai_and_luo的博客
06-03 1070
Hadoop :之集群搭建搭建虚拟机设置免密配置 jdk180设置Hadoop集群配置配置主节点的 Hadoop 环境进入/opt/bigdata/hadoop260/etc/hadoop配置 hadoop-env.sh配置 mapred-env.sh配置 yarn-env.sh配置 core-site.xml （配置完此步，需要在hadoop260目录下建hadoop2目录）配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置vi ./slavesHadoop
错过必定后悔的干货！深入解析大数据行业的集群架构方案
Leo的博客
02-26 3161
随着大数据的日益普及，很多人对大数据越来越感兴趣，有些程序开发者也跃跃欲试，但是苦于不会搭建集群环境，而常常被拦在大数据的门槛之外。 通过这次疫情，我相信各位也看见了，大数据真的很重要。从患者数字地图，到疑似患者追踪，再到可视化，都体现着大数据的作用，我也相信，在未来的5-10年里，大数据会有非常非常多的应用与发展。 大数据里最难的就是怎么保持数据查询的稳定性，那么集群就很重要了。 先来给大...
大数据HA集群搭建
zhou920786312的博客
03-06 917
1环境准备 集群规划 ip 主机名 安装的软件 192.168.232.132 HA01 jdk、HA0doop、NameNode、DFSZKFailoverController(zkfc) 192.168.232.133 HA02...
大数据项目技术选型与对比
"大数据项目技术选型" 大数据项目技术选型是现代企业处理海量数据的关键环节，涉及到数据的采集、存储、处理、分析以及管理等多个...整体技术选型需兼顾性能、稳定性、扩展性和成本等因素，以满足大数据项目的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值