大数据各类网站集合

原创 已于 2022-06-28 22:23:13 修改 · 304 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hadoop

于 2022-06-24 00:06:39 首次发布
本文概述了Apache基金会推动的八大关键开源框架，包括Hadoop用于大数据处理，Hive进行数据仓库操作，Spark提供统一的数据分析引擎，Flume负责数据收集，Kafka专长于实时消息队列，DolphinScheduler是任务调度工具，Superset助力数据可视化，以及Redis作为内存数据库。这些框架共同构建了现代IT基础设施的基础。

Apache基金会致力于开源框架发展

1.Hadoop

Apache Hadoop

2.Hive

Apache Hive

LanguageManual UDF - Apache Hive - Apache Software Foundation

3.Spark

Apache Spark™ - Unified Engine for large-scale data analytics

4.Flume

Welcome to Apache Flume — Apache Flume

Index of /dist/flume (apache.org)

5.Kafka

Apache Kafka

6.Dolphin Scheduler

Apache DolphinScheduler | 首页

7.Superset

Welcome | Superset (apache.org)

8.redisdoc

​​​​​​字符串 — Redis 命令参考 (redisdoc.com)

9.Maven

Maven Repository: Search/Browse/Explore (mvnrepository.com)

10.Phoenix-Hbas的皮肤

Overview | Apache Phoenix

11.Flink官网

Apache Flink: Stateful Computations over Data Streams

谨言&慎独
关注
2.1 初探大数据
howard2005的专栏
10-16 1624
1. 了解大数据的定义； 2. 理解大数据的特征； 3. 理解研究大数据的意义
【数仓环境搭建】超详细大数据常用框架集群搭建合集 | 附带详细安装过程
大数据小禅的博客
05-30 3171
很多小伙伴在学习大数据的时候应该都遇到过集群环境搭建的问题，需要考虑到各个框架之间的兼容性，搭建起来也比较麻烦。本篇文章汇总了大数据开发中的常用组件集群搭建过程，附带了详细的搭建过程截图，提供了对应版本的安装包确保环境兼容。 主要包括Hadoop，HDFS，YARN，Spark，Hive，MySQL，HBase.
大数据常用网址总结
小蚯蚓的博客
09-17 953
1.官网文档 （1）apache http://hadoop.apache.org/ http://spark.apache.org/ http://flume.apache.org/ http://kafka.apache.org/ （2）cloudera http://archive.cloudera.com/cdh5/cdh/5 2.下载 （1）apache http:/...
大数据在互联网行业的应用
热门推荐
大数据基础学习
07-05 3万+
互联网企业拥有大量的线上数据，而且数据量还在快速增长，除了利用大数据提升自己的业务之外，互联网企业已经开始实现数据业务化，利用大数据发现新的商业价值。 以阿里巴巴为例，它不仅在不断加强个性化推荐、“千人千面”这种面向消费者的大数据应用，并且还在尝试利用大数据进行智能客户服务，这种应用场景会逐渐从内部应用延展到外部很多企业的呼叫中心之中。 在面向商家的大数据应用中，以“生意参谋”为例，超过 60...
【大数据】大数据算法
大雨的博客
08-29 5830
大数据算法的技术涵盖了多个领域，包括分布式存储与处理、数据挖掘、机器学习、图计算、文本挖掘与自然语言处理、推荐系统、关联规则挖掘、时间序列分析、异常检测、数据压缩与降维、网络分析、模式识别等。这些算法的选择取决于具体的应用场景和问题要求，通常需要综合倾斜考虑算法的效率、准确性、可扩展性等因素。
大数据各类服务组件架构笔记
wj的博客
06-09 757
1.1 ES（Elastic Search） ES 是一个基于Lucene的高性能，高可用，开源的分布式全文搜索引擎； 1.1.1 ES架构 集群：ES可以独立的作为单个搜索服务器；为了处理大型数据集，实现容错和高可用性，ES可以运行在多台服务器上，这些服务器组成集群； 节点（Cluster）：形成集群的每台服务器，其实是指ES进程； Master主节点：集群的状态由Master节点维护，生产中建议不存储数据，减轻主节点压力，普通服务器即可； Data数据节点：存储索引数据，并且提供索引查询，消耗内存和磁
大数据各类服务组件说明笔记
wj的博客
05-31 1298
组件说明： 组件 说明 ZooKeeper Apache ZooKeeper 是用于维护和同步配置数据的集中服务。 HDFS Hadoop 分布式文件系统 (HDFS) 是 Hadoop 应用程序使用的主要存储系统。HDFS 创建多个数据块副本并将它们分布在整个群集的计算主机上，以启用可靠且极其快速的计算功能，依赖ZooKeeper服务。 Yarn Hadoop MapReduce 2.0 (MRv2) 或 Yarn 是支持 MapReduce 应用程序的数据计算框架，依赖HDFS服
经验篇：大数据常用工具集合
郑小柒是西索的博客
11-15 1140
Tableau、QuickBI、PowerBI、FineBI、观远BI、GBI、网易有数、QlikView、Oracle Analytics Cloud、SAP Analytics Cloud、Cognos、Google Analytics、Adobe Analytics。
大数据概述
早拾碗吧的博客
04-29 1970
大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。一般情况下,如果当前的工具无法处理一个数据集的话,那么这个数据集在当下就会被称之是大数据集;目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低。大数据的主要特点-4V。
大数据各类工具.zip
03-04
"大数据各类工具.zip"这个压缩包很可能包含了多个用于大数据处理的开源项目或者库的源代码。其中，"bigdata-tools-master"可能是这些工具的一个主目录或集合。 首先，我们来探讨一下大数据的基本概念。大数据是指...
大数据整体架构方案集合.pptx
09-06
【大数据整体架构方案集合】 大数据整体架构方案是针对大规模数据处理和分析的一种系统设计方法，旨在高效、灵活地管理和利用海量数据。智慧写字楼的信息化、可视化管理平台是大数据技术在建筑行业中的一种具体应用...
北京兰亭妙微：深耕UI/UX全流程，以大数据可视化与3D场景设计驱动数字体验升级
最新发布
lanlanwork11的博客
12-27 177
北京兰亭妙微 UI 设计公司，深耕 UI/UX 全流程设计领域，专注大数据可视化、3D 场景化界面、多端适配设计等核心服务，拥有成熟的行业解决方案与实战案例。以下拆解国际国内的优秀设计案例。图 1：数据中心监控界面这是一套企业级数据中心的管理平台界面，核心是多维度数据的模块化展示：顶部清晰区分 “当前进程、完成进程、提交进程” 的数量状态，搭配 “当前规模、往期占比” 的快捷指标；核心区域用可视化进度条展示 “计算服务器、云服务器、数据存储” 的资源使用率（如计算服务器使用率 88.2%），搭配图标化的模块
Flink源码阅读：Watermark机制
K_Ohaha的博客
12-22 1019
本文分析了Flink中Watermark的源码实现，主要包含三个部分：1) Watermark的定义，它是一个带有时间戳的StreamElement；2) Watermark的生成过程，通过assignTimestampsAndWatermarks方法初始化，创建TimestampsAndWatermarksOperator并设置定时器周期性发送；3) 下游处理机制，获取上游最小Watermark并向下游广播。文章通过关键代码片段和调用链路图，详细阐述了Watermark在Flink中的实现原理和处理流程。
k8s+Flink断点续传(MySQL同步Starrocks)
weixin_42562106的博客
12-26 356
Flink 3.4版本在Kubernetes环境下的部署与优化 摘要：本文介绍了Flink 3.4版本在Kubernetes环境下的部署方案和优化措施。通过K8s原生支持实现了基础设施级容错，包括Pod故障自动重启、节点故障自动调度以及S3持久化存储等特性，确保作业的稳定运行。提供了集群启动命令和核心JAR包清单，详细说明了包含S3支持的Docker镜像构建方法，并给出了完整的FlinkDeployment YAML模板配置。配置中重点设置了Checkpoint、状态后端、高可用等关键参数，充分利用K8s和
视频汇聚平台EasyCVR筑牢智慧物流全场景可视化安全防线
EasyCVR视频融合云平台的技术博客
12-26 183
随着智慧物流的快速发展，仓储物流场景对监控系统的智能化、联动化、高效化要求日益提升。
康普茶酿造厂怎么选酿造设备？
ShandongTiantai的博客
12-25 391
调研时不仅要核对设备参数是否匹配需求，更要重点关注细节：设备报价是否透明（有无隐藏后续费用）、厂家提供多久保修、后续维护是否便捷（配件供应及时性、是否有上门维修服务）。选对、买对康普茶酿造设备，直接关系着产能稳定性、产品品质一致性，更影响后续运营的效率与利润。最后要提醒的是，康普茶酿造设备的选购，本质是“需求匹配”的过程——没有最好的设备，只有最适合自己的设备。具体来说，产能规模、产品质量控制要点、生产安全保障、能耗效率、是否符合环保可持续要求，这些“硬指标”必须一一明确，列成清单，后续选型才不会跑偏。
在 .NET Core 8 中实现 RabbitMQ
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
12-26 1604
本文介绍了在.NET 8环境中集成RabbitMQ的实现方法。通过使用MassTransit和MassTransit.RabbitMQ包，详细说明了配置发布者和消费者服务的过程。文章包含RabbitMQ设置类、队列定义、消息发布服务实现，以及消费者服务处理消息的完整示例。重点展示了如何通过RabbitMQ实现订单验证和推送通知功能，包括JSON消息的序列化和反序列化处理。最后说明了在Program.cs中配置相关服务的方法，为构建可扩展的分布式系统提供了实用指导。
Elasticsearch Range查询性能优化：从20秒到1秒的优化实践
weixin_40362204的博客
12-25 587
这次性能问题的根本原因是字段类型选择不当。text类型适合文本搜索，但不适合数值范围的range查询。通过添加long类型的字段，我们成功将查询性能提升了7-20倍。字段类型的选择直接影响查询性能mapping设计需要在项目初期就考虑好遇到性能问题，先检查字段类型和mapping配置生产环境优化要优先考虑零停机方案。
Java 大视界 -- 5230 台物联网设备时序数据难题破解：Java+Redis+HBase+Kafka 实战全解析（查询延迟 18ms）(438)
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
12-22 1716
本文详细解析了Java在工业物联网中的实战应用，通过Redis+HBase+Kafka+AI技术栈成功解决了某汽车零部件工厂5230台设备产生的海量时序数据处理难题。项目日均处理9亿条数据，实现热数据18ms内查询、冷数据低成本存储，故障预警准确率达97.2%，累计避免600万元经济损失。文章从技术选型、架构设计到核心代码实现全面剖析，重点展示了分层架构设计（设备层→边缘网关→消息缓冲→处理层→存储层→应用层）和关键优化策略，为工业物联网大数据处理提供了可复用的生产级解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值