bigadata 另一种搭建方式

最新推荐文章于 2024-08-25 11:08:49 发布
原创 最新推荐文章于 2024-08-25 11:08:49 发布 · 146 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了大数据领域的关键技术，包括Logstash、Kafka、HBase、Hive等组件的集成与应用，涵盖从数据采集、处理到分析的全流程。特别关注了Kafka与Logstash的集成、Kafka数据写入HBase、以及Hive查询HBase的方法，同时介绍了如何利用这些工具进行事件分析和报表制作。

1.logstat

https://blog.youkuaiyun.com/o0mm0o/article/details/76578305

2.kafka

https://www.jianshu.com/p/d3e963ff8b70

3.aiiuxio/hbase

http://www.sohu.com/a/240684406_315839

4.hive 

http://hive.apache.org/

5.report 报表

http://learnfuture.com/course/bd123

6.事件分析

https://blog.youkuaiyun.com/OYY_90/article/details/82844875

集成：

kafka 集成logstassh

https://www.cnblogs.com/Orgliny/p/5730381.html

kafka 写入到hbase 中：

https://www.youkuaiyun.com/gather_25/MtTaEgzsMDQ1MS1ibG9n.html

hive 查询hbase:

https://www.cnblogs.com/kaiwen1/p/9176294.html

HIve 出现报表：

https://blog.youkuaiyun.com/u012808902/article/details/77874722：

6.相关事件分析：

https://blog.youkuaiyun.com/OYY_90/article/details/82844875

Hadoop系列-09 Hive数仓基础全解：安装部署、架构原理与DDL实战详解
yangwei2048的博客
12-07 579
本文介绍了Hive 3.1.2的安装部署流程。主要内容包括：MySQL环境准备、Hive安装包下载与解压、配置文件修改（hive-site.xml和日志配置）、MySQL驱动包配置、环境变量设置、元数据库初始化等步骤。文章还详细说明了如何通过CLI和Beeline两种方式连接Hive服务，并提供了HiveServer2的配置方法。
HBase配置（伪分布式模式）
weixin_43861175的博客
05-19 828
HBase安装配置 ①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录） 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Co...
百度案例：利用Alluxio实现安全的即插即用分布式文件系统
读芯术的博客
10-29 734
全文共3361字，预计学习时长7分钟 本文介绍了百度如何依靠开源项目Alluxio，在一个企业大数据分析解决项目Pingo中创建了一个安全、模块化和可扩展的分布式文件系统服务。 在这篇文章中，你将学习如何依靠Alluxio来实现一个统一的分布式文件系统服务，以及如何在Alluxio之上添加插件，这包括自定义身份验证方案和Alluxio文件上的用户函数UDF。 目标和挑战 Pingo是百...
Storm 完全分布式搭建
qq_40784428的博客
06-08 336
主机配置   执行命令 : hostname 查当前主机名称。   执行命令 : vim /etc/hostname 修改当前主机名，修改文件内容为要修改的名称。   例： 原名称(根据机器确定):localhost 改为:master   重复上面步骤修改其他机器主机名称，集群主机名称分别修改为master、slave1、slave2。   执行命令 : ifconfig 查看当前主机ip。 >> ifconfig   执行命令 : vim /etc/hosts 配置所有主机名称和对应ip
在CentOS7下搭建Hadoop2.9.0集群
weixin_30548917的博客
06-29 116
系统环境：CentOS 7 JDK版本：jdk-8u191-linux-x64 MYSQL版本：5.7.26 Hadoop版本：2.9.0 Hive版本：2.3.4 Host Name Ip User/Pass Namenode 192.168.2.3 root/root. Datanode1 192.168.2.5 root/root....
MapReduce编程实践
weixin_43640161的博客
10-07 5784
MapReduce编程实践 重要知识点： MapReduce是一种分布式并行编程模型,是Hadoop核心子项目之一,如果已经安装了Hadoop，就不需要另外安装MapReduce。 主要的理论知识点包括：MapReduce概述、MapReduce的工作流程，WordCount实例分析，MapReduce的具体应用。 掌握MapReduce的核心思想、编程模型、工作原理和实例分析。 MapReduce的程序可以用Eclipse编译运行或使用命令行编译打包运行，本实验使用Eclipse编译运行MapReduc
Python 进度条tqdm应用记录
Humbunklung的专栏
08-25 555
使用tqdm显示数据处理进度，设置进度条最大值total，更新进度条，将进度条嵌入到实例函数中供调用。
根据股票列表获取资金流入情况
最新发布
Humbunklung的专栏
08-25 1526
通过网上的数据接口，获取大A数据，应用 tqdm 进度条。
调用股票网站接口读取大A数据——个股资金流入趋势
Humbunklung的专栏
08-24 1374
以某股票为例，调用自定义的一个类，读取数据。
Flume的扇入与扇出
StephenYou的自习室
09-10 942
目录 Flume的扇入与扇出 案例四：单Flume多Channel、Sink（扇出） 案例五：多Flume汇总数据到单Flume Flume的扇入与扇出 之前的案例都只有一个Flume的客户端工作，其实Flume之间也可以进行数据传递，这样的传递我们可以称为扇入和扇出。 案例四：单Flume多Channel、Sink（扇出） 目标：使用flume1监控文件变动，flume1...
你知道大数据中的五种采集方式吗？
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-17 5846
1.什么是采集 在一般的分层业务系统中，数据采集都是一个非常重要的部分:主要负责数据的输入。 2.为什么需要采集 在传统的管理系统中，一般的业务系统都是采集，存储，显示 ，报表，这是传统分层模型下的架构方式下的业务功能；我们重点看一下数据采集部分； 3.场景分析 1.第一种数据采集就是基于请求式样的采集，意味着请求即是采集。常见的情景就是HTTP 请求，把大量请求作为数据源存储都DB中。 2.第二种就是基于网页版的数据采集，前端使用打点技术，没隔一段时间完成数据采集，存储到ＤＢ中。 ３.最后一种就是数据钻取
K8s常见问题分析&解决（基础问题）
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
02-13 2833
详细描述： 部分工作节点pod无法启动（处于ContainerCreateing状态）日志： failed to set up ..... Network: failed to set bridge addr 解题思路： 日志部分出现网络相关的失败LOG，问题调查的方向主要查看对应网络节点的状态 原因分析： 当前节点被反复注册，导致flannel网络出现问题 解决步...
阿里巴巴日志处理系统
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
02-19 1878
SLS是阿里云自主研发的针对日志数据的实时、大规模集中式管理服务平台，可满足各种类型的日志处理分析需求，减轻广大开发者的负担。 日志是大规模集群管理系统中非常关键的部分，服务器上的各种日志数据（如访问日志、应用日志等）可以帮助我们回答各种问题，例如： 然而要想从日志中获取这些信息，通常需要开发大量脚本和工具，从头到底搭建端对端系统，并且为了保证服务可靠性和稳定性，要做大量维护开发工作。阿里云自...
一文了解分布式应用开发框架
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
06-13 1294
一文了解分布式应用开发框架分布式应用开发框架是一种用于简化分布式应用开发过程的软件工具。它提供了一套编程模型和工具集，用于处理分布式应用中的常见问题，如分布式数据存储、消息传递、负载均衡和容错等。以下是一些常见的分布式应用开发框架：Apache Hadoop：Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式计算和存储。它提供了分布式文件系统HDFS和分布式计算框架MapReduce，可以在大规模集群上并行处理数据。
Apache Mesos 学习
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
02-16 1257
Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。 mesos 优缺点： mesos优点： 1.资源管理策略Dominant Resource Fairness(DRF), 这是Mesos的核心，也是我们把Mesos比作分...
OSchina
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-08 988
存储层 ： hydrabase http://hydrabase.org/ 战时无。
大数据之存储层
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-05 795
1.HDFS教程： 链接：https://pan.baidu.com/s/1geQ58ccvD6sROTiEDAJwvg 提取码：othb 2.ceph 教程 https://pan.baidu.com/s/1idP8k2O1qyqXzhiG-8BoIg 3.kudu 教程 https://pan.baidu.com/s/1R0EyVXpt1A4rkaIz9VlM9w 4.Ti...
TIDB安装部署
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-08 736
1.sqoop 安装： 需要LISnux 环境： https://www.cnblogs.com/pejsidney/p/8945198.html 2。TIDB的安装部署： 需要Linux环境和ｄｏｃｋｅｔ的环境。 https://www.cnblogs.com/zuokun/p/11007063.htm 仅仅支持Linux环境。 3。安装presto　安装部署： 参考博...
聊一聊数据采集
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
03-10 674
1.什么是采集 在一般的分层业务系统中，数据采集都是一个非常重要的部分:主要负责数据的输入。 2.为什么需要采集 在传统的管理系统中，一般的业务系统都是采集，存储，显示 ，报表，这是传统分层模型下的架构方式下的业务功能；我们重点看一下数据采集部分； 3.场景分析 1.第一种数据采集就是基于请求式样的采集，意味着请求即是采集。常见的情景就是HTTP 请求，把大量请求作为数据源存储都DB中。 2.第二种就是基于网页版的数据采集，前端使用打点技术，没隔一段时间完成数据采集，存储到ＤＢ中。 ３....
十大经典数据挖掘算法
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
02-19 659
总体比较多： 1.C4.5 算法  http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迅捷的软件产品制作专家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值