Apache Druid 入门系列(三)：从本地文件加载数据

最新推荐文章于 2025-03-27 14:28:19 发布
原创 最新推荐文章于 2025-03-27 14:28:19 发布
· 1k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Apache Druid #druid加载数据 #druid查询数据

Druid 从本地文件加载数据


假设你已经按上一篇文章《Apache Druid入门系列(二): 安装配置》下载并安装了druid，并使用micro-quickstart 启动了druid单机配置，并让它在你的虚拟机上运行。您还不没有加载任何数据（如果已加载测试数据，先停止druid服务，后删除var目录即可）
本教程以druid官方自带的示例文件为例，教你发何从文件中批量摄取数据，数据位于：/usr/druid/apache-druid-0.16.0-incubating/quickstart/tutorial/wikiticker-2015-09-12-sample .json.gz中，在接下来的数据加载教程中，其中包含2015年9月12日发生的Wikipedia页面编辑事件。

1、打开http://192.168.1.164:8888，点击"Start a new spec",建一个新的数据摄入规范

在这里插入图片描述
在这里插入图片描述
2、选择"Local disk" 并单击"Connect data"
在这里插入图片描述

  • firehoses type 选择：“local”, 摄入的文件必须放在本地服务器上
  • firehose.baseDir输入："/usr/druid/apache-druid-0.16.0-incubating/quickstart/tutorial/"
  • firehose.filter 输入：“wikiticker-2015-09-12-sampled.json.gz”
    单击[Preview]并确保您所看到的数据是正确的

3、单击“Next: Parse data”进入下一步解析数据
在这里插入图片描述
Parser

最低0.47元/天 解锁文章
Apache Druid入门系列(二): 安装配置
qq_26860451的博客
09-23 952
Druid入门-安装环境需求下载并解压启动Druid服务 参考自：http://druid.io/docs/latest/tutorials/index.html 本文的例子是0.14.0版本，请参考：https://druid.apache.org/docs/0.14.0-incubating/tutorials/index.html 在本文示例中，我们将下载druid并将其配置在一台机器上。完...
SpringBoot实战教程（6）| 整合Druid
猿小白的博客
12-10 2731
Apache Druid是一个实时分析型数据库，旨在对大型数据集进行快速的查询分析（"OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景，同时，Druid也通常被用来助力分析型应用的图形化界面，或者当做需要快速聚合的高并发后端API，Druid最适合应用于面向事件类型的数据。 目录 一、主要特征 二、使用场景 三、初始化SpringBoot项目 四、引入依赖文件 五、编写配置文件 六、编写DruidConfig配置类 七、查看Druid..
Apache Druid加载本地数据
Bulut0907
06-20 681
目录1. 加载数据的原理2. 使用Data Loader来加载数据3. 使用spec加载数据(通过Web控制台)4. 使用spec加载数据(通过命令行) 1. 加载数据的原理 数据的加载需要向Overlord提交ingestion spec。ingestion spec其实就是一个json格式的元数据，生成方式有两种： 可以手动编写 通过Druid Web控制台内置的data loader加载少量数据，并配置参数，来帮助我们生成 2. 使用Data Loader来加载数据 操作步骤如下： 点击Appl
Apache Druid 集群搭建及使用【超全面】
认知 行动 坚持
01-01 4313
一、Druid 简介 1.1 大数据分析平台架构分类 数据分析的基础架构可以分为以下几类： 使用Hadoop/Spark 进行分析 将Hadoop/Spark 的结果导入 RDBMS 中提供数据分析；补充说明：RDBMS一般指关系数据库管理系统 将结果注入到容量更大的NoSQL中，解决数据分析的存储瓶颈，例如：HBase 将数据源进行流式处理，对接流式计算框架，例如：Flink、Spark Streaming，结果保存到RDBMS、NoSQL中 将数据源进行流式处理，对接分析数据库，例如：
Apache Druid 安装与配置指南
最新发布
gitblog_00089的博客
03-27 410
Apache Druid 安装与配置指南 druid Druid是一个高速的数据查询引擎，主要用于OLAP场景。它的特点是快速查询、支持复杂查询语句、易于部署等。适用于数据分析和报告生成场景。 项目地址: https://gitc...
【超详细】Apache Durid从入门到安装详细教程
博学谷狂野架构师的博客
08-26 3042
1. Durid概述 Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。这将有助于你选型数据存储方案，深入了解Druid存储，深入了解时间序列存储等。 Apache Druid是一个高性能的实时分析型数据库。 1.1 为什么使用 1.1.1 云原生数据库 一个现代化的云原生，流原生，分析型数据库 ​ Druid是为快速查询和快速摄入数据的工作流而设计的。Druid强在有强大.
自定义动态数据源
光头小小强007的博客
08-16 1287
方法或者是该类上，表示方法或者类上的所有方法都是用某一个数据源。注解，那么就将该方法需要使用的数据源名称存入到。类中去查找需要的数据源，我们只需要在。对于第一步，如果某个方法上面有。注解，当一个方法或者类上面有。自定义切面，在切面中去解析。注解所标记的数据源存入。
Apache druid 自定义组件开发
Eric
06-28 547
最近因项目需要，需要开发Apache druid插件解析kafka推过来的流量，格式为protobuf，字段存储为二进制类型（注意，普通数据类型 druid已支持），废话不多说，上思路。 第一步：实现ByteBufferInputRowParser类 XXXParser，业务逻辑的实现在parsePatch()方法 第二步 ：创建一个实现DruidModule 类 XXXThriftExtensionsModule， 在getJacksonModules里注册实现的Modle和Parser ...
2、Druid的入门示例（使用三种不同的方式摄入数据和提交任务）
05-24
本篇文章是Druid系列教程的一部分，主要介绍了如何使用三种不同的方式来摄入数据和提交任务到Druid集群。首先，我们需要确保Druid已经正确部署并能够正常运行。接下来，我们将详细探讨这三个示例。 **简单示例1：...
5、Druid配置文件详细介绍以及示例
05-24
Apache Druid 是一个高性能的数据存储和分析系统，特别适合实时分析和大数据处理。Druid 的配置文件对于设置和优化其摄取、存储和查询性能至关重要。本文将深入探讨 Druid 配置文件的各个部分，并通过示例来说明其...
3、Druid的load data 示例（实时kafka数据和离线-本地或hdfs数据）
05-24
例如，配置文件可能指定了 HDFS 上数据文件的位置（如 `hdfs://HadoopHAcluster/druid/test.json`）以及数据解析的格式（如 JSON）。在 Druid 中，你可以设置 `type` 为 `index_hadoop` 来启动 Hadoop 批量加载任务...
Apache Druid 平台化 - 数据接入篇
偷闲小苑
08-20 5403
文章目录数据接入背景方案设计druid 数据接入的一些经验一. hive 数据导入自动填充分区二. zstd 编码支持三. keberos四. druid-0.15.0 进程自动退出五. druid 对数据进行 ETL 数据接入 背景 使用界面化和 sql 的方式将数据导入到 druid，提供数据给后续告警，监控，查询等服务使用。 方案设计 数据源1：内部消息服务 dclog ，本质上是一个 ka...
apache-druid配置操作
pxzsky的专栏
12-02 1137
SQL查询 SELECT * FROM demo2 WHERE __time BETWEEN '2018-10-01 00:00:00' AND '2018-10-12 15:00:00' SELECT COUNT(*) AS total, czyid, dlip FROM demo2 WHERE __time < '2018-10-12T16:00' GROUP BY czyid...
Druid 0.17 入门（3）—— 数据接入指南
大数据流动
03-17 981
在快速开始中，我们演示了接入本地示例数据方式，但Druid其实支持非常丰富的数据接入方式。比如批处理数据的接入和实时流数据的接入。本文我们将介绍这几种数据接入方式。 文件数据接入：从文件中加载批处理数据 从Kafka中接入流数据：从Kafka中加载流数据 Hadoop数据接入：从Hadoop中加载批处理数据 编写自己的数据接入规范：自定义新的接入规范 本文主要介绍前两种最常用的数据接入方式。...
Apache Druid介绍
hty46565的博客
10-23 4506
什么是Apache Druid？ Apache Druid是一个专为大数据集的快速切片分析（OLAP查询）而设计的实时分析数据库。Druid作为数据库，最常用于支持以下用例：实时摄取、快速查询和高运行时长。例如，Druid一般用于支持分析型应用程序的GUI，或是需要快速聚合的高并发API后台。Druid最适合用于面向事件的数据。 Druid常见的应用领域包括： 点击流分析（Web和移动分析） 网...
Druid (大数据实时统计分析数据存储)
热门推荐
白乔专栏
12-18 2万+
原文见此 : Druid White PaperDruid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层，一个分布式、shared-nothing的架构，和一个高级的索引结构，来达成在秒级以内对十亿行级别的表进行任意的探索分析。在这篇论文里面，我们会描述Druid的架构，和怎样支持快速聚合、灵活的过滤、和低延迟数据导入的一些细节。1. 介绍在最近几年，
【Druid】Druid读取Kafka数据的简单配置过程
caobang3250的博客
08-16 995
Druid的单机版安装参考：https://blog.51cto.com/10120275/2429912 Druid实时接入Kafka的过程 下载、安装、启动kafka过程： wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz tar -zxvf kafka_2.11-2.2.1.tgz...
Apache Druid命令执行漏洞(CVE-2021-25646)复现
weixin_46137328的博客
02-04 1578
0x00 漏洞概述Apache Druid 是用Java编写的面向列的开源分布式数据存储，旨在快速获取大量事件数据，并在数据之上提供低延迟查询。Apache Druid 包括执行用户提供的...
Apache Druid 命令执行漏洞复现(CVE-2021-25646)
m0_48520508的博客
03-22 1666
0x00简介 Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外，Druid 还有一个关键的特点：它支持根据时间戳对数据进行预聚合摄入和聚合分析，因此也有用户经常在有时序数据处理分析的场景中用到它。 0x01漏洞概述 在Druid 0.20.0及更低版本中，用户发送恶意请求，利用Apache Druid漏洞可以执行任意代码。攻击者可
Druid实战：离线HDFS与实时Kafka数据加载教程
对于本地文件，作者建议参考Druid入门示例中的三种数据摄入方法，这些方法可能包括数据源的定义、数据解析配置和任务提交流程。对于HDFS文件，由于依赖于Hadoop环境，读者需要确保Hadoop和YARN集群正常运行，然后将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值