<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[abcy071213的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/abcy071213</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; abcy071213]]></copyright><item><title><![CDATA[centos flink配置读写hbase]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163617920</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163617920</guid><author>abcy071213</author><pubDate>Mon, 10 Aug 2026 00:21:44 +0800</pubDate><description><![CDATA[Apache Flink 是一个开源流处理框架，可以用来处理有界和无界的数据流。HBase 是一个开源的、非关系型的分布式数据库，它运行在 Hadoop 上，提供了高可靠性、高性能、列式存储和可伸缩性。将 Flink 配置为读写 HBase，可以有效地结合两者的优势，用于实时数据处理和分析。]]></description><category></category></item><item><title><![CDATA[flink kafka消费消息写入到时序数据库]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163573311</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163573311</guid><author>abcy071213</author><pubDate>Fri, 07 Aug 2026 23:25:23 +0800</pubDate><description><![CDATA[在使用Apache Flink和Apache Kafka进行实时数据处理并将数据写入时序数据库（例如InfluxDB、Prometheus、OpenTSDB等）时，你可以遵循以下步骤来实现这一功能。这里我将以最常见的时序数据库InfluxDB为例，展示如何配置和使用Flink来消费Kafka中的消息并写入InfluxDB。]]></description><category></category></item><item><title><![CDATA[hbase-site.xml配置spark]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163572998</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163572998</guid><author>abcy071213</author><pubDate>Fri, 07 Aug 2026 22:20:28 +0800</pubDate><description><![CDATA[在Apache Spark中使用Apache HBase，通常需要通过配置文件来指定如何连接和访问HBase。Spark通过文件读取HBase的配置信息。如果你正在使用Spark来与HBase交互，比如读取或写入数据，你需要确保Spark能够正确加载这些配置。]]></description><category></category></item><item><title><![CDATA[scala playframework 搭建与新建controller教程]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163450253</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163450253</guid><author>abcy071213</author><pubDate>Mon, 03 Aug 2026 20:33:22 +0800</pubDate><description><![CDATA[是 Play Framework 中定义 HTTP 处理器的基础写法，其核心在于Action后必须跟随‌‌返回Result，常见变体包括带请求参数、指定解析器、异步处理及占位实现。‌‌。]]></description><category></category></item><item><title><![CDATA[scala 多线程写入tdengine实例]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163440798</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163440798</guid><author>abcy071213</author><pubDate>Mon, 03 Aug 2026 13:50:52 +0800</pubDate><description><![CDATA[定义一个函数来执行写入操作。这个函数将接收一个连接和一个要写入的数据。)"statement.setString(1, "key") // 根据你的数据结构调整参数设置statement.setString(2, data) // 根据你的数据结构调整参数设置。]]></description><category></category></item><item><title><![CDATA[flink分区]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163198880</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163198880</guid><author>abcy071213</author><pubDate>Sat, 25 Jul 2026 22:22:27 +0800</pubDate><description><![CDATA[Flink 分区是指‌‌，核心作用是决定上游数据如何路由到下游并行实例，以支持并行计算、负载均衡及状态一致性。‌‌。]]></description><category></category></item><item><title><![CDATA[dolphindb 内存分区表crud]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163191771</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163191771</guid><author>abcy071213</author><pubDate>Sat, 25 Jul 2026 13:09:48 +0800</pubDate><description><![CDATA[在DolphinDB中，内存分区表是一种高效的存储方式，适用于快速读写操作的场景。当你需要向内存分区表新增数据时，可以使用append!函数或者insert!函数来实现。这两种方法各有特点，可以根据你的具体需求选择使用。]]></description><category></category></item><item><title><![CDATA[dolphindb 内存表crud]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163191198</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163191198</guid><author>abcy071213</author><pubDate>Sat, 25 Jul 2026 12:49:54 +0800</pubDate><description><![CDATA[在DolphinDB中，内存表（Memory Table）是一种高效的数据结构，特别适用于快速的数据插入和查询。如果你想要向内存表中新增数据，你可以使用。语句用于向表中插入新的行。如果你知道要插入的数据，可以直接使用这个语句。通过以上方法，你可以有效地向DolphinDB的内存表中新增数据。如果你想要在表中插入数据，如果记录已存在则更新该记录，可以使用。语句，具体选择哪种语句取决于你的需求。为1的记录已存在，则更新该记录的。如果不存在，则插入新记录。例如，如果你有一个名为。]]></description><category></category></item><item><title><![CDATA[dolphindb 分区表crud]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163190569</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163190569</guid><author>abcy071213</author><pubDate>Sat, 25 Jul 2026 12:20:46 +0800</pubDate><description><![CDATA[在DolphinDB中，如果你想要向一个分区表（partitioned table）中新增一条数据，可以使用。分区表在DolphinDB中是一种高效的数据组织方式，它可以帮助你根据时间或其它维度快速查询数据。的分区表，该表按照日期进行分区。通过以上方法，你可以有效地向DolphinDB的分区表中插入数据。如果你需要插入多条数据，使用批量插入可以提高效率。参数表示自动根据分区键将数据分散到不同的分区中。分别代表你想要插入数据的各个字段。函数用于批量加载数据到表中，其中。插入一条新的交易记录。]]></description><category></category></item><item><title><![CDATA[dolphindb 分布式表crud语句]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163174721</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163174721</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 22:59:45 +0800</pubDate><description><![CDATA[在 DolphinDB 中，写入操作通常是在事务中完成的。如果你在多个操作中使用了。通过以上步骤，你可以有效地将数据写入到 DolphinDB 的分布式表中。如果你已经有了一个包含数据的表对象，你可以直接使用。首先，你需要有一个分布式表。你可以先将数据加载到本地表，然后使用。或其他修改数据的操作，确保最后调用。函数将数据追加到分布式表中。语句在分布式数据库中创建。将这个本地表转换为分布式表。你也可以使用 SQL 的。创建一个本地表，然后。]]></description><category></category></item><item><title><![CDATA[dolphindb 内存分区表]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163174454</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163174454</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 22:28:47 +0800</pubDate><description><![CDATA[DolphinDB 内存分区表是‌‌，旨在通过细粒度锁机制提升并发读写性能并利用多核并行计算，‌‌且服务重启后数据丢失。‌‌。]]></description><category></category></item><item><title><![CDATA[dolphindb 维度表]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163174103</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163174103</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 22:16:34 +0800</pubDate><description><![CDATA[‌存储机制‌：位于分布式文件系统（DFS）中，但‌不进行数据分区‌；查询触发时自动将全表载入内存缓存，后续访问直接读内存。‌适用场景‌：存储主数据/字典表（如股票代码映射、车间信息、参数配置），数据量通常较小（建议百万行以内），更新频率低。‌性能特点‌：支持LEFT JOIN高效打宽流表或事实表；首次加载有 I/O 开销，之后近乎零延迟；若数据持续增长未清理可能导致内存膨胀。‌限制‌：不支持分区裁剪；并发写入需配置；旧版本重启后缓存不自动释放需手动清理。‌‌。]]></description><category></category></item><item><title><![CDATA[dolphindb 分区表]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163174058</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163174058</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 21:53:05 +0800</pubDate><description><![CDATA[DolphinDB 分区表是将数据按指定列（分区列）分割存储于不同分区（内存或磁盘/分布式）的大表结构，核心目的是通过‌‌提升查询效率、支持海量数据管理及并行计算。‌‌。]]></description><category></category></item><item><title><![CDATA[dolphindb 内存表]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163174019</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163174019</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 21:49:24 +0800</pubDate><description><![CDATA[在 DolphinDB 中，内存表是一种非常灵活且高效的数据结构，适用于快速数据处理和实时分析。内存表的数据存储在内存中，这使得数据的读写速度非常快，但同时也意味着数据在服务器重启后会丢失。如果你需要持久化数据，可以使用持久化表（例如磁盘表或分布式表）。要创建内存表，你可以使用函数，并通过指定表的类型为TABLE来创建内存表。]]></description><category></category></item><item><title><![CDATA[dolphindb 分布式表]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163173692</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163173692</guid><author>abcy071213</author><pubDate>Fri, 24 Jul 2026 21:41:26 +0800</pubDate><description><![CDATA[‌存储机制‌：数据落盘持久化，分布在不同数据节点的磁盘上，通过dfs://路径标识；逻辑上统一访问，物理上分片存储。‌关键优势‌：水平扩展至 PB 级容量、多副本高可用、查询自动触发 MapReduce 并行计算、支持事务 ACID 特性（v1.30.6+）。‌适用场景‌：海量时序数据（如 IoT、金融行情）、需长期持久化且单节点内存无法承载的大规模数据分析。‌‌。]]></description><category></category></item><item><title><![CDATA[spark driver任务调度详解]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163142407</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163142407</guid><author>abcy071213</author><pubDate>Thu, 23 Jul 2026 21:31:35 +0800</pubDate><description><![CDATA[在Apache Spark中，任务调度是一个关键的组成部分，它确保了Spark作业能够在集群上高效地执行。Spark的任务调度器（Task Scheduler）主要负责将应用程序分解成任务（Task），并将这些任务分配给集群中的工作节点（Worker Nodes）执行。]]></description><category></category></item><item><title><![CDATA[spark核心组件]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163141587</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163141587</guid><author>abcy071213</author><pubDate>Thu, 23 Jul 2026 20:19:14 +0800</pubDate><description><![CDATA[启动后，Driver 会向集群管理器（如 YARN ResourceManager 或 Standalone Master）注册应用程序，申请运行所需的资源（Executor）。一旦资源就绪，Executor 进程启动并向 Driver 反向注册，Driver 随即开始将代码逻辑转化为 Job，进而划分为 Stage 和 Task，分发到各个 Executor 上执行。负责运行用户的 main 方法，创建 SparkContext，协调整个应用的执行，负责任务划分和调度。]]></description><category></category></item><item><title><![CDATA[hadoop yarn调度器分配container]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163138106</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163138106</guid><author>abcy071213</author><pubDate>Thu, 23 Jul 2026 16:49:22 +0800</pubDate><description><![CDATA[在Hadoop YARN中，容器（Container）是YARN用来运行应用程序的抽象单位。YARN调度器（Scheduler）负责为应用程序分配资源，包括CPU、内存等，以运行这些容器。]]></description><category></category></item><item><title><![CDATA[hadoop yarn文件切片配置的几种方式]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163137077</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163137077</guid><author>abcy071213</author><pubDate>Thu, 23 Jul 2026 16:15:50 +0800</pubDate><description><![CDATA[在Hadoop YARN中，处理大文件或进行大数据处理时，有时需要将大文件切割成小块，以提升数据处理效率和并行度。YARN本身并不直接提供文件切分的工具，但可以通过几种方式来实现这一需求，特别是在使用MapReduce或Spark等框架时。]]></description><category></category></item><item><title><![CDATA[flink datastream调用8种分区策略实例]]></title><link>https://blog.youkuaiyun.com/abcy071213/article/details/163132451</link><guid>https://blog.youkuaiyun.com/abcy071213/article/details/163132451</guid><author>abcy071213</author><pubDate>Thu, 23 Jul 2026 13:20:28 +0800</pubDate><description><![CDATA[你可以实现自定义的分区逻辑，通过方法。这需要你提供一个自定义的分区器。.map(value -> value) // 示例操作// 设置并行度为8其中是一个实现了接口的类。]]></description><category></category></item></channel></rss>