并发01-聊聊并发

最新推荐文章于 2022-03-11 20:59:26 发布
转载 最新推荐文章于 2022-03-11 20:59:26 发布 · 147 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/CAOXIAOYANG/p/9964014.html

 

转载于:https://www.cnblogs.com/CAOXIAOYANG/p/9964014.html

Hue3921
关注
HUE批量执行HQL
feishicheng的博客
07-13 3043
HUE批量执行HQL 问题情景 公司的数据库为Hive，前端采用HUE来进行操作。 因为是通过HUE远程操作Hive，所以新建表时，就没法通过LOAD语句插入数据，只能通过INSERT INTO语句来插入，这里就出现了，本文要讲的一个小问题。执行多条语句时，HUE默认只执行最后一条。解决的办法是点这里 问题描述 假设有一张表csdn_user 表的创建语句是： CREATE TA...
【程序员的必修课】并发编程--原子性保证
weixin_44062380的博客
12-15 1063
并发编程主要探讨的问题就是原子性、可见性和有序性。其中，可见性和有序性的几乎被 volatile 关键字包办了，但是很多人对原子性的实现，只是停留在 synchronized 关键字的使用上。那该怎么实现安全、高效、无死锁的原子性呢？今天，就让我和各位聊聊 java 原子性的实现。
Hive实现并发
07-25
hive实现并发机制：hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。
[转载]聊聊并发（四）——深入分析ConcurrentHashMap
大河塬
02-08 414
文章引自infoQ，感谢方腾飞 原文地址：http://www.infoq.com/cn/articles/ConcurrentHashMap 术语定义 术语英文解释 哈希算法 hash algorithm 是一种将任意内容的输入转换成相同长度输出的加密方式，其输出被称为哈希值。 哈希表 hash table 根据设定的哈希函数H(key)
hue+oozie并发集群阻塞的调优经历
qq_30868737的博客
06-24 1302
hue+oozie并发集群阻塞的调优经历
Hue框架简介
旧时明月
08-10 2374
官网:http://gethue.com/ 源码:http://github.com/cloudera/hue hue安装指南:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献
聊聊并发系列文章
11-19
### 深入探讨《聊聊并发系列文章》 #### 一、深入分析Volatile的实现原理 **引言** 在现代软件开发中，特别是在多线程编程领域，Volatile关键字的作用不可忽视。作为一种轻量级的同步机制，Volatile能够确保多...
聊聊Java并发中的Synchronized
08-28
Java并发编程中的Synchronized是Java语言的关键特性，用于保证多线程环境下的数据一致性。它在Java并发控制中扮演着核心角色，确保共享资源在同一时刻只被一个线程访问。在Java SE 1.6及以后的版本中，Synchronized...
精选资源
聊聊高并发高可用那些事（Kafka、Redis、MySQL）
06-07
MySQL是世界上最流行的开源关系型数据库管理系统之一，其设计目标是处理大量数据，同时提供高并发和高可用性。以下是一些关键知识点： 1. **SQL语句执行流程**：当提交一个SQL语句时，MySQL会经历解析、预处理、...
实例解析C++多线程并发---异步编程
Linux高级开发的博客
03-11 2336
线程同步主要是为了解决对共享数据的竞争访问问题，所以线程同步主要是对共享数据的访问同步化（按照既定的先后次序，一个访问需要阻塞等待前一个访问完成后才能开始）。这篇文章谈到的异步编程主要是针对任务或线程的执行顺序，也即一个任务不需要阻塞等待上一个任务执行完成后再开始执行，程序的执行顺序与任务的排列顺序是不一致的。下面从任务执行顺序的角度解释下同步与异步的区别： 同步：就是在发出一个调用时，在没有得到结果之前，该调用就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由调用者主动等待这个调用的结果。 异
Cloudera Hue 使用经验分享，遇到的问题及解决方案
大数据技术杂谈
04-27 4216
在使用Cloudera Hue时遇到一问题：  1. 使用Sqoop导入功能时，由于配置错误，使得“保存运行”后Job并不能正常提交，且界面上没有相关提示。 解决办法： 使用Hue的Sqoop shell -》 start job --jid * 提交会出现一些错误提示 然后再去/var/log/sqoop/里面查看log 2. 在使用Job Designer设计Sqoo
使用HUE执行多条SQL
skyyws的博客
05-24 7055
HUE是由Cloudera贡献到apache社区的一款hadoop ui工具，可以实现对hadoop的管理，连接查询系统，例如Hive，Impala等，使用起来非常方便。但是，当我们使用HUE提交SQL的时候，默认是只会执行最后一条SQL的。因此，当我们执行如下的SQL的时候，就会报错： 会提示表不存在（图中的错误是Impala查询系统抛出的日志），因为HUE默认只会执行最后一条SQL。那么...
聊聊高并发(专栏)
零度的博客专栏
09-20 1450
http://blog.youkuaiyun.com/column/details/loveconcurrency.html
使用HUE来管理hadoop集群
热门推荐
rainysia的专栏
03-23 2万+
HUEHue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为M
深入分析Volatile的实现原理
轩辕剑仙のBLOG
02-29 684
转载地址:http://www.infoq.com/cn/articles/ftf-java-volatile&h=5 引言 在多线程并发编程中synchronized和Volatile都扮演着重要的角色，Volatile是轻量级的synchronized，它在多处理器开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。 它在
hue同时执行多个任务出现org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_153...
weixin_34355881的博客
08-06 1042
根据网上提供的方法，在core-site.xml我添加了如下配置但是好像不管用 <property><name>hadoop.proxyuser.oozie.groups</name><value>*</value></property><property><name&gt...
（21页PPT）百雀羚数字媒介第二轮沟通方案.pptx
12-31
（21页PPT）百雀羚数字媒介第二轮沟通方案.pptx
用友U8开发及用友CO开发-CO方式U8销售发货单增删改审接口开发源码.rar
最新发布
12-31
用友U8开发及用友CO开发-CO方式U8销售发货单增删改审接口开发源码
科技服务机构如何借助需求牵引型技术经纪服务突破工具手段单一，继而打造AI驱动的客户留存率？.docx
12-31
科技服务机构如何借助需求牵引型技术经纪服务突破工具手段单一，继而打造AI驱动的客户留存率？
详细聊一下 结构化并发
04-03
<think>好的，用户现在想了解“结构化并发”，我需要详细解释这个概念。之前用户问过Vector API，现在转向并发编程，可能是在学习Java的高阶特性。首先，我得确认结构化并发的定义和核心思想。 结构化并发是一种管理并发的编程范式，强调任务的结构化生命周期，类似结构化编程对流程的控制。核心是子任务的生命周期不能超过父任务，防止线程泄漏和资源浪费。用户可能在使用多线程时遇到管理复杂的问题，所以需要结构化并发的优势来简化代码。 接下来，需要介绍它的设计目标，比如避免线程泄漏、提高可维护性、简化错误处理。然后对比传统并发的问题，比如线程失控、错误处理复杂、资源泄露。用户可能对传统并发的问题有体会，所以对比能帮助理解。 版本演进部分，用户之前的问题里有版本表格，可能需要类似的结构。Java的JEP 428在19孵化，JEP 453在20预览，21中再次预览，22引入最终API。这部分要准确，用户可能关注Java的实现情况。 核心特性包括作用域、取消传播、错误处理、资源管理。需要举例说明，比如使用StructuredTaskScope，代码示例能帮助用户理解。要提到子任务必须在父作用域内，自动传播取消，集中处理异常。 适用场景方面，用户可能想知道何时使用，比如微服务并行调用、批量处理、流水线作业。注意事项如避免阻塞操作、统一作用域、超时设置，这些是实际使用中的常见问题，需要提醒用户。 对比传统并发，要突出结构化并发的优势，比如生命周期管理、错误处理、可读性。用户可能之前用ExecutorService，现在想了解更结构化的方式。 最后，未来方向可能和Project Loom相关，虚拟线程的集成，用户可能关心Java的未来发展。 需要确保语言口语化，避免术语堆砌，结构清晰，分点讲解。检查是否有遗漏点，比如代码示例的正确性，版本信息的准确性。用户可能需要实际应用，所以强调实用场景和注意事项。</think>以下是关于 **结构化并发（Structured Concurrency）** 的详细解析（聚焦其设计哲学、核心机制及在 Java 中的实现）： --- ### **1. 什么是结构化并发？** **目标**：通过 **任务生命周期嵌套** 的编程模型，确保并发任务（如线程、协程）的代码结构与控制流逻辑一致，避免传统并发编程中常见的“线程泄漏”和“资源失控”问题。 **核心思想**： - 子任务的生命周期必须严格嵌套在父任务的作用域内（类似 `try-with-resources` 对资源的管控）。 - 所有子任务的完成或失败必须被显式观察（“没有任务会被遗忘”）。 例如： ```java try (var scope = new StructuredTaskScope.ShutdownOnFailure()) { Future<Integer> task1 = scope.fork(() -> fetchDataFromA()); Future<String> task2 = scope.fork(() -> fetchDataFromB()); scope.join(); // 等待所有子任务完成 scope.throwIfFailed(); // 统一处理异常 return combine(task1.resultNow(), task2.resultNow()); } // 作用域结束时，自动取消未完成的任务 ``` --- ### **2. 设计动机** #### **传统并发的问题** - **线程泄漏**：子线程脱离父线程控制，无法保证清理（如父任务结束后子线程仍在运行）。 - **错误处理复杂**：子任务异常难以追踪和聚合。 - **资源竞争**：任务间依赖管理混乱，导致死锁或资源未释放。 #### **结构化并发的优势** - **代码可读性**：并发逻辑与代码结构一致，支持“代码即文档”。 - **可靠性**：通过作用域强制管理任务生命周期，避免资源泄漏。 - **错误传播**：子任务异常自动传播到父作用域，支持集中处理。 --- ### **3. Java 中的实现（Project Loom）** #### **版本演进** | JDK 版本 | 状态 | 关键 API | |----------|-----------|----------------------------------| | **19** | 孵化 | `StructuredTaskScope`（JEP 428） | | **20** | 预览 | 改进 API（JEP 453） | | **21** | 二次预览 | 简化异常处理 | | **22** | 正式发布 | 纳入 `java.util.concurrent` | #### **核心类** 1. **`StructuredTaskScope<T>`** - 定义并发任务的作用域，所有子任务必须在此作用域内创建。 - 支持两种策略： - `ShutdownOnFailure()`：任一子任务失败时取消其他任务。 - `ShutdownOnSuccess()`：任一子任务成功时取消其他任务。 2. **`Future<T>`** - 表示一个子任务，通过 `fork()` 提交到作用域。 --- ### **4. 核心特性** #### **(1) 作用域（Scope）绑定** - 所有子任务必须在显式的作用域内启动。 - 作用域结束时，自动取消未完成的任务（通过 `AutoCloseable` 实现）。 #### **(2) 取消传播** - 父任务取消时，所有子任务级联取消。 - 支持超时机制：`scope.joinUntil(Instant deadline)`。 #### **(3) 错误聚合** - 子任务异常通过 `throwIfFailed()` 统一抛出，保留所有异常的堆栈信息。 #### **(4) 资源安全** - 任务与作用域绑定，确保线程池、文件句柄等资源随作用域关闭自动释放。 --- ### **5. 适用场景** 1. **并行调用微服务**：同时请求多个 API 并聚合结果。 2. **批量数据处理**：拆分大任务为子任务并行处理。 3. **流水线作业**：多个阶段任务按依赖关系组织。 --- ### **6. 代码示例** ```java // 并行执行两个 HTTP 请求，任一失败则整体失败 String fetchCombinedData() throws ExecutionException, InterruptedException { try (var scope = new StructuredTaskScope.ShutdownOnFailure()) { Future<String> userTask = scope.fork(() -> httpClient.get("/user")); Future<String> orderTask = scope.fork(() -> httpClient.get("/order")); scope.join(); // 等待所有任务完成 scope.throwIfFailed(); // 检查异常 return userTask.resultNow() + orderTask.resultNow(); } // 作用域关闭时自动取消残留任务 } ``` --- ### **7. 与传统并发的对比** | **维度** | **结构化并发** | **传统并发（如 ExecutorService）** | |-------------------|----------------------------------------|-----------------------------------------| | **生命周期管理** | 通过作用域自动绑定父-子任务关系 | 需手动管理线程池关闭和任务取消 | | **错误处理** | 异常自动聚合到父作用域 | 需单独捕获每个 Future 的异常 | | **可读性** | 代码结构反映任务逻辑层级 | 回调地狱或分散的 Future 处理逻辑 | | **资源泄漏风险** | 低（作用域强制清理） | 高（易遗漏线程池关闭或任务取消） | --- ### **8. 注意事项** 1. **避免阻塞操作**：在子任务中阻塞可能影响作用域关闭的及时性。 2. **统一作用域**：同一层级的任务应共享一个作用域。 3. **超时设置**：建议为 `join()` 或 `joinUntil()` 设置超时，防止死锁。 --- ### **9. 未来方向** - **与虚拟线程（Virtual Threads）深度集成**：通过 Project Loom 实现轻量级并发（数千个虚拟线程）。 - **更细粒度的监控**：集成 JDK Flight Recorder 跟踪任务生命周期。 --- 结构化并发通过“作用域”这一抽象，将并发任务的组织方式与代码结构对齐，显著提升了复杂并发程序的可维护性和可靠性。如需深入实践，可参考 [JEP 453](https://openjdk.org/jeps/453)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值