Beyond Threading

Java线程模型与任务分解技术对比
最新推荐文章于 2023-08-08 01:23:36 发布
原创 最新推荐文章于 2023-08-08 01:23:36 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #runtime

本文探讨Java线程模型的优缺点，并对比基于任务(task-based)和消息传递(CSP)的现代并发技术，如Apple Grand Central Dispatch、Microsoft Task Parallel Library、Intel Thread Building Block等，以及它们在提高CPU效率、减少上下文切换开销等方面的应用。

Java线程模型的优点在于能够清晰的model应用逻辑流,通过对应OS里物理线程，可以利用多个处理器,或者通过切换让CPU利用率不同的线程共享一个处理器。

但是这种把应用的逻辑线程直接搬到OS的物理线程上运行的方式(*)也存在弊端：

  • Heavy weight，每个OS线程都需要内存和自己的堆栈等资源
  • Context switching，及其引起的低效率（cache污染，线程饥饿,优先级逆转..)
  • Synchronization & lock, 需用同步访问share memory和资源，而如何保证安全性，同时取得最大的效率, 如何平衡safety和liveness的关系解决起来绝非易事.

引起这些低效率很大原因是现有线程模式是粗线条的黑箱模式，runtime系统并不知道线程在干什么和它们之间的依赖关系，只是通过强制的方式(time slicing, locks, monitors)来调度协作。

另一种更加透明的方式，即把现有的线程分解成更小,轻量级的单位Task, 显示的描述这些任务单位之间的并行性和相互依赖关系，包括对同一资源的访问，有了这些信息，系统可以更高效的方式来执行这些任务。

具体的实现包括:

  • Apple Grand Central Dispatch
  • Microsoft Task Parallel Library
  • Intel Thread Building Block
  • Google Go Language

这些技术的模型都基于CSP(communicating sequential processing)

CSP模型里每个Process 内部是串行的，而Process和Process之间是并行的。这样overhead最小，更不需要有同步／锁的概念.系统的scheduler把高层模型映射到Runtime运行系统。

Runtime运行系统维护和cpu核数对等的线程池.每一个线程有自己的任务队列- double ended queue。线程从队列的头取得任务并执行，当本地队列为空时，则会从其他队列”偷”任务过来。通常情况下因为只有一个线程会访问队列的头所以不会有竞争，而队列尾出现竞争的情况也是空闲线程完成,实现了动态的自动的负载均衡和最高的CPU运行效率.

如果说GCD等基于task模型还比较低层的话，以Erlang为代表的Actor模型提供了更接近OO的抽象，同样是基于CSP,只不过Actor模型传的是message而不是closure。

Java库／框架推荐：

  • 开源的HawtDispatch库，Apple GCD 的Java实现， 作者也是ActiveMQ的开发人员，这个库短小精悍，可谓是最容易帮助上手Task based programming的工具了.http://hawtdispatch.fusesource.org/
  • 开源的Akka平台，构建于HawtDispatch之上，  功能强大：actor model， STM, 分布式＋容错功能（接近Erlang). http://akkasource.org/

(＊) Java5引入的Executor框架/ThreadPool只是改进但是没有解决根本的问题，另外Thread pool的queue本身是可能的瓶颈

转：http://www.tbdata.org/archives/1359

Java 多线程基础知识 Multithreading – Threading and Synchronization
AI天才研究院
08-07 1571
作者：禅与计算机程序设计艺术Threading is the process of executing multiple threads simultaneously on a single processor or core in order to improve the performance of an application. In multithreaded programming, each thread runs independently without interfering with o
揭秘无人机前沿领域的技术突破
AI天才研究院
06-04 447
本文旨在系统性地分析无人机技术在前沿领域的最新突破，涵盖从底层硬件到上层算法的全技术栈。我们将重点关注近三年内出现的技术创新，特别是那些已经或即将改变行业格局的关键技术。文章首先介绍无人机技术的核心概念和系统架构，然后深入分析关键技术原理和算法实现，接着通过实际案例展示技术应用，最后探讨未来发展趋势和挑战。：同步定位与建图技术，使无人机能够在未知环境中自主导航：超视距飞行，指无人机在操作员视线范围外进行飞行：实时动态差分定位技术，提供厘米级定位精度自主性提升从预编程飞行向完全自主决策演进。
关于安装过WPS导致pywin32无法调用Excel.Application的问题
FE4GLE Studio
11-12 5421
文章已迁移至博客园。
出现 -2146959355, ‘服务器运行失败‘ 错误的处理
热门推荐
weixin_42238077的博客
06-22 1万+
出现 -2146959355, ‘服务器运行失败’ 错误的处理 这一段一直被服务器运行失败所困扰,现将错误出现的状况描述如下: 刚开始运行一段用win32com库操作excel的程序也出现了类似的错误,于是改用xlwings库, 程序如下: (我的操作系统是win10, 电子表格excel 2016) import xlwings as xw app=xw.App(visible=True,add_book=False) app.display_alerts=False app.screen_updatin
python中dispatch_Python调用win32com.client.Dispatch('Word.Application')报错汗血宝马
weixin_39574943的博客
12-14 5249
我现在使用Python进行office文件操作，但是在调用win32com.client.Dispatch模块时报错，代码如下：import win32comfrom win32com.client import Dispatch,constantsw = win32com.client.Dispatch('Word.Application')错误信息如下所示：Traceback (most re...
python调用CANoe出错记录
lhybjut的博客
06-27 1125
dispatch = pythoncom.CoCreateInstanceEx
beyond compare添加右键比较功能
wanjietiam的博客
12-31 2457
编写一个添加右键批处理脚本： @ECHO OFF & CD /D "%~DP0" & TITLE 添加右键 www.ddooo.com >NUL 2>&1 REG.exe query "HKU\S-1-5-19" || ( ECHO SET UAC = CreateObject^("Shell.Application"^) > "%TEMP%\Getadmin.vbs" ECHO UAC.ShellExecute "%~f0", "%1", ""
性能优化秘籍：加速Beyond Compare处理大文件和复杂目录
![Beyond Compare 免费绿色免安装，下载即用]...本文探讨了性能优化的重要性，并对Beyond Compare的性能瓶颈进行了深入分析
Apache Airflow 核心配置及优化技巧
AI天才研究院
08-08 546
Apache Airflow是一个开源的批处理数据工作流管理系统，由Apache Software Foundation发布。Airflow是一个能够编排基于DAG(有向无环图)模型的工作流程的平台。用户可以定义任务、调度周期、依赖关系等，然后Airflow会根据定义好的计划自动执行这些任务。易于使用：Airflow UI提供友好易用的可视化界面，用户只需简单地配置任务和流程，就可以使用Airflow自动化完成相应的数据分析工作。
python com接口_python调用软件com接口问题
weixin_39564524的博客
03-01 759
实在不好意思没附上问题描述，第一次论坛问问题。有很多dll文件试着用regsvr32命令安装了如图中的，提示找不到入口点DllRegisterServer问题描述：Traceback (most recent call last):File "C:\Users\Administrator\Desktop\develop\load.py", line 14, in Vissim = com.Disp...
python设置端口控制ie浏览器_[python]使用 PAMIE 控制 IE 浏览器 | Mozillazg's Blog
weixin_39601743的博客
12-21 961
PAMIE是一套为Python写的用于Web自动化测试的工具，采用Win32COM的方式操作IE来实现。可以用 PAMIE 来进行自动提交表单、自动点击之类的工作。安装及配置从 http://sourceforge.net/projects/pamie/files/ 下载适合自己 Python 版本的 PAMIE 压缩包。本文下载的是 pamie20.zip 适用于 Python 2.x 。将压缩...
工作流模块界面打开报错
weixin_30652879的博客
06-12 143
工作流模块界面打开报错 后续将改进此BUG -----此问题已经在Sp1补丁中解决 转载于:https://www.cnblogs.com/DesignIvan/archive/2012/06/12/BuG.html
xlwings使用笔记
pencil_010的专栏
10-21 7390
1、安装xlwings 很简单，直接pip install xlwings 也可以去下载安装包到本地安装，但是由于依赖的比较多，每次安装失败还要再去找依赖包安装，很麻烦，不推荐 2、安装add-in 因为想在excel里面用VBA调用xlwings，所以需要安装插件，没这个需求的不用装 2.1、使用xlwings addin install安装插件 2.2、在excel的VBA界面里面...
CoCreateInstanceEx详解
ozhanjun的专栏
08-29 2020
CoCreateInstanceEx常用于创建远程组件，因为考虑到远程访问时要在网络上来回传递信息，所以此函数允许一次询多个接口。  CoCreateInstanceEx参数说明  共有如下六个参数，分别为：  REFCLSID   rclsid：指定要实例化COM组件的GUID  IUnknown   *punkOuter：  DWORD   dwClsCtx：指定服务器组件的类型
Python中COM口的调用
weixin_34926800的博客
11-21 6574
import serial import time t = serial.Serial('com6', 115200) #USB COM number on your PC and the transfer bit rate of the COM port. print t.portstr #Display the working UART port number on your PC. n =
PS D:\GaPinyc> & C:/Users/D衛/AppData/Local/Programs/Python/Python310/python.exe d:/GaPinyc/SQLite_sync_Mysql/center_api/app.py Traceback (most recent call last): File "d:\GaPinyc\SQLite_sync_Mysql\center_api\app.py", line 13, in <module> from routes.sync import sync_bp File "d:\GaPinyc\SQLite_sync_Mysql\center_api\routes\sync.py", line 6, in <module> from services.data_sync import DataSyncService, TARGET_TABLES, TABLE_NAME_MAPPING, SUPPORTED_CLIENT_TABLES File "d:\GaPinyc\SQLite_sync_Mysql\center_api\services\data_sync.py", line 2, in <module> from models.database import Database File "d:\GaPinyc\SQLite_sync_Mysql\center_api\models\database.py", line 8, in <module> from ..db_config import DB_CONFIG ImportError: attempted relative import beyond top-level package
最新发布
09-28
你遇到的错误： ``` ImportError: attempted relative import beyond top-level package ``` 是一个非常典型的 Python **相对导入越界错误**。它的根本原因是： > 你试图使用 `from ..db_config import DB_CONFIG` 这种“向上一级”的相对导入，但当前模块所在的包结构不完整或运行方式不支持相对导入。 --- ## 🔍 错误分析 你的目录结构大概是这样的： ``` D:\GaPinyc\SQLite_sync_Mysql\center_api\ ├── app.py ├── config/ │ └── db_config.py ├── models/ │ └── database.py ├── services/ │ └── data_sync.py ├── routes/ │ └── sync.py ``` 而你在 `models/database.py` 中写了： ```python from ..db_config import DB_CONFIG ``` 这意味着：从 `models/database.py` 向上退两层，找到 `db_config.py`。 但实际上： - `..` 是指 `models` 的父级（即 `center_api`） - 再 `..` 就是 `SQLite_sync_Mysql`，这里没有 `db_config.py` - 真正的 `db_config.py` 在 `config/` 目录下，并不在项目根目录！ 所以这个相对路径是错的，而且 Python 把 `center_api` 当作顶级包（top-level package），不允许你用 `..` 跳出去。 --- ## ✅ 正确解决方案 ### ✅ 方案一：将 `config/db_config.py` 改为绝对导入（推荐） #### 步骤 1：确保项目根路径在 `sys.path` 中 修改 `app.py` 开头，手动加入项目根路径： ```python # app.py import sys import os # 获取当前文件所在目录（D:\GaPinyc\SQLite_sync_Mysql\center_api） current_dir = os.path.dirname(os.path.abspath(__file__)) # 将父目录（D:\GaPinyc\SQLite_sync_Mysql）加入 sys.path parent_dir = os.path.dirname(current_dir) if parent_dir not in sys.path: sys.path.insert(0, parent_dir) # 现在可以导入 config.db_config from routes.sync import sync_bp ``` #### 步骤 2：修改 `models/database.py` 使用绝对导入 ```python # models/database.py from config.db_config import DB_CONFIG # ✅ 绝对导入 import pymysql from pymysql.cursors import DictCursor import logging import threading local_data = threading.local() class Database: def __init__(self): pass def get_connection(self): if hasattr(local_data, "conn") and local_data.conn.open: try: local_data.conn.ping(reconnect=True) return local_data.conn except Exception: self.close() try: conn = pymysql.connect( host=DB_CONFIG["host"], user=DB_CONFIG["user"], password=DB_CONFIG["password"], database=DB_CONFIG["database"], port=DB_CONFIG["port"], charset=DB_CONFIG["charset"], autocommit=DB_CONFIG.get("autocommit", True), cursorclass=DictCursor ) local_data.conn = conn logging.info(f"🔗 成功连接到数据库: {DB_CONFIG['database']}@{DB_CONFIG['host']}") return conn except Exception as e: logging.error(f"❌ 数据库连接失败: {e}", exc_info=True) raise ConnectionError(f"无法连接到 MySQL: {e}") def close(self): if hasattr(local_data, "conn"): try: local_data.conn.close() logging.info("🔗 数据库连接已关闭") except Exception as e: logging.warning(f"⚠️ 关闭连接时出错: {e}") finally: delattr(local_data, "conn") ``` --- ### ✅ 方案二：把 `db_config.py` 移到 `center_api` 根目录下（简单粗暴） 如果你不想处理路径问题，可以直接： ``` copy config\db_config.py center_api\db_config.py ``` 然后在 `models/database.py` 中改为： ```python from db_config import DB_CONFIG # 直接同级导入 ``` 这样就不需要相对导入了。 > ⚠️ 缺点：配置文件分散，不利于多环境管理。 --- ### ✅ 方案三：使用环境变量 + 动态配置（生产推荐） 创建一个配置加载器： ```python # utils/config_loader.py import os import json def load_db_config(): # 优先从环境变量读取 return { "host": os.getenv("DB_HOST", "192.168.110.92"), "user": os.getenv("DB_USER", "admin"), "password": os.getenv("DB_PASSWORD", "gapinyc"), "database": os.getenv("DB_NAME", "board_db"), "port": int(os.getenv("DB_PORT", 3306)), "charset": "utf8mb4", "autocommit": False } ``` 然后在 `models/database.py` 中： ```python from utils.config_loader import load_db_config DB_CONFIG = load_db_config() ``` 完全避开导入问题。 --- ## 🛠 如何验证导入是否成功？ 你可以临时加一行调试语句测试： ```python # 在 models/database.py 头部添加 import sys print("🔍 sys.path:", sys.path) ``` 看看 `D:\GaPinyc\SQLite_sync_Mysql` 是否在里面。 --- ## ✅ 最终建议结构与运行方式 ``` D:\GaPinyc\SQLite_sync_Mysql\ ├── center_api/ │ ├── app.py │ ├── routes/ │ ├── services/ │ ├── models/ │ └── config/ ← 注意！这个 config 应该和 center_api 同级？ │ └── db_config.py ``` 更合理的做法是： ``` D:\GaPinyc\SQLite_sync_Mysql\ ├── config/ │ └── db_config.py ├── center_api/ │ ├── app.py │ ├── routes/ │ ├── services/ │ └── models/ └── app.py (启动入口) ``` 然后你在项目根目录运行： ```bash cd D:\GaPinyc\SQLite_sync_Mysql python center_api/app.py ``` 并在 `app.py` 中确保 `sys.path` 包含 `.` 和 `config/` 所在目录。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值