- 博客(871)
- 资源 (1)
- 收藏
- 关注
原创 大模型领域中模型压缩与高效推理的核心技术之一:量化技术
它通过在精度和效率之间寻找最佳平衡点,使得庞大的模型能够运行在资源受限的设备上,并实现实时或准实时的推理。对称量化更简单,计算开销更小,但如果原始张量分布不对称,会浪费一部分整数表示范围。在深入了解量化之前,首先要明白其驱动力。这样,整个计算的核心部分就从FP32计算转移到了高效的INT8计算上。给定一个浮点数张量 ( F ),我们将其量化为整数张量 ( Q )。将整数张量 ( Q ) 转换回近似的浮点数张量 ( F’ )。这是量化技术的核心分类,理解它们至关重要。量化的精细程度不同,对精度的影响也不同。
2025-10-08 14:43:32
773
原创 PyTorch 的 Autograd 系统进行一次全面且深入的详解
叶子张量:用户直接创建的张量,不是通过操作产生的非叶子张量:通过对叶子张量进行操作得到的张量x = torch.tensor(2.0, requires_grad=True) # 叶子张量y = x ** 2 # 非叶子张量z = y + 1 # 非叶子张量ctx.save_for_backward(input) # 保存输入供反向传播使用grad_input[input < 0] = 0 # ReLU的导数# 使用自定义函数。
2025-10-08 12:06:37
759
原创 全面详解 PyTorch 中的优化器
学习率是首要超参数: 如果损失不下降(LR太小)或变成NaN(LR太大),首先调整学习率。使用学习率查找器是一个好方法。Adam/AdamW 的默认参数通常很好和eps=1e-8在绝大多数情况下不需要修改。权重衰减很重要: 即使是很小的值(如 1e-4)也能显著影响泛化能力。配合学习率调度器: 静态的学习率通常不是最优的,使用调度器(如余弦退火或)能带来巨大提升。监控训练过程: 使用 TensorBoard 或 WandB 监控损失和梯度直方图,这能帮助你诊断优化问题。
2025-10-08 11:55:10
1218
原创 GraphRAG 一种将知识图谱与检索增强生成相结合的高级 RAG 架构
GraphRAG是一种将知识图谱与检索增强生成相结合的高级 RAG 架构。它的核心思想不是将文档简单地切分成孤立的文本块,而是从整个文档集中提取出实体、概念以及它们之间的复杂关系,构建一个结构化的、全局的知识图谱。在回答问题时,系统从这个图谱中检索相关的子图作为上下文,提供给 LLM 生成答案。传统 RAG:检索与问题最相似的几段文本。GraphRAG:检索与问题最相关的一组相互关联的事实和概念。GraphRAG代表了 RAG 技术发展的一个重要方向,它通过引入符号主义(知识图谱)来增强连接主义。
2025-10-08 11:40:38
857
原创 RAG项目中需要用到的技术点,需要可以自取并大胆尝试
一个成熟的RAG项目是一个复杂的系统工程,其技术栈横跨了数据处理、机器学习、软件工程和运维多个领域。从简单的原型到生产可用的系统,关键在于持续地迭代、评估和优化,尤其是在数据质量、检索精度和生成忠实度这三个核心环节上。
2025-10-08 11:30:57
730
原创 安装gemini-fullstack-langgraph-quickstart
2.去这里下载了对应的源码包https://github.com/google-gemini/gemini-fullstack-langgraph-quickstart。1.用了翻墙软件 申请了gemini 和langgraph的api。
2025-09-15 15:50:16
694
原创 GIS地理信息系统建设:高精度3D建模
fill:#333;color:#333;color:#333;fill:none;厘米级精度全要素还原物理属性集成动态实时更新地形/建筑/植被地下管网水利设施材质属性结构强度传感器驱动时序变化。
2025-07-26 18:27:19
1850
原创 智慧水库边缘计算技术路线与框架设计
fill:#333;color:#333;color:#333;fill:none;云边协同层边缘管理层边缘计算层边缘感知层设备层配置下发模型更新数据同步容器编排资源调度安全管理实时数据处理本地AI推理规则引擎协议适配数据采集设备管理水位计雨量计摄像头闸门传感器设备层边缘感知层边缘计算层边缘管理层云边协同层中心云平台。
2025-07-26 18:10:22
823
原创 智慧水库管理平台数据清洗实施方案
通过系统化的数据清洗实施方案,智慧水库管理平台可建立高质量的数据基础,为水库安全运行、洪水预警和水资源优化调度提供可靠的数据支撑。
2025-07-26 17:53:45
1168
原创 智慧水库管理系统中标签工厂的建立方案
"设备": ["水位计", "雨量计", "闸门控制器", "摄像头"],"状态": ["正常", "告警", "离线", "维护中"],"位置": ["大坝", "溢洪道", "进水口", "库区"],"优先级": ["紧急", "重要", "一般"],"自定义": []"""创建新标签""""""按分类获取标签"""
2025-07-26 17:22:46
950
原创 Cesium 中结合 OpenCV.js 对影像图层进行分割,并将结果转为 GeoJSON 加载到地图
在 Cesium 中结合 OpenCV.js 对影像图层进行分割,并将结果转为 GeoJSON 加载到地图,需要以下步骤:首先,需要从 Cesium 的 中提取当前视图的影像像素数据(RGB 或 RGBA)。2. 使用 OpenCV.js 进行图像分割加载 OpenCV.js 并应用图像分割算法(如 阈值分割、边缘检测、语义分割)。在 HTML 中引入 OpenCV.js:(2) 图像分割(示例:基于颜色阈值的水体提取)3. 提取轮廓并转为 GeoJSON将 OpenCV 检测到的轮廓()
2025-07-25 17:54:25
1237
原创 智慧水库信息化系统建设产品需求文档V2.0
传统水库管理面临数据采集不及时、分析手段有限、决策依赖经验等问题,难以应对复杂多变的水文情势和日益增长的管理需求。随着物联网、大数据、人工智能等技术的发展,智慧水库建设成为必然趋势。通过构建智慧水库信息化系统,可实现对水库全要素的实时监测、智能分析和精准调度,提高水库的安全性、经济性和生态效益。
2025-07-19 16:31:15
636
原创 LangGraph是一个基于图计算的大语言模型应用开发框架
LangGraph是一个基于图计算的大语言模型应用开发框架,它通过将复杂任务分解为多个节点并构建执行图来实现高效的LLM应用开发。使用前请替换示例中的OpenAI API密钥,并根据实际需求调整节点和图谱结构。
2025-07-19 16:24:42
826
原创 智慧资产管理系统需求文档
资产报表生成:自动生成资产清单、折旧报表、使用状况报表、采购报表等多种标准报表,支持报表格式自定义(如 Excel、PDF),可按部门、时间、资产类别等维度筛选数据生成报表。巡检管理:制定资产巡检计划,设定巡检路线、时间、内容,巡检人员利用移动设备记录资产运行状态、异常情况,上传照片或视频,系统自动生成巡检报告,对异常资产及时预警。可视化展示:通过柱状图、折线图、饼图等直观图表,展示资产总量、分布、价值变化等关键信息,实时监控资产动态,辅助管理层快速了解资产状况,做出科学决策。
2025-07-19 16:20:08
376
原创 物联网-规则引擎的定义
构建物联网规则引擎是一个结合了流数据处理规则逻辑评估动作执行调度和系统管理的复杂任务。强烈建议优先考虑基于成熟的开源流处理框架(如 Apache Flink)进行构建,因为它提供了处理实时数据流所需的核心能力(高性能、低延迟、状态管理、容错、扩展性)。在此之上,设计和实现规则定义语言/DSL、规则管理接口、与设备元数据/状态的集成以及可靠的动作执行机制。充分利用消息队列解耦各组件,并始终将可靠性(不丢数据、动作最终执行)、幂等性(防止重复动作)和可观测性(日志、指标、追踪)作为设计核心原则。
2025-07-19 15:56:30
1196
原创 物联网设备数据通过MQTT协议上传数据到minio中
1.2需要安装MQTT服务(这里使用的是mosquitto 与MQTT客户端)mosquitto作为服务使用 MQTT作为模拟终端使用。这样就是实现了物联网设备数据通过MQTT协议上传数据到minio中。这里只是测试用,说明是可行的,后期参与设计时需要将其参数化。2.编程语言使用的python。1.1需要安装minio服务。
2025-07-17 14:31:02
425
原创 opentopography无法注册 改用天地图
终极修改 修改的文件为上面下载的blender gis插件下BlenderGIS\operators\utils中的bgis_utils.py 大约位置为107行。然后回到blender中再次安装修改好的文件 和填充上对应的天地图token,就可以了。天地图中的官网地址:http://lbs.tianditu.gov.cn/1.下载天地图插件以及对应问题处理的包。2.1截图(ctrl+E)后出错。2.下载后可能会出现问题。
2025-07-15 16:42:42
252
原创 大模型数据集自动化标注技术指南
自动化标注不是完全取代人工,而是构建"人机协作"的高效工作流。最佳实践是结合自动化效率和人类专业判断,根据具体任务需求灵活选择技术组合。:使用现有大模型生成伪标签。
2025-07-13 09:11:36
788
原创 本地大模型开发环境搭建指南
此环境支持从模型推理到微调的全流程开发,可根据硬件条件选择合适方案。建议从量化小模型开始,逐步扩展到更大模型。:首次运行需下载模型权重(7B模型约15GB),建议使用。
2025-07-13 09:06:29
896
原创 物联网设备数据驱动3D模型的智能分析与预测系统
该系统整合了物联网、3D可视化和AI预测技术,通过数据湖实现多源数据融合,为设备监控和预测性维护提供全面解决方案。实际部署时建议使用云原生架构(Kubernetes)实现弹性扩展。MQTT + Kafka + MinIO (S3兼容存储)Three.js + WebSocket实时数据。
2025-07-12 12:00:26
399
原创 大模型微调与精调实施方案及代码实例
2023年后主流方案QLoRA(4-bit量化 + LoRA)在保持95%性能的同时,使7B模型可在24GB消费级GPU运行,13B模型在40GB专业卡运行。Triton推理服务器。TensorRT加速。
2025-07-12 11:52:59
536
原创 物联网数据预测性评估与弹性愈合系统
fill:#333;color:#333;color:#333;fill:none;核心组件实时数据流控制指令时序数据库数据处理管道预测模型集群预测性评估引擎愈合策略库弹性愈合控制器物联网设备数据采集层可视化监控。
2025-07-12 11:49:33
775
原创 BatchNorm 与 LayerNorm:原理、实现与应用对比
Batch Normalization (批归一化) 和 Layer Normalization (层归一化) 是深度学习中两种核心的归一化技术,它们解决了神经网络训练中的问题,大幅提升了模型训练的稳定性和收敛速度。
2025-07-12 11:41:56
805
原创 人工智能核心技术与前沿技术的系统性解析
据麦肯锡预测,到2030年AI技术将为全球经济贡献**$13万亿美元**,其发展速度遵循"超指数规律"——2023年AI进步超过过去10年总和。掌握核心技术矩阵的企业将在新智能时代获得决定性优势。循环网络-RNN/LSTM。
2025-07-12 11:33:21
469
原创 物联网+人工智能+大数据+低空经济+可信数据空间融合方案
fill:#333;color:#333;color:#333;fill:none;安全体系实时数据采集数据预处理联邦学习决策输出数据资产化数据洞察控制指令区块链存证可信数据空间隐私计算AI分析引擎数据脱敏大数据平台物联网设备层边缘计算层低空经济应用。
2025-07-12 11:30:05
912
原创 将Blender、Three.js与Cesium集成构建物联网3D可视化系统
该技术组合完美覆盖物联网系统从微观设备到宏观地理的3D可视化需求,通过Blender保证模型质量,Three.js实现高交互性设备展示,Cesium提供地理空间上下文,形成完整的数字孪生解决方案。典型实施案例包括国家电网设备管理系统(日均处理20TB传感器数据+10万+3D模型实时渲染)。将Blender、Three.js与Cesium集成构建物联网3D可视化系统,可实现从精细设备建模到宏观地理空间展示的全栈能力。GLTF/GLB格式。
2025-07-11 17:28:19
1183
1
原创 可信数据空间(Trusted Data Space)核心能力及行业赋能分析
可信数据空间(Trusted Data Space)作为新一代数据共享基础设施,通过技术创新和治理框架的结合,为多行业提供安全、可控的数据流通能力。
2025-07-11 15:42:14
1175
原创 光伏发电园区管理系统 - Three.js + Django 实现方案
我将设计一个基于Three.js和Django的光伏发电园区管理系统,包含3D可视化、实时监控和数据分析功能。API请求数据存储数据存储数据存储获取获取前端 - Three.jsDjango后端数据库外部API光伏设备数据气象数据发电数据实时天气电价信息技术栈与依赖前端:后端:其他依赖:2. 数据库模型设计 ()3. Django 视图与API ()4. Three.js 光伏园区可视化 ()5. 前端主界面 ()6. 前端主逻辑 ()系统功能亮点三维光伏园区可视化:实时
2025-07-05 11:18:16
1236
可用指标 提供以下与 Tomcat 相关的指标: 线程池指标 会话指标 请求处理器指标 数据库连接池指标 Tomcat 版本信
2024-11-18
Prometheus 监控tomcat的运行情况
2024-11-18
格式化输出双String类类型的json格式字符串
2023-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅