数据相关
文章平均质量分 68
数据治理,数据服务相关
DoWeixin6
郭家佑 +V:doWeiXin6 作为优快云资深开发者,深耕技术领域十余载,精通C++、Android、Java等多语言开发,对数据库、大数据技术及硬件开发亦有深入实践经验。实战经验丰富,主导完成多个项目交付落地,组建及带领开发、运维及大数据团队攻克技术难题。期待与各位同行在优快云平台多多交流,若有合作契机,欢迎随时沟通!欢迎关注。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【modbus】数据采集系统
在Modbus电表数据采集方案中,指标报表是连接“原始数据”与“业务决策”的核心载体,需覆盖基础电参数、能耗分析、异常告警、设备状态四大维度,以下为标准化报表设计(含核心指标、呈现形式及数据来源):一、基础电参数日报表(核心:实时数据汇总)报表用途每日记录单块/多块电表的关键电参数,用于基础用电情况核查(如物业日常抄表、企业用电对账)。核心指标指标名称 单位 数据来源(Modbus寄存器示例) 统计逻辑电表编号 - 电表设备编号(预设) 唯一标识。原创 2025-08-23 15:33:10 · 1455 阅读 · 0 评论 -
【请关注】采购与存储管理相关主数据说明
采购执行环节中,采购交货流程涵盖收货(MIGO移动类型101)、退货(MBST冲销)及转储(MB1B调拨)操作,实时更新库存状态(非限制使用、质检中、冻结)。财务结算阶段,采购发票校验(MIRO)强制执行“三单匹配”原则,即采购订单、收货单与发票信息需完全一致,同时通过容差控制功能灵活处理价格与数量的微小差异,避免结算争议。全流程以组织架构(公司代码、工厂、库存地点)为核心载体,通过权限控制与流程审批,实现采购闭环管理与财务合规,有效降低采购成本、提升供应链响应效率,为企业经营决策提供精准数据支撑。原创 2025-06-29 15:03:29 · 418 阅读 · 0 评论 -
【请关注】制造企业机械加工数据脱敏解决方案
本文针对制造企业机械加工领域的数据安全问题,提出了一套系统化脱敏解决方案。方案首先对机械加工数据进行科学分类分级,将数据分为产品设计、生产工艺、设备运行等五大类,并按敏感程度划分为公开、内部、敏感、核心四个等级。在技术层面,详细介绍了静态脱敏(替换、屏蔽、泛化、加密)和动态脱敏(基于规则和策略)的具体应用场景。方案还设计了完整的脱敏流程,包括需求分析、方案开发、验证测试等环节,并强调通过组织架构优化、制度建设、人员培训和技术保障等措施确保方案落地。该方案兼顾数据安全与业务需求,为制造企业数字化转型过程中的数原创 2025-06-27 23:32:14 · 762 阅读 · 0 评论 -
【请关注】mysql一些经常用到的高级SQL
SUM(CASE WHEN order_type = '服装' THEN 1 ELSE 0 END) AS clothes_orders,SUM(CASE WHEN order_type = '食品' THEN 1 ELSE 0 END) AS food_orders,SELECT CONCAT('订单金额:', CAST(amount AS CHAR)) AS order_info。- 类型转换:隐式转换可能导致意外错误(如 'abc' + 1 会转为 0 + 1 ),建议优先使用显式转换。原创 2025-06-20 01:51:51 · 635 阅读 · 0 评论 -
【请关注】hBase要用的顺畅的思路
平时查数据,只要RowKey设计得好,直接就能定位到对应的Region,速度快得很。但RowKey要是拍脑袋瞎写,比如全按时间戳排序,那准得出大问题——数据全往一个Region挤,妥妥的热点,集群直接卡住。简单点的办法是建个索引表,把要查的字段和RowKey对应起来存好,查的时候先扫索引表捞RowKey,再去主表捞数据。调参数时,我一般会根据服务器内存和读写比例,把BlockCache设成堆内存的30% - 40%,MemStore的刷盘阈值也得根据写入频率微调,刷得太勤影响性能,攒太多又怕宕机丢数据。原创 2025-06-17 16:55:47 · 226 阅读 · 0 评论 -
【请关注】市面上各种数据库,你看看你接触了哪些?
85. LinkedIn Espresso(可横向扩展的面向文档NoSQL数据存储)46. ORC(Optimized Row Columnar,列式存储格式)55. Prometheus(主要用于监控数据存储,也可看作时序数据库)28. HDFS(Hadoop分布式文件系统,可视为数据存储基础)93. Facebook Corona(优化的Hadoop处理)83. Facebook Apollo(类似NoSQL数据库)84. jumboDB(基于Hadoop的面向文档数据存储)原创 2025-06-09 10:36:02 · 366 阅读 · 0 评论 -
【请关注】MySQL 碎片整理提升性能
MySQL碎片整理操作指南:1. InnoDB表使用OPTIMIZETABLE命令整理碎片,但会锁表;2. 通过CREATE...SELECT或ALTERTABLE重建表可减少锁表时间;3. MyISAM表需定期整理,可批量优化碎片较多的表。操作前务必备份数据,建议在低峰期执行,生产环境需谨慎处理。根据不同表引擎和数据量选择合适方法,以提升查询性能并减少对业务影响。原创 2025-06-05 19:50:53 · 684 阅读 · 0 评论 -
【请关注】MySQL 中常见的加锁方式及各类锁常见问题及对应的解决方法
MySQL常见锁机制及优化方案 摘要:MySQL主要锁机制包括表锁(MyISAM)、行锁(InnoDB)、意向锁、间隙锁和乐观锁。表锁粒度大但并发性低,行锁精度高但需索引支持。间隙锁在可重复读级别防止幻读,乐观锁通过版本控制实现。常见问题包括锁升级、死锁和高竞争。优化建议:1)合理选用存储引擎;2)确保有效索引;3)缩短事务时间;4)按顺序访问数据;5)监控锁状态;6)考虑分库分表。通过合理配置锁机制可显著提升数据库并发性能。原创 2025-06-03 23:55:06 · 788 阅读 · 0 评论 -
【请关注】各类数据库优化,抓大重点整改,快速优化空间mysql,Oracle,Neo4j等
SELECT OWNER, TABLE_NAME, (SELECT COUNT(*) FROM ALL_TABLES WHERE TABLE_NAME = t.TABLE_NAME AND OWNER = t.OWNER) AS `记录数`SELECT OBJECT_NAME(object_id) AS `表名`, (SELECT COUNT(*) FROM sys.tables WHERE OBJECT_NAME(object_id) = t.name) AS `记录数`原创 2025-05-30 11:16:36 · 748 阅读 · 0 评论 -
(请关注)Oracle性能调优、优化总结调优参考直接应用,性能提升实用案例
*注解**:分析执行计划中的`FULL TABLE SCAN`、`INDEX RANGE SCAN`等操作,判断是否缺失索引或统计信息过期。**注解**:绑定变量避免重复解析SQL语句,减少共享池的争用(如`library cache lock`)。2. **I/O优化**:使用SSD、调整`DB_FILE_MULTIBLOCK_READ_COUNT`。- **动态性能视图**:`v$session`, `v$sql`, `v$system_event`- **AWR报告**:`@?原创 2025-05-26 12:16:11 · 714 阅读 · 0 评论 -
【请关注】请关注—MySQL各种优化汇总一次性掌握
*用例**:查询条件常同时使用 `status` 和 `create_time` 时,建立联合索引。57. **设置 `innodb_flush_log_at_trx_commit=2`****用例**:`UPDATE` 或 `DELETE` 必须带 `WHERE` 条件。**用例**:改用 `LEFT JOIN` 或 `NOT EXISTS`。**用例**:已有 `(a, b)` 索引时,不再单独创建 `(a)` 索引。**用例**:为高频查询字段(如用户表的 `user_id`)建立索引。原创 2025-05-26 08:23:29 · 1040 阅读 · 0 评论 -
【请关注】各类MySQL数据备份还原分享
MySQL数据备份是确保数据安全的重要任务,常用的备份方法包括逻辑备份和物理备份。逻辑备份工具如mysqldump和mysqlpump,支持全库、单表及事务备份,SELECT INTO OUTFILE可用于导出单表数据。物理备份方法包括直接复制数据目录和使用工具如Percona XtraBackup进行热备份。复制技术如主从复制和组复制也可作为实时备份方案。快照备份如LVM快照和云平台快照提供了快速备份选项。第三方工具如mydumper和Automysqlbackup提供了更高效的备份方案。备份策略应结合完原创 2025-05-23 11:07:38 · 1036 阅读 · 0 评论 -
亲测SINUMERIK西门子828D/840Dsl数控系统IP地址参数设定
如果需要自动化的采集加工产量,监控设备运行的状态,自己运维设备使用寿命,第一步就需要对接上SINUMERIK西门子828D/840Dsl数控系统,通过网线连接,连接之前先IP地址参数设定,亲测SINUMERIK西门子828D/840Dsl数控系统IP地址参数设定方法如下。为实现生产设备的智能化管理(包括自动化产量采集、设备状态监控及寿命周期管理),需首先完成SINUMERIK西门子828D/840Dsl数控系统的数据对接。- 系统路径:系统按键 → 诊断 → TCP/IP配置。工业设备数字化管理方案实施。原创 2025-02-18 13:01:32 · 2248 阅读 · 0 评论 -
ETL工具之kittle使用案例整理
ETL工具之kittle使用案例整理原创梦想编织着青春``` 最后发布于2018-12-28 17:18:47 阅读数 1446 收藏展开博主花了一下午时间,收集全网,学习了下kittle,觉得该大v写的不错,特意整理给大家!学会这几个案例kittle基本就没问题了。1.kettle案例一抽取gz格式文本内容保存到mongodbhttps://blog.youkuaiyun.com/z...原创 2020-03-11 00:18:34 · 412 阅读 · 0 评论
分享