
数据库
文章平均质量分 65
动亦定
这个作者很懒,什么都没留下…
展开
-
Java集成InfluxDB
通过InfluxDB的Java客户端,可以轻松地将硬件设备发出的数据存储到时序数据库中。主要步骤包括创建客户端、写入数据点和查询数据。InfluxDB的高效存储和查询能力使其非常适合处理物联网设备的实时数据。原创 2025-03-08 10:14:10 · 375 阅读 · 0 评论 -
物联网实时数据存储方案选择
选择存储方案时,需综合考虑数据类型、访问频率、延迟要求、扩展性、成本等因素。通常,时序数据库适合实时数据,NoSQL适合非结构化数据,关系型数据库适合结构化数据,分布式文件系统和数据湖适合大规模存储,边缘存储适合低延迟场景。原创 2025-03-08 10:04:26 · 578 阅读 · 0 评论 -
200W数据去重入库的几种方法及优缺点
数据一致性方面,方法一在数据库内去重,可以利用数据库的事务和约束(如唯一索引)来保证数据一致性,但如果在去重过程中出现故障,可能需要回滚或修复。方法二如果在应用层去重,需要确保去重逻辑正确,否则可能导致数据重复,特别是多线程处理时需注意线程安全。方法二在入库时已经是去重后的数据,减少了数据库的写入压力,但需要应用层处理去重,可能消耗更多应用服务器资源。资源消耗方面,方法一可能对数据库资源消耗更大,因为需要在数据库内进行去重操作,尤其是处理200万数据时,可能占用大量CPU和内存。另外,是否需要实时性。原创 2025-03-05 17:16:21 · 687 阅读 · 0 评论 -
200W数据需要去重,如何优化?
优化去重逻辑的时间取决于多个因素,包括数据量、数据结构、硬件性能(CPU、内存)、去重算法的实现方式等。原创 2025-03-05 16:46:49 · 846 阅读 · 1 评论 -
处理200万条数据去重并入库,耗时100秒,如何优化进一步提升性能?
内存去重:使用高效的数据结构(如HashSet或HashMap)在内存中去重,避免重复数据进入数据库。分批去重:如果内存不足,可以将数据分批次去重,减少内存压力。并行去重:使用多线程并行处理去重任务。原创 2025-03-05 16:32:26 · 426 阅读 · 0 评论 -
多线程构建树结构(优化树结构构建慢问题)
多线程构建树结构(优化)原创 2024-11-23 10:23:40 · 497 阅读 · 0 评论 -
请sql查出version、os 一致的手机号码(一张表中有多个字段数据一致的统计)
请sql查出version、os 一致的手机号码表结构如下:SQL:SELECT m.tel, m.version, m.os FROM mng_user_info m , ( SELECT u.version, u.os FROM mng_user_info u GROUP BY u.version, u.os HAVING COUNT( 1 ) > 1 ) ssWHERE m.version = ss.version AND m原创 2022-05-19 14:56:10 · 624 阅读 · 0 评论 -
MyBatis动态SQL标签的用法
1.MyBatis动态SQLMyBatis 的强大特性之一便是它的动态 SQL,即拼接SQL字符串。如果你有使用 JDBC 或其他类似框架的经验,你就能体会到根据不同条件拼接 SQL 语句有多么痛苦。拼接的时候要确保不能忘了必要的空格,还要注意省掉列名列表最后的逗号。利用动态 SQL 这一特性可以彻底摆脱这种痛苦。通常使用动态 SQL 不可能是独立的一部分,MyBatis 当然使用一种强大的动态 SQL 语言来改进这种情形,这种语言可以被用在任意的 SQL 映射语句中。动态 SQL 元素和使用 JST原创 2021-09-06 21:03:45 · 1212 阅读 · 0 评论 -
统计表中不同类型不同状态的个数?
需求:统计表中不同类型不同状态的的个数直接上图:数据库表样子如下:需要页面统计的列表样子:SQL:select 产品名称,sum(case when 完成状态='0' then 1 else 0 end) as 已完成个数,sum(case when 完成状态='未处理' then 0 else 0 end) as 未完成个数,from 表名group by 产品名称...原创 2021-03-15 18:51:34 · 336 阅读 · 0 评论