qq_42570967的博客

选择存储方案时，需综合考虑数据类型、访问频率、延迟要求、扩展性、成本等因素。通常，时序数据库适合实时数据，NoSQL适合非结构化数据，关系型数据库适合结构化数据，分布式文件系统和数据湖适合大规模存储，边缘存储适合低延迟场景。

数据一致性方面，方法一在数据库内去重，可以利用数据库的事务和约束（如唯一索引）来保证数据一致性，但如果在去重过程中出现故障，可能需要回滚或修复。方法二如果在应用层去重，需要确保去重逻辑正确，否则可能导致数据重复，特别是多线程处理时需注意线程安全。方法二在入库时已经是去重后的数据，减少了数据库的写入压力，但需要应用层处理去重，可能消耗更多应用服务器资源。资源消耗方面，方法一可能对数据库资源消耗更大，因为需要在数据库内进行去重操作，尤其是处理200万数据时，可能占用大量CPU和内存。另外，是否需要实时性。

MySQL中这14个小玩意，让人眼前一亮！！！