- 博客(3)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 ElasticSearch高并发场景下的读写一致性架构设计与实践
ElasticSearch基于Apache Lucene构建的分布式架构，其分片（Shard）机制和近实时（Near Real-Time）特性在带来水平扩展能力的同时，也引入了复杂的一致性挑战。当QPS突破5万大关时，工程师们常常面临这样的困境：用户刚提交的订单在系统中消失，实时库存显示出现负值，日志分析结果与真实数据存在偏差。通过持续的压力测试和混沌工程验证，某云服务提供商成功将其ES集群的故障恢复时间从分钟级缩短到秒级，实现99.995%的可用性承诺。降低60%的写入开销，保证设备状态最终一致性。
2025-03-26 22:39:52
1724
原创 HDFS 性能优化实践
那么这整个过程中它能够产生的写请求操作的量就非常大了。这里async的意思并不是说完全异步化RPC的处理过程，而是将response结果的异步化返回，调用方还是会阻塞等待请求的返回结果的。从这里我们可以看到，在atime的更新上，为了避免过于频繁的路径访问造成的access time的反复更新，NN设有额外atime更新的精度控制参数dfs.namenode.accesstime.precision，默认值是1小时，意为至少在超过上次atime时间后1小时，才能再次允许atime值的更新。
2025-03-26 16:00:44
1437
原创 Hive2.1.1压缩配置_完整版
Map输出压缩除了创建表时指定保存数据时压缩，在查询分析过程中，Map的输出也可以进行压缩。由于map任务的输出需要写到磁盘并通过网络传输到reducer节点，所以通过使用LZO、LZ4或者Snappy这样的快速压缩方式，是可以获得性能提升的，因为需要传输的数据减少了。MapReduce配置项：mapreduce.map.output.compress设置是否启动map输出的压缩机制，默认为false。在需要减少网络传输的时候，可以设置为true。mapreduce.map.output.
2020-07-13 16:40:54
534
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人