- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 openstack pike版本增加S3 接口的实践
openstack pike版本增加S3 接口的实践作者 伍增田 Tommy WU zxpns18@126.com我们环境采用的是pike版本，没有内置s3 api的能力，所以使用第三方的swift3中间件, 支持对象的上传下载等基本功能。
2025-03-24 15:53:44
693
原创 openstack swift集群间的同步备份实践活动
下面的代码默认会删除掉X-Container-Sync-To，X-Container-Sync-Key的header，发送给container-server的http消息，花了好久发现这个问题。6 运行同步服务 swift-container-sync /etc/swift/container-server.conf。2 proxy-server.conf 中去掉 container_sync中间件，是内部使用，不做valid检验。作者 伍增田 Tommy WU zxpns18@126.com。
2024-12-11 17:14:34
272
原创 一次openstack swift生产集群差点全部数据删除的抢救行动
如果一个account被删除了，openstack-swift-account-reaper.service会回收该account所有资源，删除下面的container和object数据。最近新上线一个业务，本来要删除 /swift/R000000/obj1，由于异常处理错误，拼接url错误，导致删除了/swift。会回收该account所有资源，删除下面的container和object数据，发现及时，但还是丢失了几万个object文件。如果一个account被删除了，
2024-10-22 11:01:43
349
原创 openstack train swift 对象存储s3接口实践总结
tempauth默认会在account前加前缀AUTH_，如AUTH_swift。openstack train swift 对象存储s3接口实践总结。作者 伍增田 Tommy WU zxpns18@126.com。s3api中间件，下面以tempauth为鉴权的例子。把key 保存到MySQL中更安全。s3cmd兼容性测试工具。
2024-06-04 14:37:16
240
原创 hbase 踩坑：hbase大面积读写卡死问题定位分析
setAttribute0(env, fd, RECEIVE_TIMEOUT, DEFAULT_RECEIVE_TIMEOUT)，设置读数据超时 DEFAULT_RECEIVE_TIMEOUT = 120000 毫秒。1、优先从datanode的数据目录删除有问题的磁盘，执行 hdfs dfsadmin -reconfig datanode datanode1:50020 start。生成环境中hbase和hdfs部署在一起，开启了短路读提高性能。hbase 踩坑：hbase大面积读写卡死问题定位分析，
2024-05-31 16:20:53
779
原创 hadoop hdfs的datanode的一块磁盘故障导致服务器的根分区写满了
由于磁盘故障，没有从配置 dfs.datanode.data.dir 中删除掉响应的目录， 服务器掉电重启后/srv/hadoop/data10成为根分区下的目录，导致业务数据写入到根分区了。生产环境的一块磁盘故障，挂载点为/srv/hadoop/data10，没有及时更换。获取 /srv/hadoop/data10 和它的父目录的stat信息，如果是挂载点，他们的device是不同的。检查数据目录应该是磁盘的挂载点，不应该是根分区的目录，如果不是挂载点就报错。作者 伍增田 Tommy WU。
2024-05-22 17:49:44
1146
2
原创 openstack train版本部署遇到的几个问题归纳总结
需进入 /usr/share/novnc/core/目录，编辑websock.js文件，加入‘binary’ or ‘base64’协议。参见： https://blog.youkuaiyun.com/qq_41786090/article/details/131366053。参见 https://blog.youkuaiyun.com/hutiewei2008/article/details/87971379/配置计算机的/etc/httpd/conf.d/00-nova-placement-api.conf配置文件。
2024-04-30 13:42:23
280
1
原创 OpenStack swift put一个对象时偶尔出现error： No such file or directory
swift-object-reconstructor可能会删除掉正在put的对象, 由于对象是先写在temp目录下的.作者 伍增田 Tommy WU。
2024-04-29 14:02:12
405
2
原创 webrtc turn流程消息交换流程介绍
下面画了userA相关的消息，userB也有同样的过程，需要allocate relay port，answer sdp中携带relay。webrtc turn流程消息交换流程介绍。作者 伍增田 Tommy WU。
2024-04-18 18:09:09
204
1
原创 openstack swift 批量删除对象
把要删除的对象写入到文件 d2list.txt ，一行一个。openstack swift 批量删除对象。缺省配置可以删除10000个对象。不能是静态大对象SLO，会失败。伍增田 wutommy。
2024-01-03 15:01:57
411
1
原创 openstack swift对象存储大文件分段操作实践
上传大文件耗时，如果期间网络断了，上传没有完成，又需要重传比较麻烦。因此大文件要分段上传，可以实现网络中断时断点上传，openstack swift对象存储实现了这个功能。创建大对象，先上传各分段，最后上传manifest分段目录。openstack swift对象存储大文件分段操作实践。#静态大对象SLO中间件实现的。查询有哪些分段构成的。
2023-12-29 15:59:05
941
1
原创 对海量图片小文件存储系统auklet(基于OpenStack swift)实践优化经验总结学习交流
默认情况下 HIGH 线程池执行 memtable flush 任务，LOW 线程池执行 compaction 任务。RocksDB 会创建一个 thread pool 与 Env 对象进行关联，线程池中线程的数目可以通过 Env::SetBackgroundThreads() 设定。一台object server上有24看磁盘，每个磁盘有一个rocksDB实例，共享一个Env提供的高级 低级线程池。go访问rocksdb的SDK包，用来保存小文件的索引，找到在bundle.data文件中的位置。
2023-11-10 14:43:57
138
1
原创 通过webrtc和Alexa echo的音视频互通互联方案实现
webrtc开源库: Amazon Kinesis Video Streams C WebRTC SDK作者 伍增田。
2023-07-20 13:52:54
417
1
原创 linux内核线程kworker ksoftirqd占用cpu高
centos 7.2 内核占用cpu高异常, 定位过程如下:打开内核calltrace跟踪:dmesg显示如下USB suspend/resume调用:解决办法:内核cpu降下来了:参考连接:
2023-07-13 15:01:50
789430
2
原创 hbase2.0.1, 对mob file执行major_compact后, del file没有被删除
hbase2.0.1, 对mob file执行major_compact后, del file没有被删除
2023-06-02 15:23:23
107
原创 hbase2.0 mob file compact 优化到regionserver上实现, 成倍提升性能
1 master基本保持不变, 完成mob compact任务的建立, 包括选择文件, compactPartition收集, del file的compact, 最后按compactPartitionId调用rpc接口分发到多台regionserver上执行具体的mob compact file过程.当前mob compact功能是在master上运行的, 性能大大受限, 可以把它分布到多台regionserver上执行, 极大地提高运行性能.
2023-05-25 10:36:52
157
1
原创 LoadIncrementalHFiles是否要生成assignSeqIds
【代码】LoadIncrementalHFiles是否要生成assignSeqIds。
2023-04-11 14:21:26
76
1
原创 hbase 执行mob compact操作后mob 文件数不是减少了而是增多了问题分析
hbase的表static_file用来保存图片文件, 利用了MOB特性. 执行mob compact操作前有8000多文件, 执行结束后增加到16000多个文件, 比较奇怪.改函数的参数assignSeqId为TRUE, 会导致flushcache()而生成新的seqId. 这个seqId会用在产生文件名, 因此可以关闭掉.发现在read handler线程中会执行flush操作, 比较奇怪. 一般flush是写操作导致的.mob compact过程中会bulkload操作,关闭掉就可以解决该问题.
2023-04-11 10:48:18
236
1
原创 hbase mob读取性能改善
mob特性可以解决海量小文件图片视频的读写存储,当前mob的参考单元文件和mob文件只能保存到相同的存储类型, 要么是ssd, 要么是disk.可以把参考单元存储到ssd, mob file存储到disk, 提高读取性能设置columnfamily的storagepolicy为 ALL_SSD.修改StoreFileWriter class代码:// set block storage policy for temp pathString policyName = this.conf.g
2021-02-07 14:20:13
253
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人