yinghuo233的博客

AI平台推出后，用户使用期间，在其远端数据中心存在大规模小文件数据集，而目前的文件存储系统，对于小文件的处理并不理想，而且，小文件处理也是业界难题。在巨大的市场中，总有想要自研，搭建自己平台的公司，对于资源有限的公司，上述两个课题的内容，都会遇到，并且需要解决。对于，提前入局，并持续在此领域工作、学习、研发的我来说，有幸在目前的公司，负责其中一项攻关课题，并取得突破，获得了相关成果。整理AI平台技术的同时，也会展示学习过程，以及遇到问题，如何分析、调研、验证，并最终应用到AI平台，解决相关问题的能力。

LLaMA-Factory源码调试和分析

AI大模型产品，在生产环境安装部署时，部署产品使用的harbor仓库时，会遇到容器启动报错：dial tcp 127.0.0.1:1514: connect: connection refused的异常问题     经过分析，发现在不同操作系统，尤其是国产操作系统，以及ubuntu等操作系统，出现启动失败，异常的问题频率更高。harbor不同版本出现的频率不一样，有的版本频繁，有的比较低，导致网上出现很多解决方法，但都是治标不治本，而且不利于不同操作系统的安装部署。

【代码】beegfs写文件。

读取小于512KB文件数据，小于1s 读取15MB文件数据，花费7秒。

client各服务日志使用方式分析和总结

beegfs事件监听和监控服务

【代码】Beegfs源码分析-读取文件。

BeeGFS的客户端是由一个内核模块和两个系统服务组成的，这里咱们主要分析内核模块。由于BeeGFS的目录树解析，是在父目录DEntry里找子目录或文件DEntry，逐级迭代完成的，所以在Mount文件系统时，须要从管理节点获取根元数据节点的ID，而后再向根元数据节点查询根目录的DEntry的信息，为后续的目录解析打下基础。获取类似/data/beeond/data/dentries/38/51/root/#fSiDs#/文件fileId的父路径。1.1 FileID的生成。Session网络消息。

安装好后的Cmake位于/usr/local/share/cmake-3.18.6/，可执行程序位于/usr/local/bin/cmake。重新编译后，/opt/beegfs/src/client/client_module_7/source下会生成最新的beegfs.ko文件。gdb将被安装到/usr/local/share/gdb目录，可执行程序位于/usr/local/bin/gdb。重启beegfs-meta服务后，可以看到对meta源码的修改日志打印，可以调试修改后的功能。