
HPC
文章平均质量分 51
王万林 Ben
CAD/IT,熟悉芯片设计流程,操作系统,存储。欢迎交流,技术支持请加微信 wanlinxiong。https://icinfra.cn
展开
-
LSF打开Job idle information以看job的cpu time/elapse time使用情况
需求描述如何知道job的cpu使用情况?需求分析经查看文档,在/home/lsfadmin/dist/conf/lsbatch/my-lsf-cluster/configdir/lsb.queues文件的定义队列的地方,加上JOB_IDLE定义,如图所示, 修改完配置文件,执行重新提交一个job并查看, 参考资料:IBM Docs 的Why does the parameter JOB_IDLE configured in lsb.queues sometimes not take effect ?.原创 2022-06-23 22:08:58 · 1054 阅读 · 0 评论 -
性能优化可能使用到的几种平均值
性能优化可能使用到的几种平均值几何平均值(Geometric mean)如果分析内核网络栈每一层的性能提升,那么每一层的性能应该等于总的性能的几何平均值,也就是数值乘积的n次方根。调和平均值(Harmonic Mean)是数值的个数除以所有数值的倒数之和,这种方法更适用于利用速率求平均值。例如,计算传输800MB数据的平均速率,其中前100MB以50MB/s传输,剩下的700MB以10MB/s的速度传输,它的调和平均值是多少?800/(100/50 + 700/10) = 11.1 Mbytes/原创 2021-08-20 07:10:24 · 601 阅读 · 0 评论 -
Linux - C SHELL报错提示“Missing }.“
Linux - C SHELL报错提示"Missing }."问题描述Last login: Mon Aug 9 20:07:43 2021Welcome to Alibaba Cloud Elastic Compute Service ![thesre@centos8 ~]$ source .cshrcMissing }.[thesre@centos8 ~]$ 问题分析为了便于演示,本案例将二分法定位故障域、source(间接)语句以及其余无关语句都移除。将.cshrc文件备份,原创 2021-08-09 21:19:13 · 2266 阅读 · 2 评论 -
存储 - 文件系统硬链接
存储 - 文件系统硬链接硬链接是什么?硬链接是inode相同,多个filename指向这个inode。硬链接的好处是多个地方存放同一文件仅占用一份空间。copy或rsync时如何保持硬链接?经查看手册,以下组合可以保持硬链接,$ cp -a <src> <dest>$ rsync -H <src> <dest>注意,如果没有将硬链接保持,将可能出现一个文件夹占用大小膨胀,导致文件系统爆盘。总结完毕。...原创 2021-07-12 22:59:02 · 161 阅读 · 0 评论 -
存储 - 空洞文件
存储 - 空洞文件不同存储的user quota与什么相比?NetApp是block base;Huawei是file size;Dell EMC是支持两种。空洞文件如何产生如果程序的文件偏移量已跨越文件结尾,继续执行IO操作,将会产生文件空洞。文件空洞在(部分)文件系统中不占实际空间。如何保持文件的空洞在copy或rsync时,如何保持文件的空洞?参考手册,可以知道以下命令选项可以满足,$ cp -a <src> <dest>$ rsync -S <src原创 2021-07-12 22:54:37 · 320 阅读 · 0 评论 -
Linux - 定制启动命令wrapper,免受环境影响&净化环境
Linux - wrapper帮助净化环境问题在集群中,用户的环境往往加载了很多工具,PATH变量与LD_LIBRARY_PATH变量存的路径都非常多。在不考虑性能的情况下,LD_LIBRARY_PATH路径太多,容易导致库冲突。wrapper改造已有工具总结完毕。...原创 2021-07-11 23:01:57 · 780 阅读 · 0 评论 -
vim - 浅谈vim的swp文件
vim - 浅谈vim的swp文件入题在集群环境中,使用vim打开文件时,经常会收到如下提示,提醒.dummy.txt.swp已经存在。这是因为另一个vim进程正在打开该文件,如果再打开一个vim进程,两个vim实例同时修改同一文件,将可能产生数据丢失或冲突。因此向编辑者给出该提示。vim swp是什么如Vim documentation: recover所说,vim将用户对被编辑的文件做出的修改,保存在一个swap文件中。当异常退出后,想从swap文件中恢复时,则在上图时可按R进行恢复。在原创 2021-07-11 22:43:25 · 2885 阅读 · 0 评论 -
Linux - gdb使用自定义路径下的debuginfo文件(夹)
Linux - gdb使用自定义路径下的debuginfo文件(夹)需求IC集群环境通常用于跑业务,不用作普通的程序开发与调试。用于调试的包往往不是必备的大众包,为了精简而没有被(root)安装上,因此大部分程序开发的调试工作在普通运算机上无法完成,需要在专门的调试机完成。gdb在无相关debuginfo包时的报错Missing separate debuginfos, use: debuginfo-install glibc-2.12-1.47.el6.x86_64 libaio-0.3.107-原创 2021-07-10 00:06:37 · 1812 阅读 · 0 评论 -
Linux - 手册基础知识介绍,并动手制作手册
Linux - man-pages(手册)基础知识场景Linux用户日常工作时,经常需要使用各种各样的命令,而命令有各种option与argument。如果我们对一个命令不熟悉,我们可以查找其手册来了解命令的用法。我们来查看下手册如何使用,执行man man,MAN(1) Manual pager utils原创 2021-06-30 22:53:43 · 508 阅读 · 0 评论 -
Linux - 使用setuid位进行提权
Linux - setuid实战业务需求设计一个计分程序,程序文件的owner=thesre;计分文件的owner=thesre,mode=644。要求:该计分程序可以被其它非root账号执行,并对计分文件进行更新;分析需求由于计分文件的权限为644,只能被其owner更新。而上述要求中,又提到说其它非root账号通过执行该计分程序对计分文件进行更新。这里,我们就要利用setuid的优势来完成该程序的开发了。setuid能做什么简单地说setuid,就是运行程序时,能够临时将权限提升至原创 2021-06-28 22:57:23 · 1561 阅读 · 0 评论 -
Wayland - 初探
Wayland - 初探Wayland与X的对比Wayland目前与什么桌面一起使用?Wayland展望参考资料https://wayland.freedesktop.org/architecture.html // wayland架构https://wiki.archlinux.org/title/Kernel_mode_setting // KMS(Kernel Mode Settings)...原创 2021-06-27 20:30:24 · 270 阅读 · 0 评论 -
Spack - 自动化安装管理器
Spack能使得上述步骤自动化,并自动生成modulefile(Environment Modules或Lmod的,都可以生成)——无论是对于广泛使用的开源包,还是有知识产权保护的有限范围分发包,还是处于研发阶段的内部包,它都能轻松搞定。原创 2021-06-24 23:51:08 · 3518 阅读 · 2 评论 -
CentOS老版本的yum源失效的原因与解决方法
CentOS老版本的yum源失效的原因与解决方法问题描述近期有小伙伴在CentOS 6上使用yum install安装软件,提示404 Not Fount。奇怪的是之前是work的,现在是却提示找不到了。问题分析从CentOS FAQ可以看到,老的CentOS trees被移到了CentOS Vault了,仅用作参考,不再接收更新。问题解决将原来指向官网的链接,更改为指向CentOS Vault的链接。这里借用同仁写的配置案例:https://blog.youkuaiyun.com/rzhidong/art原创 2021-06-23 21:16:54 · 711 阅读 · 0 评论 -
Freeipa - LDAP与autofs配置
Freeipa - 配置什么是freeipa配置freeipa服务器列表服务器名称IP地址ipa server192.168.50.147步骤ipa server安装需要的包[root@ipa ~]# yum update -y... snippet ommitted ...[root@ipa ~]# yum install -y ipa-server ipa-server-dns... snippet ommitted ...[root@ipa ~]# y原创 2021-06-10 22:48:18 · 3396 阅读 · 2 评论 -
Linux - X研究
Linux - X研究参考资料https://tldp.org/HOWTO/html_single/XDMCP-HOWTO/https://www.x.org/releases/X11R7.7/doc/xorg-docs/Xserver/XACE-Spec.htmlhttps://www.x.org/releases/X11R7.7/doc/libXdmcp/xdmcp.htmlhttps://www.x.org/releases/X11R7.7/doc/xorg-server/Xserver-D原创 2021-06-08 22:44:35 · 269 阅读 · 0 评论 -
Linux - gnome-terminal启动的第n次(n>=2)的进程不见了
gnome-terminal启动的第n次(n>=2)的进程不见了问题描述在执行机为CentOS 6的集群,使用bsub -m HOST01 gnome-terminal启动来自于HOST01的gnome-terminal窗口,使用bjobs也可以查看到该job;再次执行bsub -m HOST01 gnome-terminal也启动来自于HOST01的gnome-terminal窗口,但bjobs看第二个job已经显示Done了。问题来了,第二次提交的gnome-terminal窗口明明原创 2021-06-08 22:39:34 · 438 阅读 · 1 评论 -
Linux - 应用调用libc.so库的exit函数后CPU占100%,一直没有完成退出操作
Linux - 应用调用libc.so库的exit函数后CPU占100%,一直没有完成退出操作问题现象使用top命令查看,问题进程占满100% CPU;使用perf top -p <PID>查看到99.72%的CPU比例消耗在C++标准库中的Rb_tree_increment。[ben@thesre.cn] ~ # perf top -p <PID>Sample: 272k of event 'cycle', Event count (approx.): 5847980原创 2021-06-06 22:12:58 · 718 阅读 · 0 评论 -
eog - eog:19220): GLib-GIO-ERROR **: Settings schema ‘org.gnome.eog.plugins‘ is not installed
eog:19220): GLib-GIO-ERROR **: Settings schema ‘org.gnome.eog.plugins’ is not installed环境描述OS: CentOS 7.9App: 非特权账户目录/app/opensrc/eog/3.28.3/bin/eog的eog工具,该应用是从eog-3.28.3-1.el7.x86_64.rpm包解压得到。问题描述启动eog报错eog:19220): GLib-GIO-ERROR **: Settings schema原创 2021-06-06 21:48:23 · 2754 阅读 · 0 评论 -
Linux - 不同桌面环境介绍与常见设置
Linux - 不同桌面环境GNOMEGNOME桌面环境于1990s后期创建,非常流行。在CentOS和Ubuntu中默认使用。GNOME项目网站。2011年是至关重要的一年——GNOME 2是一个更传统的桌面用户界面,而2011年发布了带非传统的界面的GNOME 3 (官方名称为GNOME Shell),用户反应剧烈,因此也激发好几个GNOME项目的fork。然而随着时间的推移,GNOME Shell取得了进展。GNOME Shell desktop环境默认组件NameProgram n原创 2021-06-06 14:24:29 · 3450 阅读 · 6 评论 -
soffice - 已被该用户锁定编辑(is locked for editing by)
soffice - 修改username后无权限保存问题描述用户soffice软件正在编辑的表格,修改username后,继续编辑表格并点击保存,却提示被原username锁住,一顿误操作后更改丢失。步骤描述以test_user01用户,打开的soffice正在编辑表格,往表格中增加一些数据;在LDAP系统或/etc/passwd文件,将test_user01用户的用户名修改为prod_user01(修改username,但UID保持不变);在原来的soffice窗口继续编辑表格原创 2021-06-06 17:19:46 · 1452 阅读 · 0 评论 -
Linux - 如何确定显示服务器类型?
Linux常用的显示服务器类型有哪些?X11与Wayland。如何确定正在使用的时什么类型?登录到GUI桌面(它会启动一个GUI session);打开一个终端模拟应用;在命令行中,尝试执行echo $WAYLAND_DISPLAY。如果没有值,则说明在使用X11;如果有值,则可能时运行在Wayland;执行loginctl获取GUI session number;执行loginctl show-session <SESSION NUMBER> -p Type,如果打印Type=原创 2021-06-06 12:47:38 · 585 阅读 · 0 评论 -
Linux - Debug系列之追踪
Linux - Debug系列之strace文章目录Linux - Debug系列之strace前言一、strace是什么?二、使用方法三、常见问题提示无权限报错详情分析总结前言一、strace是什么?请man strace.二、使用方法三、常见问题提示无权限报错详情thesre@HP-Z420-Workstation: ~ $ sleep 3000 &[1] 9758thesre@HP-Z420-Workstation: ~ $ thesre@HP-Z420-Wor原创 2021-06-01 22:09:25 · 648 阅读 · 0 评论 -
HPC - 分布式Cron的管理研究(待补充)
HPC - 分布式Cron的管理研究文章目录HPC - 分布式Cron的管理研究前言一、Cron是什么?二、使用步骤总结参考资料前言一、Cron是什么?示例:。二、使用步骤总结提示:这里对文章进行总结:以上就是今天要讲的内容。参考资料https://engineering.opensooq.com/manage-cronjobs-over-multiple-servers/https://sre.google/sre-book/distributed-periodic-sched原创 2021-05-28 22:24:18 · 180 阅读 · 0 评论