LSF - bsub提交的任务关掉了，bjob查看job还在RUN？

最新推荐文章于 2024-02-04 09:33:58 发布
原创 最新推荐文章于 2024-02-04 09:33:58 发布 · 4.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍在使用cgroups的LSF集群环境中，如何处理关闭应用后仍被LSF视为正在运行的任务的问题。通过配置cgred将残留进程移至特定组，使任务能够正确显示为已完成。

LSF - bsub提交的任务关掉了，bjob查看job还在RUN？

文章目录

前言

HPC环境下，使用打开cgroup的LSF集群，经常会出现这样的情况：bsub提交了一个gnome-terminal，用完之后将gnome-terminal关掉了，这个job还在运行。

通过bjobs -l <JOB ID>查看到执行机，然后登陆上去看，发现有dbus-luanch与dbus-daemon两个进程在运行。正因为这两个进程还在运行，导致LSF判断job还在运行。

一、原因

有些应用，像GUI应用，在后台会留下子进程。这样的LSF job会保持RUN状态，就算是将该应用关掉。
原因是在打开了cgroups的LSF，它会等待每一个进程完成后，才判定job为DONE状态。

二、解决方法

解决这个问题，在执行机需要打开cgred，通过适当的配置将残余的进程移到其它子组(sub-group)，如此LSF就不会认为它是job的一部分，这样用户的任务结束job就能正常显示Done。

步骤1：增加组

配置一个永久组，我们叫它leftprocess


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
【芯片设计 - 常用工具 1 -- bsub 命令介绍】

				
			

			

				

					CodingCos的博客
				

				

					04-05
					
					1万+
					
				

			

		

		

			
				
LSF（Load Sharing Facility）是IBM旗下的一款分布式集群管理系统软件，负责计算资源的管理和批处理作业的调度。它给用户提供统一的集群资源访问接口，让用户透明地访问整个集群资源。同时提供了丰富的功能和可定制的策略。LSF 具有良好的可伸缩性和高可用性，支持几乎所有的主流操作系统。它通常是高性能计算环境中不可或缺的基础软件。作用上与PBS一样，使用方法略有不同。LSF用来调度、监视、分析联网计算机的负载。

			
		

	



                

            
              



	

		

			

				
					
IBM Spectrum LSF 常见问题

				
			

			

				

					qq_43653083的博客
				

				

					01-09
					
					602
					
				

			

		

		

			
				
如果 EGO_DEFINE_NCPUS=cores，那么 “ncpus=number of processor x number of cores” 和 LSF Application Center GUI 中的 CPU 列值将是您在 LSF 工作程序节点上运行 lscpu 时看到的值的一半。有关为产品用于创建集群的 IBM Cloud 服务设置相应许可权的指示信息可以在 授予用户对 VPC 资源的许可权， 管理对 Schematics的用户访问权和 分配对 Secrets Manager的访问权中找到。

			
		

	



              


  
              

                


	

		

			

				
					
【Coding】LSF作业系统查看bsub提交历史

				
			

			

				

					SUFEHeisenberg的博客
				

				

					02-13
					
					5354
					
				

			

		

		

			
				
LSF作业系统查看bsub提交历史
查看job history都是通过bhist命令实现。
1. 查看某个具体的作业历史记录
bhist -l job-ID
(base) usr@gpu1:~$ bhist 655xx
Summary of time in seconds spent in various states:
JOBID   USER    JOB_NAME  PEND    PSUSP   RUN     USUSP   SSUSP   UNKWN   TOTAL
655xx   usr xy

			
		

	





	

		

			

				
					
LSF打开Job idle information以看job的cpu time/elapse time使用情况

				
			

			

				

					IT基础架构
				

				

					06-23
					
					1226
					
				

			

		

		

			
				
需求描述如何知道job的cpu使用情况？需求分析经查看文档，在/home/lsfadmin/dist/conf/lsbatch/my-lsf-cluster/configdir/lsb.queues文件的定义队列的地方，加上JOB_IDLE定义，如图所示， 修改完配置文件，执行


重新提交一个job并查看， 参考资料：IBM Docs 的Why does the parameter JOB_IDLE configured in lsb.queues sometimes not take effect ?.

			
		

	



		

			
		



	

		

			

				
					
LSF JOB作业状态

				
			

			

				

					m0_62003068的博客
				

				

					05-05
					
					763
					
				

			

		

		

			
				
作业已经被分派到节点机上，正在运行。系统失去了与作业执行节点的联系。作业已正常结束，正常退出值为。作业在队列中等待调度与分派。作业已经结束，但退出值不是。的成员所处于的等待状态。

			
		

	





	

		

			

				
					
Troubleshooting - job不退出 - 如何找出誰启动了dbus-daemon（或调用了dbus-launch）

				
			

			

				

					IT基础架构
				

				

					05-14
					
					987
					
				

			

		

		

			
				
集群job中的程序启动了dbus-daemon，而dbus-daemon不退出导致job一直处于RUN的状态。

			
		

	





	

		

			

				
					
LSF实践专题（2）：关于bsub -n的正确理解

				
			

			

				

					richycn的博客
				

				

					02-04
					
					2322
					
				

			

		

		

			
				
实际上，bsub的-n选项是为并行作业（一般指的是MPI程序）设计的，-n指定的是并行作业创建的task数量。LSF会为这个作业分配2个计算节点，每个计算节点分配2个slot，但只有第一个节点运行一个sleep进程，另外一个节点不会运行任何进程，造成第二个节点的2个slot浪费（第一个节点也浪费了1个slot）。另一方面，串行作业并不能跨节点运行，所以如果LSF为这个作业分配了多个计算节点，那么也只有第一个节点（一般称为头节点）会启动作业进程，其它节点虽然分配了slot，却不会运行任何进程。

			
		

	





	

		

			

          精选资源
				
					
lsf-python-api:LSF Python包装器的位置，用于控制LSF的所有内容

				
			

			

				

					05-08
				

			

		

		

			
				
 这些python包装器允许客户直接从Python提交和控制作业并获取队列，主机和其他LSF属性的状态。 它们可以与各种版本的LSF一起使用，并且由LSF开发来维护，尽管我们从开源社区中获得了贡献。  如果您计划或希望为该库...

			
		

	





	

		

			

          精选资源
				
					
lsf-kubernetes:适用于IBM Spectrum LSF的HPC兼容Kubernetes集成的主页

				
			

			

				

					05-26
				

			

		

		

			
				
LSF-Kubernetes 介绍 LSF-Kubernetes集成提供了三个关键功能：  在有限的资源供应范围内有效管理工作负载中高度可变的需求...LSF用户可以使用LSF的bsub CLI提交工作，但也可以使用Kubernetes kubectl CLI提交Pod。 模板

			
		

	





	

		

			

				
					
oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。

				
			

			

				

					小蚯蚓的博客
				

				

					12-06
					
					4026
					
				

			

		

		

			
				
1.问题描述

一个简单的mapreduce的wordcount任务，单独使用yarn调用时没有任何问题，可以跑出来。但是，放入yarn的时候，就会出现问题。一直时Running的状态，而且hadoop对应目录下也没有输出结果的目录，很是头痛。





2.原因：

经过百般查找和无限次尝试，发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Ha...

			
		

	





	

		

			

				
					
Linux如何保活进程

				
			

			

				

					DraGonBornCrash的博客
				

				

					07-10
					
					4720
					
				

			

		

		

			
				
本文主要来自https://fukun.org/archives/06281192.html 和 http://blog.youkuaiyun.com/wangjun_1218/article/details/6835800外加一点自己的实践。原文如下：https://fukun.org/archives/06281192.html在Linux中，如果要让进程在后台运行，一般情况下，我们在命令后面加上&amp...

			
		

	





	

		

			

				
					
lsf 并行任务bjobs详细查看任务运行

				
			

			

				

					bravesnowman的博客
				

				

					09-29
					
					1万+
					
				

			

		

		

			
				
主要关心bjobs查看任务执行绝对路径和内存使用：
bjobs -l jobs-ID
输出内容第二部分包含了运行文件的绝对路径
（任务较多，查看那个文件夹下任务未完成）
内存使用情况，个别提交任务可能需要内存增加
导致内存可能溢出造成任务终止
（注：并行任务根据任务情况选择合适内存的节点）
MEMORY USAGE:
MAX MEM: 1.1 Gbytes;  AVG MEM: 816 Mbyte...

			
		

	





	

		

			

				
					
LSF提交作业bsub达到运行时间被kill的解决办法

				
			

			

				

					yangxinca的专栏
				

				

					11-12
					
					909
					
				

			

		

		

			
				
LSF提交作业达到运行时间被kill

			
		

	





	

		

			

				
					
LSF使用

				
			

			

				

					BaldStrong's Log Cabin
				

				

					10-05
					
					2018
					
				

			

		

		

			
				
bhosts：查看LSF计算节点列表
bqueues：查看LSF所有队列的整体信息，查看某个队列的信息：bqueues fat
lsload：查看计算节点负载，查看某个节点的负载：lsload node001


查看作业状态bjobs
bjobs检查已提交的作业的运行状态
bjobs -w以宽格式来显示作业运行状态
bjobs -a显示所有作业：
bjobs -r显示正在运行的作业：
bjobs...

			
		

	





	

		

			

				
					
如何停止正在运行的job(解决job不能删除或修改的问题)

				
			

			

				

					关注系统性能调优
				

				

					10-23
					
					1万+
					
				

			

		

		

			
				
正在运行的job 删除或修改是不行的，只能 kill  process  /  kill  session。
--1.先查一下正在运行的job
select *from dba_jobs_running;
--2.查找到session
select a.spid, b.SID, b.SERIAL#
  from v$process a, v$session b
 where a.add

			
		

	





	

		

			

				
					
多线程依赖问题

				
			

			

				

					xupengbo527的博客
				

				

					04-30
					
					1631
					
				

			

		

		

			
				
遇到一个面试题：
3个线程A，B，C存在依赖关系，B依赖A执行结束，C依赖B执行结束，请设计实现。
具体实现如下：
首先，创建一个锁对象：
@Data
public class LockFlag {
    private int flag = 0;
}

线程A的实现代码
public class Ajob extends Thread {
    private LockFlag lockFl...

			
		

	





	

		

			

				
					
服务器可用资源查询脚本

				
			

			

				

					Grady
				

				

					07-23
					
					1042
					
				

			

		

		

			
				
linux运维

			
		

	





	

		

			

				
					
Jenkins不同job之间依赖关系的两种配置方式

					
热门推荐

				
			

			

				

					doctorq
				

				

					04-15
					
					3万+
					
				

			

		

		

			
				
项目之间总有依赖，比如A Job执行完执行B Job，如下图所示，如何建立依赖呢？ 
  
配置上游我们通常喜欢配置上游依赖，在B中配置 配置如下信息。选择在其他项目构建完成后进行构建： 
Project to watch:依赖的项目名称 
Trigger only if build is stable：只有在A项目构建文档后进行构建，过滤条件。这样我们执行A项目构建，紧接着B项目也会构建。配置下游

			
		

	





	

		

			

				
					
超算云服务深度学习环境配置及使用方法

				
			

			

				

					知识搬运者
				

				

					04-26
					
					5452
					
				

			

		

		

			
				
踩过的坑：如果输入module avail显示command module not found，则先输入source path/path/module.sh（一般这里路径会在连接服务器时有提示），再输入module avail。文件的配置模板如下：（编辑器，编辑脚本中第三行，将xxx改为实际用conda创建的虚拟环境名，最后一行python命令后xxx.py修改为自己的代码文件或完整命令即可）点击桌面SSH图标，显示当前账号可访问的云服务器，点击想要连接的服务器。jobid是指作业号，

			
		

	





	

		

			

				
					
bsub提交如任务导致任务丢失

					
最新发布

				
			

			

				

					06-06
				

			

		

		

			
				
首先，用户的问题是：“我想查找关于bsub提交任务时导致任务丢失的解决方案请问bsub提交任务丢失解决方案LSF”。用户提到了“bsub”命令，这是LSF（LoadSharingFacility）中用于提交作业的命令。用户提到任务丢失，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
王万林 Ben

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值