删除work目录

2009-12-22 14:59:06 org.apache.catalina.session.StandardManager doLoad
严重: IOException while loading persisted sessions: java.io.EOFException
java.io.EOFException
    at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281)
    at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2750)
    at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:780)
    at java.io.ObjectInputStream.<init>(ObjectInputStream.java:280)
    at org.apache.catalina.util.CustomObjectInputStream.<init>(CustomObjectInputStream.java:58)
    at org.apache.catalina.session.StandardManager.doLoad(StandardManager.java:362)
    at org.apache.catalina.session.StandardManager.load(StandardManager.java:321)
    at org.apache.catalina.session.StandardManager.start(StandardManager.java:637)
    at org.apache.catalina.core.ContainerBase.setManager(ContainerBase.java:438)
    at org.apache.catalina.core.StandardContext.start(StandardContext.java:4358)
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1045)
    at org.apache.catalina.core.StandardHost.start(StandardHost.java:722)
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1045)
    at org.apache.catalina.core.StandardEngine.start(StandardEngine.java:443)
    at org.apache.catalina.core.StandardService.start(StandardService.java:516)
    at org.apache.catalina.core.StandardServer.start(StandardServer.java:710)
    at org.apache.catalina.startup.Catalina.start(Catalina.java:583)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:288)
    at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:413)
2009-12-22 14:59:06 org.apache.catalina.session.StandardManager start
严重: Exception loading sessions from persistent storage
java.io.EOFException
    at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281)
    at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2750)
    at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:780)
    at java.io.ObjectInputStream.<init>(ObjectInputStream.java:280)
    at org.apache.catalina.util.CustomObjectInputStream.<init>(CustomObjectInputStream.java:58)
    at org.apache.catalina.session.StandardManager.doLoad(StandardManager.java:362)
    at org.apache.catalina.session.StandardManager.load(StandardManager.java:321)
    at org.apache.catalina.session.StandardManager.start(StandardManager.java:637)
    at org.apache.catalina.core.ContainerBase.setManager(ContainerBase.java:438)
    at org.apache.catalina.core.StandardContext.start(StandardContext.java:4358)
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1045)
    at org.apache.catalina.core.StandardHost.start(StandardHost.java:722)
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1045)
    at org.apache.catalina.core.StandardEngine.start(StandardEngine.java:443)
    at org.apache.catalina.core.StandardService.start(StandardService.java:516)
    at org.apache.catalina.core.StandardServer.start(StandardServer.java:710)
    at org.apache.catalina.startup.Catalina.start(Catalina.java:583)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:288)
    at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:413)
2009-12-22 14:59:06 org.apache.catalina.core.ApplicationContext log
信息: Initializing Spring root WebApplicationContext
log4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader).
log4j:WARN Please initialize the log4j system properly.
2009-12-22 14:59:13 org.apache.coyote.http11.Http11Protocol start
信息: Starting Coyote HTTP/1.1 on http-8088
2009-12-22 14:59:14 org.apache.jk.common.ChannelSocket init
信息: JK: ajp13 listening on /0.0.0.0:8009
2009-12-22 14:59:14 org.apache.jk.server.JkMain start
信息: Jk running ID=0 time=0/31  config=null
2009-12-22 14:59:14 org.apache.catalina.startup.Catalina start
信息: Server startup in 8484 ms

 

解决办法: 命令行下

rd /s /q "D:\java\Tomcat 6.0\work\Catalina\localhost\wyweb"

 

即:删除work目录 就好了

 

<think>好的,用户想了解如何配置Spark定时清理work目录。让我先回忆一下相关的引用内容。引用1提到,使用YARN的话,清理是自动执行的,而独立集群需要用spark.worker.cleanup.appDataTtl属性。引用2则给出了具体的配置参数,包括是否开启清理、清理周期和数据保留时间。引用4也提到work目录可能占用大量空间,需要清理。 首先,用户可能是在使用Spark的独立集群模式,因为如果是YARN的话,清理是自动的。所以需要指导用户如何配置独立集群的清理参数。根据引用2,配置项涉及到三个参数:启用清理、清理间隔和数据保留时间。这些参数需要添加到Spark的worker配置中,可能是spark-env.sh文件里的SPARK_WORKER_OPTS环境变量。 另外,用户可能需要知道如何验证配置是否正确,或者如何检查当前配置。同时,日志管理也可能相关,比如引用3中的日志滚动配置,但用户的问题主要集中在work目录清理上,所以这部分可能不需要详细展开,但可以提一下作为额外的优化建议。 需要注意的是,用户可能对Spark的配置不熟悉,所以步骤需要详细,包括修改哪个文件,添加哪些参数,以及参数的具体含义和示例值。例如,清理间隔1800秒是30分钟,而数据保留时间3600秒是1小时,可能需要根据实际情况调整。 还要提醒用户,修改配置后需要重启Spark集群才能生效。同时,如果用户的环境变量设置方式不同,可能需要调整,比如在systemd服务中配置的话,方式会有所不同,但常见的是修改spark-env.sh。 最后,确保回答结构清晰,分步骤说明,并给出示例配置,方便用户直接复制使用。同时,相关问题可以引导用户了解更多优化配置或不同部署模式下的清理方法。</think>### Spark Work目录定时清理配置方法 根据Spark独立集群的部署特性,可通过以下步骤配置定时清理work目录1. **核心参数配置** ```bash # 修改spark-env.sh文件(通常在${SPARK_HOME}/conf/目录) export SPARK_WORKER_OPTS=" -Dspark.worker.cleanup.enabled=true # 启用自动清理 -Dspark.worker.cleanup.interval=1800 # 每30分钟触发检查 -Dspark.worker.cleanup.appDataTtl=86400" # 保留最近24小时数据 ``` 参数说明: - `cleanup.enabled`:必须设置为true才能启用清理功能[^2] - `cleanup.interval`:建议设置为1800秒(30分钟)的整倍数[^2] - `appDataTtl`:86400秒=24小时,需大于任务最长运行时间 2. **生效验证** ```bash # 重启Spark集群服务 ${SPARK_HOME}/sbin/stop-all.sh ${SPARK_HOME}/sbin/start-all.sh # 查看worker日志验证配置加载 tail -f ${SPARK_HOME}/logs/spark-*-worker-*.log ``` 日志中应出现`Cleanup enabled with interval 1800ms and ttl 86400ms`的提示 3. **辅助优化措施**(可选) ```bash # 日志文件管理(添加至spark-defaults.conf) spark.executor.logs.rolling.strategy time spark.executor.logs.rolling.time.interval daily spark.executor.logs.rolling.maxRetainedFiles 7 ``` 该配置可限制日志文件保留时长[^3] **注意事项**: - 使用YARN模式时,资源清理由YARN自动管理,无需此配置[^1] - 清理操作会删除已完成应用的work/${app_id}目录及其内容 - 建议保留时间(appDataTtl)至少超过最长任务运行时间的2倍
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值