车水马龙

背景离线推荐场景在业务中并不罕见，如果对实效性有一定要求，其计算压力会成倍增加，单机环境很难承载计算压力和后续扩展需求，很直接的想法就是借助分布式集群加速计算。这里我们使用pyspark做tf savedmodel的inference，之前没搞过，所以在环境问题上踩了很多坑，这里记录一下。踩坑记录报错信息如下: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed

    系统版本为Centos7，由于自带的yum源下载速度慢，换成了163源，之后yum update过程中异常中断，导致产生了许多不同版本的重复包，需要进行清除。报错1：There are unfinished transactions remaining解决方法：使用yum-complete-transaction清理未完成事务，需要yum-utils支持yum install yum-ut...

    使用如下代码在centos7安装epel源，却无法使用。yum -y install epel-release报错如下：网络没问题，可以ping通epel源的地址，但是就是连不上repo，报错。解决方法：编辑/etc/yum.repos.d/epel.repo，将epel配置信息中的baseurl注释去掉，mirrorlist加上注释，如下：[epel]name=Extra Packag...