weixin_45056021的博客

除了分布式爬虫系统，还有许多分布式系统值得学习和实践，它们在不同领域有广泛应用，积累相关经验对找工作非常有帮助。

自定义调度器可以结合模型的运行时间估算，优先安排较短、需求小的任务到资源紧张的节点上，而将大任务放到资源较为充裕的节点。通过监控系统记录任务的运行时间、内存和 CPU 使用情况，积累数据形成统计分析，未来便可以在调度时更精确地预估每个任务的需求，提高调度的准确性。通过这些方法，Kubernetes 调度可以结合模型的运行时间和内存需求来更合理地安排任务，从而最大限度提高模型训练的整体效率和资源利用率。是的，通过估算模型的运行时间和内存需求，确实可以进一步优化调度，从而实现更高的整体时效性。

DevOps 是 “Development”（开发）和 “Operations”（运维）的缩写，代表一种融合开发和运维的文化和实践。它强调开发团队与运维团队的协作，通过自动化流程和持续交付，提高软件交付的速度、质量和稳定性。

Kubectl指令报错：The connection to the server 127.0.0.1:6443 was refused - did you specify the right host。解决方案，kubernetes的认证文件没在环境变量中，尤其是k3s安装时不会自动拷贝到常用路径。

首先下载你所需要版本的k3s安装包，目录结构如下所示，我这里是v1.19.15+k3s2。1.首先赋予可执行权限后进行安装。2.然后将k3s的二进制文件复制到/usr/local/bin/3.然后导入镜像，还没有安装docker的请参考4.设置环境遍历5.agent安装（从节点才需要安装）6.安装k3s，这一步就成功了7.token位置：sudo cat /var/lib/rancher/k3s/server/node-token（可选）命令的作用是显示 K3s 集群的node-token。

主节点：运行安装 K3s，自动将该节点设置为主节点（控制平面）。从节点：使用命令将从节点加入集群。高可用性：通过为多个控制平面节点运行相同的命令来实现。验证集群：使用命令来查看集群中所有节点的状态。

K3s的安装过程非常简便，只需要运行一个脚本即可。你可以选择单节点安装，也可以通过额外配置实现多节点集群。

通过编写Dockerfile，可以实现应用程序的环境打包、自动化部署和可移植性。构建、运行容器的过程简单且高效，极大地提升了应用程序的开发和部署速度。掌握 Dockerfile 的编写与容器的构建，将助力于现代化的应用部署流程。

【代码】homebrew国内镜像-100%成功。

我在K3s上安装遇到了同样的问题，设置KUBECONFIG有帮助。

go 下载依赖超时 timeout 解决办法