
docker
文章平均质量分 73
docker练习&测试
ERROR_LESS
给岁月以文明,而不是给文明以岁月!
展开
-
【腾讯云-2】极简搭建边缘集群
边缘集群无法对云端进行操控,无法加入worker节点,只能接入边缘节点,云端只有一个master节点,因此不适合k8s的学习,只适合部分边缘计算场景。原创 2023-04-24 17:35:04 · 644 阅读 · 1 评论 -
【腾讯云-1】极简搭建k8s标准集群
其他公有云也行(阿里云,华为云等),腾讯云较为便宜而已所以以此为案例。原创 2023-04-24 17:26:36 · 395 阅读 · 0 评论 -
【k8s完整实战教程6】完整实践-部署一个federated_download项目
再小的帆,也能远航!原创 2023-04-14 15:35:01 · 1664 阅读 · 0 评论 -
【k8s完整实战教程5】网络服务配置(nodeport/loadbalancer/ingress)
再小的帆,也能远航!原创 2023-04-14 15:34:23 · 2325 阅读 · 0 评论 -
【k8s完整实战教程3】k8s集群部署kubesphere
再小的帆,也能远航!kubesphere官网上有。原创 2023-04-14 15:32:48 · 1004 阅读 · 0 评论 -
【k8s完整实战教程2】腾讯云搭建k8s托管集群
再小的帆,也能远航!原创 2023-04-14 15:31:46 · 1000 阅读 · 0 评论 -
【k8s完整实战教程1】源码管理-Coding
再小的帆,也能远航!拥有以下功能:是一个比较好的管理工具,还可以以记录版本的形式写文档(非广子,coding官方看到可给我打钱)废话不多说,主要有以下流程:(自己总结的,不喜勿喷,可选择自己喜欢的方式)Coding创建代码仓库–>本地创建git代码仓库–>本地代码仓库克隆Coding代码仓库以进行关联–>本地代码仓库中进行开发–>本地推送到Coding仓库–>创建制品仓库–>Coding代码仓库构建计划制作镜像制品并推送到制品仓库。原创 2023-04-14 15:30:48 · 924 阅读 · 0 评论 -
【k8s完整实战教程0】前言
再小的帆,也能远航!望知:整个实战基于Coding平台和腾讯云完成。原创 2023-04-14 15:28:40 · 1053 阅读 · 0 评论 -
【Docker】docker常用指令
容器生命周期管理 —容器操作运维 —容器rootfs命令 —镜像仓库 —本地镜像管理 —其他命令 —原创 2022-09-05 17:27:51 · 1037 阅读 · 0 评论 -
【Docker】dockerfile指令详解
包括。原创 2022-09-05 17:21:41 · 834 阅读 · 0 评论 -
【Docker】将自定义的镜像上传至dockerhub或阿里云私有仓库,并在其他节点进行拉取
为了能实现镜像的异地使用以及进行更好的镜像管理,将自定义的镜像上传至dockerhub或阿里云私有仓库,并验证在其他节点进行拉取。原创 2022-08-29 17:25:57 · 844 阅读 · 0 评论 -
【Docker】Dockerfile构建自定义进阶的helloworld镜像-2
上一篇只是加入了flask框架,这次再试试加入html文件来优化显示的界面。具体实现的是一个数组相加的功能。原创 2022-08-29 17:19:02 · 429 阅读 · 0 评论 -
【Docker】Dockerfile构建自定义进阶的helloworld镜像-1
之前一篇构建了最简单的helloworld程序,只是在命令行界面打印,此篇博客尝试需要环境依赖的镜像(flask框架)构建,实现的效果是能在网页上显示helloworld。原创 2022-08-29 16:38:38 · 423 阅读 · 0 评论 -
【Docker】Dockerfile构建自定义的最简单的helloworld镜像
之前是直接根据别人现有的项目构建的镜像,这篇博客尝试自定义一个最简单的python项目并用dockerfile构建成镜像。原创 2022-08-29 16:16:18 · 1718 阅读 · 0 评论 -
【Docker】通过示例部署nginx熟悉docker常用命令
简单几步即可实现nginx的部署,并在此过程中熟悉docker的一些常用操作~原创 2022-08-28 21:46:58 · 835 阅读 · 0 评论 -
Tensorflow ParameterServerStrategy Training实战
基于前面的基础知识积累,废话不多说,直接实战~参考github项目前文使用Docker准备了5个相关开发环境,刚好来试试。项目源代码如下:1.2 转换代码在本地运行代码需要转换为文件主要是一下转换:需要注释掉jupyter文件中转换后的魔法函数,否则直接运行会出现以下错误1.3.2 但后续代码中仍然会用到解决:代码中加入,一般会报错找不到,直接安装即可:这个问题暂时解决报错:1.3.5 解决方法太多类似的import问题和找不到包的问题,很可能是版本的问题。但不可能重新配置开发环境原创 2022-06-22 16:28:16 · 732 阅读 · 0 评论 -
Tensorflow ParameterServerStrategy Training知识学习记录
前面部分很多只是笔者学习知识记录的部分并且会随着学习的深入不段增加知识,没有什么参考价值,实战部分或许更有借鉴意义。官方文档参考学习到的知识及需要学习的知识:异步训练支持keras高阶API和自定义训练(实验需要,目前只学习keras)和两个概念需要明确集群中的三个角色的分工需要了解:、、是什么?为什么需要这个东西?是什么?为什么需要这个东西?评估如何实现?官方示例需要创建2个ps服务器和3个worker服务器每个worker上支持调用多个GPU但需要保证所有worker上的GPU数目是一致的。成为分片,原创 2022-06-17 20:16:19 · 333 阅读 · 0 评论 -
分布式策略进行多GPU分布式训练(含源码可以直接测试)
笔者前一篇文章提到多GPU的使用可以有手动设置和分布式机制两种,并对手动设置进行训练做了实验和总结。这一篇笔者就来利用分布式策略进行多GPU分布式训练的实验和总结,希望对读者有所裨益~笔者搭建的开发环境是tensorflow-gpu版本的,具体可见这篇文章。tensorflow支持的分布式策略可见官方文档,或者略看一下笔者之前学习总结的文章。现在,万事俱备,咱就直接实战。首先,需要做一个单机单卡实验作为对照组,以体现后续分布式训练对训练速度的提升。1.0.2 运行测试1.0.3 结果分析观察运行输出原创 2022-06-15 18:25:54 · 970 阅读 · 2 评论 -
分布式训练的GPU设置与分配(含源码可以直接测试)
:输出日志信息,包含任务的布置情况 :自动指定设备布置任务 :设置可见设备,例如机器上有4个GPU,但设置只对一个GPU可见,则该进程无法访问其他设备 :获取所有物理设备(整块) :建立逻辑分区 :获取所有逻辑设备(分块) :设置内存自增长,需在程序开始的时候就被设置因此,本机有两块物理GPU先做一个默认gpu设置的实验,作为对照组。基础代码:容器内进行训练:默认情况下,此demo每步运行花费6ms。查看GPU占用情况:发现仅仅这一个进程就几乎占满GPU,对资源浪费十分严重。因此,进行原创 2022-06-13 22:03:27 · 2264 阅读 · 3 评论 -
基于Docker配置的tensorflow-gpu环境进行分布式训练
本文基于ubuntu18.04中基于Docker搭建tensorflow-gpu开发环境这篇文章中构建好的tensorflow-gpu环境进行开发。如果觉得有用,测试demo可以找我要,希望能帮助到大家。添加一行:4 重启ssh服务:5 宿主机上连接::此处端口是之前宿主机映射到容器的端口,详细见我上篇文章。6 将添加ssh功能的容器打包成一个镜像,在这篇文章的基础上。2 查看每个Docker容器的ip信息3 宿主机端口和docker容器端口映射3.0 端口映射相关知识基础参考链接TC原创 2022-06-10 16:43:51 · 1036 阅读 · 0 评论 -
ubuntu18.04中基于Docker搭建tensorflow-gpu开发环境
前提条件就不多提啦,首先得装好nvidia驱动和Docker19以上版本,网上有很多教程。deepo是一个囊括几乎所有深度学习框架的开源镜像,这里我们选择拉取一个tensorflow-gpu版本的,避免占用储存过大。多方查找原因无法解决,决定尝试另一种方法需要注意,选择的cuda版本需要满足宿主机的显卡驱动需求:官网宿主机的驱动版本为,因此选用11.0的即可拉取镜像官方地址这里选择,复制命令:镜像比较大,需要耐心等待,拉取中~拉取完成:2 通过镜像建立容器通过以下指令:说明::以交互模型运原创 2022-06-07 18:15:06 · 1231 阅读 · 0 评论 -
技巧积累篇--Dashboard使用技巧
0 前言原创 2022-04-27 20:27:31 · 3241 阅读 · 0 评论 -
python项目微服务化并部署在k8s上
0 前提创建tensorflow-gpu虚拟环境,参考这篇博客1 尝试运行demo# 进入之前创建好的tf虚拟环境root@master:/home/hqc# source activate tf# 进入含源码所在地址(tf) root@master:/home/hqc# cd 自然基金项目/Federated/(tf) root@master:/home/hqc/自然基金项目/Federated# # 运行程序(tf) root@master:/home/hqc/自然基金项目/Fed原创 2022-04-25 11:04:14 · 5316 阅读 · 1 评论 -
ubuntu18.04配置deepo深度学习环境(cuda + cudnn + nvidia-docker + deepo)--超级细致,并把遇到的错误和所有解决方案都列出来了
ubuntu18.04配置deepo深度学习环境(cuda + cudnn + nvidia-docker + deepo)--超级细致,并把遇到的错误和所有解决方案都列出来了原创 2021-12-17 11:17:07 · 5457 阅读 · 0 评论 -
dockerfile构建一个(python+flask+html)镜像 + 上传到阿里云私有仓库 + 部署到k8s---全过程
0 第一次构建# 创建项目文件夹root@master:/home/hqc/docker_learning# mkdir plus-of-arrays# 创建模板文件夹用于存放html文件root@master:/home/hqc/docker_learning/plus-of-arrays# mkdir templates# 编写html文件root@master:/home/hqc/docker_learning/plus-of-arrays# vim plus.html <!D原创 2021-12-13 19:46:51 · 2646 阅读 · 0 评论 -
将原来作为master 的服务器作为node节点
将原来作为master 的服务器作为node节点欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页原创 2021-11-30 09:59:42 · 514 阅读 · 0 评论 -
dockerfile构建自己的python镜像并上传到镜像仓库
1.dockfile制作python镜像无需像java程序一样要先打包成jar包或war包,直接基于含python环境的基础镜像制作即可2. dockerfile指令:RUN/CMD/ENTRYPOINT的区别。原创 2021-11-29 21:26:32 · 3134 阅读 · 0 评论 -
【Docker】自定义dockerfile构建容器镜像并发布
此篇博客参考此完成,是一个有趣的小实践。原创 2021-11-22 15:22:20 · 820 阅读 · 0 评论