- 博客(31)
- 收藏
- 关注
原创 安装maven 3.9 以及java17
在一台新的机器上编译一个开源项目时环境要求maven以及java17,留档记录一下安装流程。##maven3.9安装。##java17安装。
2025-03-18 15:24:32
146
原创 ubuntu 22.04 apt-get update 出现问题
网络连接问题,若能够挂上代理应该能够解决,但是若服务器无法连接代理,则可替换源。
2025-02-17 14:07:59
432
原创 本地搭建docker仓库
现在dockerhub访问经常出现timeout的问题,导致每在一台新的机器上拉取镜像要么timeout要么需要自己架梯子,非常麻烦,而且下载次数太多了还会受限制。所以希望自己在一台服务上搭建一个私有仓库,其余的机器能够通过私有仓库来进行镜像的拉取推送。
2024-11-29 16:34:38
373
原创 记录一次gnome桌面系统崩溃问题解决
在一次安装依赖环境后重启服务器发现gnome崩溃,无法进入桌面系统出现错误“系统出错且无法恢复,请联系系统管理员”经过反复的排查发现是“yum install -y glib2-devel.x86_64 ”的问题,但是一直解决不了,重装系统之后同样会出现此问题,在anlios8.4系统中可以稳定复现。最后的解决办法:备份数据并重装系统挂载iso镜像配置本地源,安装依赖的时候用iso做本地源。
2024-11-18 11:34:53
764
原创 K8S中flannel镜像下载问题
在尝试部署K8s集群的时候发现flannel镜像一直pull不下来,但是我已经给shell和docker都挂上了代理,使用docker pull也能够访问docker hub,经过排查发现问题是我使用的运行时是contained,需要给contained也添加代理才可以。再次使用kubectl get nodes -A查看发现问题解决。注意代理换成自己代理对应的ip和端口。
2024-11-07 11:40:42
320
原创 记录一次kubelet服务失败排查
使用systemctl status kubelet 查看服务发现 服务一直在restart。再尝试使用k8s时,发现kubelet服务总是失败,
2024-11-04 18:02:26
700
原创 启动qemu虚拟机failed to parse default acl file `/etc/qemu/bridge.conf‘ qemu-system-x86_64: -netdev bridge
经过排查发现`/etc/qemu/bridge.conf'文件确实不存在。解决办法:(virbr0按需替换成自己的启动参数)记录一次启动虚拟机失败。
2024-10-17 09:39:09
443
1
原创 docker:记录如何在x86架构上构造和使用arm架构的镜像
为了国产化适配,要求讲原先在x86上的docker镜像重新打包为能够在arm上使用的docker镜像。docker提供了构建多平台镜像的插件buildx,
2024-07-19 10:14:54
5800
1
原创 vscode无法远程连接服务器错误: 远程主机上似乎禁用了 TCP 端口转发。确保 sshd_config 具有 AllowTcpForwarding yes。如有需要,请与系统管理员联系。
在打开的`sshd_config`文件中,找到`AllowTcpForwarding`这一行(可能已被注释掉)。通常,SSH配置文件位于 `/etc/ssh/sshd_config`。对于`nano`,按`Ctrl + X`,然后按`Y`确认保存,再按`Enter`退出。使用您习惯的SSH客户端(如命令行的`ssh`命令或第三方SSH工具)登录到远程服务器。**步骤 3:查找并修改`AllowTcpForwarding`配置项**如果原本是注释掉的(以`#`开头),去掉注释符号`#`。
2024-04-12 17:58:58
3870
1
原创 pandas库的to_csv精度丢失问题
最近在用python处理数据的时候发现了一个问题,在使用pandas库将数据保存为csv文件时发生了精度丢失,在转换之前数据的精度为18位,转换为csv文件后使用pandas.read_csv重新读入发现精度缺失,精度仅为16位数。经过多次查找找到了一种简单的解决办法,在使用pandas.read_csv时加入dtype=str,通过以上方式发现精度没有发生丢失,我们还可以在使用to_csv时指定保留的小数位数。
2023-11-23 15:30:45
1014
原创 XGBoost学习笔记
最近在研究FATE的secureboost算法模块,发现secureboost算法在金融银行等数据集上表现的非常不错,了解到secureboost是基于XGBoost实现的,因此打算了解一下有关XGboost算法相关的内容,并在此记录一下。此篇博客参考了很多前辈的博客和内容,如果本篇内容有不懂的可以点入给出的链接中查看
2023-02-08 15:13:59
442
原创 安装配置MP-SPDZ以及创建MP-SPDZ库的docker镜像
MP-SPDZ 0.3.4版本集成了很多外部依赖库,包括libOTe等,在安装配置的时候可能会出现一些预想不到的问题,以此纪录MP-SPDZ的本地安装配置过程以及docker镜像的制作。
2023-01-06 11:30:28
1185
原创 使用Kubernetes部署一个带有exchenge结点的FATE联邦学习网络
本文记录如何使用KubeFATE部署一个以exchange为中央节点的联邦学习网络,这个网络包含一个exchange和若干个Party。由于官方文档年久失修BUG不断,因此自己记录一下配置过程。欢迎大家一起交流学习。
2022-11-03 18:03:43
765
原创 k8s部署nginx服务
由于部署nginx需要科学上网,所以记录一下如何用阿里云的镜像来部署nginx。2.给下载下来的nginx打tag,修改为官方镜像的名字。4.复制nginx的官方yaml文件到本地,地址在此处。3.删除刚刚下载的镜像,只保留打完tag的镜像。不想修改可以直接复制下边修改好的yaml文件。1.下载阿里云的nginx镜像。
2022-11-01 10:32:51
2387
原创 CentOS7安装vscode并连接docker容器
点击右边的docker图标仅能看到本地所有的docker容器和镜像(我这里的docker里没有下载镜像和容器所以看不到,但是可以看到已经显示successfully connected)选中想要进入的容器,右键可以看到attach vscode,点击就可以连接到容器内部了,接下来可以使用vscode进行编码调试了。4、在vscode的扩展里依次找到docker、简体中文、remote-cintainer进行安装。5、安装成功后关闭code,并在控制台将当前用户组加入docker组。6、再次打开code。
2022-09-08 10:38:29
991
原创 普通用户加入docker用户组
在使用vscode远程连接docker时遇到的问题,普通用户无法使用docker。解决办法将用户加入docker用户组。
2022-08-29 10:02:14
1244
原创 Linux实现SSH免密登陆(包括两台电脑之间互相免密登陆)
完成上述命令后,使用 ssh 测试一下,第一次需要yes确认,以后再登陆则不需要秘密。如果要实现两台电脑之间的SSH免密登陆,首先确保两台电脑都成功执行上述步骤,ip地址换成需要配置的第二台电脑的IP,然后输入第二台电脑的密码,既成功。配置完成之后可在第一台电脑SSH连接第二台电脑测试。IP地址换成第一台电脑的IP,即可完成。在第二台电脑上执行相同的步骤,
2022-08-24 17:23:06
3438
1
原创 K8s初探入门详细教程(二)
例如:本篇接续上一篇主要介绍使用VirtualBox部署K8S遇到的一些小问题以及calico和dashoboard的部署。K8s的一些基础功能和dashboard以及calico的安装到此已经全部完成了,接下来可以使用命令行或者dashboard界面来操作k8s了,如果再部署过程中遇到了新的问题欢迎留言。...
2022-08-08 17:37:19
1218
2
原创 K8s初探入门详细教程(一)
什么是K8s?K8s是Kubernetes的简称,由于K和s之间间隔了8个字母所以叫K8s。Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。......
2022-08-08 16:32:23
2357
原创 FATE联邦学习框架之KubeFATE部署(基于K8S)最详细过程
FATE(FederatedAITechnologyEnabler)是一个联邦学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和建模。但由于其系统的分布式特性,导致使用存在一定门槛。鉴于此,微众银行联合VMware一起开发了KubeFATE项目,致力于降低FATE的使用门槛和系统运维成本。本文将首先分析FATE的整体架构,帮助读者理解各部件的作用;然后将展示如何从一台Linux机器开始,通过KubeFATE一步一步来搭建联邦学习的实验环境。(这些全部都是官方的介绍大。
2022-07-27 11:02:52
5384
20
原创 快速安装docker和docker-comopose
由于众所周知的原因使用docker拉取dockerhub的镜像源会非常慢,所以我们可以将docker的仓库换成国内镜像源。成功的话仓库会显示你刚刚添加的由于我只添加了docker的中国镜像所以只显示一个,如果按照上述步骤会显示三个。3.安装docker-compose。2.将docker设置为开机自启。4.docker换源(可选)1.安装docker。...
2022-07-26 17:03:05
1188
原创 FATE联邦学习初探(四)
在FATE中可以通过json格式的文件来上传数据并配置模型,使用json格式会减少很多操作,更加方便快捷的使用FATE联邦学习进行训练。官方文档解释地址参考tutorial - FATE下面记录我根据文档并参考一些博客使用json格式来完成横向逻辑回归。所使用的数据集为MNIST手写数字识别数据集,可以从MNIST in CSV | Kaggle中下载CSV格式的数据集,在下载过程中需要注册账号并登陆,在注册过程中可能会遇到一些问题,比如加载不出来验证码,如果遇到此问题可以通过以下方式解决 点击浏览
2022-07-07 17:20:55
927
原创 FATE联邦学习初探(三)
在上传数据完成之后,接下来根据给出的案例来完成一个简单的实验。首先需要确保数据上传成功,没成功的可以参考联邦学习初探(二)_顿顿有鱼有虾的博客-优快云博客然后,还需要确保FATE Flow Service也是成功配置的。 首先是训练阶段的代码成功运行训练之后,会生成一个.pkl文件,文件中保存的即为训练好的模型 接下来使用训练好的模型进行预测预测完成后,控制台输出如下所示同时我们还可以通过访问浏览器体验算法过程看板,访问:Http://${ip}:8080, ip为或本机实际ip...
2022-07-04 16:48:16
707
原创 FATE联邦学习初探(二)
此为我的联邦学习记录贴,如果有问题还希望大家能够及时指正,所有内容都是按照FATE给的案例进行学习的。安装完环境之后,首先学习的是使用Pipeline进行上传数据。参考FATE/pipeline_tutorial_upload.ipynb at master · FederatedAI/FATE (github.com)第一步 为了使用Pipeline 我们需要安装fate_client,安装过程如下:pip install fate_client接下来验证是否安装成功pipeline --help
2022-07-04 14:53:30
955
20
原创 FATE联邦学习初探(一)
联邦学习自学记录首先需要配置所需的环境,地址参考FATE/README.zh.md at master · FederatedAI/FATE · GitHub第一步需要下载所需的FATE版本 1.8.0可以替换为自己需要的版本(记得用sudo 最后加--no-check-certificate)lhy@ubuntu:~$ sudo wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/
2022-07-04 10:25:05
613
原创 使用dockerFile创建自己的docker镜像
创建dockerfile文件并保存在创建dockerfile里容易踩的坑是 如果不更新源,在安装vim时会报错构建镜像别忘了最后还一个点。构建成功后如下所示:
2022-04-06 10:34:13
847
原创 263. 丑数
给你一个整数 n ,请你判断 n 是否为 丑数 。如果是,返回 true ;否则,返回 false 。丑数 就是只包含质因数2、3 和/或5的正整数。示例 1:输入:n = 6输出:true解释:6 = 2 × 3示例 2:输入:n = 8输出:true解释:8 = 2 × 2 × 2示例 3:输入:n = 14输出:false解释:14 不是丑数,因为它包含了另外一个质因数7 。示例 4:输入:n = 1输出:true解释:1 通常被视为丑数。提示...
2022-03-07 10:22:54
96
原创 力扣打卡第二天 260. 只出现一次的数字 III
给定一个整数数组 nums,其中恰好有两个元素只出现一次,其余所有元素均出现两次。 找出只出现一次的那两个元素。你可以按 任意顺序 返回答案。示例 1:输入:nums = [1,2,1,3,2,5]输出:[3,5]解释:[5, 3] 也是有效的答案。示例 2:输入:nums = [-1,0]输出:[-1,0]示例 3:输入:nums = [0,1]输出:[1,0]提示:2 <= nums.length <= 3 * 104-231 <= nums[i]
2022-03-04 10:57:24
143
原创 力扣打卡第一天258. 各位相加
给定一个非负整数 num,反复将各个位上的数字相加,直到结果为一位数。返回这个结果。示例 1:输入: num = 38输出: 2解释: 各位相加的过程为:38 --> 3 + 8 --> 1111 --> 1 + 1 --> 2由于2 是一位数,所以返回 2。示例 1:输入: num = 0输出: 0最简单的办法是可以采用递归,但可能会造成溢出。递归代码如下:classSolution{publicintaddDigits...
2022-03-03 11:25:35
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人