- 博客(53)
- 收藏
- 关注
RSS订阅原创 docker无法pull镜像问题解决for win10
配置镜像源， 启动docker-desktop，在设置中找到docker Engine， 添加对应的配置，默认的配置中只有builder和experimental两个值，咱们可以自行添加registry-mirrors。hub.docker.com在2024年5月之后，国内已经无法访问了，所以使用默认的配置就会默认访问hub.docker.com，因为无法访问，所以自然拉取不到对应的镜像。
2025-03-10 18:17:36
443
原创 docker ps遇到问题Got permission denied while trying to connect to the Docker daemon socket
这类情况是当前用户不是root用户，并且不在docker用户组中。然后执行docker ps，问题解决。使用docker ps时提示。
2025-02-05 16:00:50
153
原创 DeepSeek大模型指定github项目版本安装环境
最近DeepSeek非常的火爆，有一些公司复现了DeepSeek，如open-r1, 但其依赖的环境往往是最新的，甚至是新增的功能，整个生态安装没有完善。重新执行安装命令即可顺利下载git代码。
2025-02-05 15:13:50
388
原创 git-fork操作指南
有时候我们需要将github的项目fork到自己名下，然后修改并提交pull request，这里将常用的操作做个笔记，方便需要时查看。git merge upstream/master # 其他分支只需要将master改成其他的分支名即可。
2024-09-15 13:09:06
1645
1
原创 torch和cuda版本不匹配问题的解决方案
最近在跑多模态的推荐算法啊，在安装环境的时候发现，其算法都跑在比较老旧torch版本上，因为依赖的包很多，而这些包有时候没有很好的做到向下兼容，导致安装出来的环境无法正常运行。因为特写这个文章记录一下。本文主要是githu上MMRec的环境安装为例说明。
2024-08-08 10:58:35
2021
原创 大语言模型激活函数绘图
plt.grid()plt.show()""":return:"""fig, ax = plt.subplots() # 创建图实例plt.grid()# 是否保存图片print("成功保存图片")plt.show()# relu# sigmoid# tanh# swishbeta = 1# silubeta = 1# mish# gelu# celu# elu。
2023-12-26 13:30:02
941
原创 常用hivesql记录
hivesql中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。
2023-11-09 15:28:04
727
原创 pyspark常用功能记录
pyspark中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。该中情况一般在需要处理过个行的情况下使用，如果是少数的行处理，可以使用withColumneturn "1"return "0"
2023-09-27 16:13:08
811
原创 B站创建视频分集播放列表
1、打开B站2、登录B站后，点击投稿上传视频。3、上传视频或把视频直接拖拽到页面里；4、点击上传第一个视频后页面下会出现一个+号的按钮，点击+继续上传，上传视频就会出现两个正在上传的进度条；6、如果还有视频要上传的话按上一步继续就可以了，当视频全部上传完后审核通过了就是视频列表了。
2023-07-08 00:37:27
3001
原创 bert结构模型的转换及[unusedxx]的不拆token
业界主流的模型结构包括tensorflow和pytorch，很多时候两者的模型需要转换成中间格式，比如onnx，另外在tokenized的时候需要保留[unusedx]不被分词，但默认的是会分词的，这里记录一下处理方式。torch转onnx方法很多，这里介绍两种方式。
2023-06-14 20:59:30
1321
原创 了解chat-GPT必须要读的论文汇总
今年在nlp领域，最靓的仔要数chat-gpt了，未来也可能颠覆搜索行业，甚至其他行业也会慢慢的被颠覆被取代，作为技术人员，为了保证饭碗，必须跟进相关技术的发展。目前梳理了一下chat-gpt技术的脉络，通过该脉络可以比较系统的了解chat-GPT背后的技术。论文的链接在最后的参考文献中，读者可以自行下载。可以说nlp的发展，从2017年的transformer(Attentino is all you need)文章问世就已经进入了新的纪元。
2023-03-26 12:50:06
2268
1
原创 pyspark多表join中的重名字段取用问题
在pyspark操作过程中，有时会忘记多表join重名字段去用问题，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。
2022-10-13 20:35:11
1348
原创 java + scala + spark安装（centos为例）
java + scala + spark安装（centos为例）在环境安装过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。java 安装# 查看包含的java包yum search java 或者。yum list java*# 安装（选择一个版本）yum install java-1.8.0-openjdk-devel.x86_64# 配置环境变量，配置好的见下文# 使配置生效source /etc/profile 或sour
2022-05-25 15:14:43
203
原创 hdfs基本操作
前言在hdfs操作过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。配置java环境hdfs使用需要依赖java，所以首先需要配置java环境(当然需要提前安装java)，配置命令：# java配置export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export PATH=your_dependency_path:$PATHhdfs 基本操作HDFS命令基本格式：hadoop fs -cmd <
2022-04-16 23:35:30
2101
原创 汉字与十六进制的相互转化
导读 最近工作上碰到了一个将16进制串转成汉子的需求，网上查了下，发现有些网页版本的，但离线使用的没有那种可以直接调用的函数，所以这里整理了一下，将转换功能写成一个完整的函数，哪里需要，复制粘贴过去就可以用。16进制转汉字函数定义：def hex2ch(hex_bytes): """ :param hex_bytes: 接受的参数可以是16进制的bytes列表，也可以是单个16进制bytes :return: 返回的结果跟传入的类型一致 """ i
2022-03-09 11:40:59
5181
原创 一文掌握vue前端
最近学习了vue的前端知识，这里做一个整理，一来希望给入门者提供学习，二来为自己以后用到提供一个查询的地方，后续会陆续介绍高阶的内容及项目实战内容。完整的学习内容托管在git及gitee, 欢迎大家收藏学习。基础知识插值操作mustache语法<!-- 1. mustache语法，显示变量值 --><h2>{{msg}}</h2>v-onece指令<!-- 2. v-onece指令 只渲染元素和组件一次, 这可以用优化更新性能 执
2021-03-16 14:31:04
294
原创 【docker】ubuntu部署pytorch环境报错踩坑
最近需要使用docker ubuntu:20.04 + pytorch验证一些实验，按照pc机安装依赖后还会碰到一些问题，现总结如下：libGL.so.1无法找到解决：apt updateapt install libgl1-mesa-glxlibgthread-2.0.so.0无法找到解决：apt updateapt install libglib2.0-0...
2021-03-11 14:37:34
291
原创 文件的编码问题解决
前言很多时候，我们需要在linux(ubuntu，centos等)、mac和windows之间共享一些文件，但是因为各个平台自带支持的编码不一致，有的是GB2312（window默认），有的是utf-8。导致跨平台无法正确打开文件，比如windows下的GB2312编码文件放到mac下，如果mac没有安装GB2312解码器，那打开就乱码。这里总结了文件格式的相互转换，目标当然是全球统一的utf-8,utf-16等utf系列编码。查看文件编码工具安装windows 文件编码格式查看和转换windows
2020-12-24 16:10:53
1057
2
原创 git子模块管理操作指引
概述目前基本上绝大多数的公司均废弃了同步时的SVN，转而拥抱分布式的git。为了开发和管理的方便，往往会将一个大的项目拆分成多个子项目进行独立开发，子项目之间的依赖和引用通过子模块的方式使用，对于刚从SVN转过来的用户，使用git管理子模块会碰到各种坑，这里进行一个汇总。添加子模块工程将子模块加到submodulegit submodule add url path # url 为git库的地址，path表示子模块存放的路径，可以是单极文件夹，可以是多级文件夹。执行成功后，在当前项目下可以看到
2020-12-11 10:43:17
336
2
原创 画图&opencv&pyqt等相关显示问题汇总
每次编写代码时进行参数设置#coding:utf-8import matplotlib.pyplot as pltplt.rcParams[‘font.sans-serif’]=[‘SimHei’] #用来正常显示中文标签plt.rcParams[‘axes.unicode_minus’]=False #用来正常显示负号#有中文出现的情况，需要u’内容’...
2020-12-03 19:32:56
209
原创 windows10 通过bat脚本安装软件
通过bat脚本安装软件脚本编写参考文献最近公司需要对外开源一个产品，为了让外界用户尽量简单的使用该产品。打算将依赖软件采用一个脚本的方式进行快速安装。脚本编写这里安装的软件包括：docker， vcxsrv, nodejs 及 使用npm安装adbkit:: 将@echo off:: 设置窗口大小@mode con lines=40 cols=100:: 设置窗口背景颜色color AF:: 设置标题title "auto install tool":: 打印信息 echo "in
2020-11-19 11:38:23
9031
原创 docker容器内连接android手机（mac版）
docker容器内连接android手机（mac版）很多时候，为了环境依赖管理的便利，会选择使用镜像管理，而在有些业务场景需要连接手机，这就需要在容器中连接手机的解决方法。下面介绍如何在mac主机上启动容器，并在容器中连接手机。环境：容器镜像是基于ubuntu构建的， 主机是mac笔记本docker容器安装adbapt-get install android-tools-adbapt-get install android-tools-fastboot母机安装adbkit安装npmnpm是
2020-11-05 10:58:36
3277
1
原创 docker容器在windows上的可视化配置
docker容器在windows上的可视化配置使用docker容器技术替换虚拟机和部署服务是当前的潮流和趋势。大公司使用docker+k8s可以进行计算资源的管理，对物理服务进行管理，部署服务和版本发布时按实际所需资源进行分配，做到资源的充分利用，最典型的是云服务的计算资源调度。而个人使用docker技术好处也很多，比如不同的业务和应用构建不同的镜像保证环境依赖的独立性；每个业务和应用使用不同的镜像，避免了在不同的机器上重新安装环境导致依赖版本不一致带来的结果不一致等问题；构建同一个镜像，不同的用户可以在
2020-09-24 18:59:45
4036
原创 docker容器在mac上的可视化配置
docker容器在mac上的可视化配置使用docker容器技术替换虚拟机和部署服务是当前的潮流和趋势。大公司使用docker+k8s可以进行计算资源的管理，对物理服务进行管理，部署服务和版本发布时按实际所需资源进行分配，做到资源的充分利用，最典型的是云服务的计算资源调度。而个人使用docker技术好处也很多，比如不同的业务和应用构建不同的镜像保证环境依赖的独立性；每个业务和应用使用不同的镜像，避免了在不同的机器上重新安装环境导致依赖版本不一致带来的结果不一致等问题；构建同一个镜像，不同的用户可以在任何地方
2020-09-23 20:19:28
2643
原创 linux常用操作汇总
很多的linux操作总是忘记，这里将常用的linux操作进行汇总，想用时随时查看。查看正在运行的所有端口netstat -ntlp
2020-09-14 14:17:58
150
原创 anaconda管理python版本手册
anaconda管理python版本手册anaconda安装安装查看conda常用的命令。创建python虚拟环境激活虚拟环境python依赖安装关闭虚拟环境移除虚拟环境最近在研究tensorflow2.x的版本，但是公司内部业务使用的是tensorflow1.x，为了保证环境的隔离，打算采用anada来管理不同的python环境。anaconda安装上官网下载anaconda， 安装方式有两种，一个是图形化安装，一个是命令行安装。我的是mac，下载了Graphical installer。下载完成后
2020-08-08 22:40:39
378
原创 nginx搭建文件系统随笔
导读：在上云的时代，服务一般都会采用k8s集群部署服务应用，服务之间通过ceph进行共享数据。但是ceph存在很多问题，一旦ceph服务器卡住会导致共享ceph的业务服务器访问不了数据，并且只要卡住，一般恢复需要比较久的时间。会严重影响到业务。为此需要构建一个专门进行数据存储的服务，比如接入aws云，ali云或腾讯云的s3服务。为了便于与团队的业务进行数据交互，往往会本地服务器进行缓存数据，并且请求服务商的s3服务是需要收钱的。一般的逻辑为：用户向本地数据服务请求数据，本地数据服务查看本地是否有缓存（非最
2020-07-18 19:21:37
810
原创 手把手教你使用tfserving进行模型部署
目录导读tfserving镜像下载模型准备部署模型http接口请求原数据请求http inferencegrpc请求参考文献导读在工业界，模型的部署绝大部分的企业都会选择tfserving工具。本篇文章分享一下如何使用容器进行模型部署并使用部署好的模型。tfserving镜像下载使用docker下载tfserving镜像，关于docker的使用可参考，tfserving包含的版本可在此查看。docker pull tensorflow/serving:2.1.0 # 这里下载的是tf2.1.0的
2020-07-09 19:47:23
7889
8
转载 Prometheus 入门
写在前面的话该篇文章为转载，主要的目的是作者觉得这个文章比较的比较详细，自己也是参考这个文章搭建的prometheus监控系统，故特意转载，[文章链接](https://www.hi-linux.com/posts/25047.html)：https://www.hi-linux.com/posts/25047.html1. 什么是TSDB？TSDB(Time Series Databas...
2020-05-10 15:57:04
193
原创 prometheus配置说明
前面转载了一篇关于prometheus的介绍，这里介绍一下prometheus的配置，为了自己以后可以参考。配置demo# my global configglobal: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The
2020-05-10 14:29:40
813
原创 华硕主板BIOS设置虚拟化技（virtualization technology）
华硕主板BIOS设置虚拟化技（virtualization technology）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML...
2020-05-02 16:50:36
21793
3
原创 docker基本操作随笔
登陆镜像仓库 docker login hub.docker.com Username: 用户名 pwd: 密码docker镜像基本操作1)下载镜像： docker pull ubuntu:14.04 # ps: pull 是下载镜像的命令；ubuntu是下载的镜像名字，冒号后的14.04是版本号。如果直接使用ubuntu不加版本号，默认是最新版。2) 运行容器 d...
2020-04-08 20:15:14
633
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人