NLP算法工程师，主要研究人机对话系统、机器翻译算法，文本生成、大模型等算法研究

搭建个人的博客https://blog.youkuaiyun.com/weixin_43664418/article/details/103542206?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-7.highlightwordscore&depth_1-utm_source=distribute.pc_relevant.none-t

在国产化大模型适配的时，遇到的环境问题。

linux 终端clear命令无效，并返回：terminals database is inaccessible。step1: vim ~/.bashrc 在里面添加如下信心。

把本机生成的rsa_id.pub公钥上传至服务器中，并追加（cat命令） 写入到~/.ssh目录下的authorized_keys文件中。如果~/.ssh目录下没有authorized_keys文件，则需要我们手动创建一个。step5:visual studio code 连接服务器不需要密码的操作。生成的两个默认文件中，id_rsa.pub是公钥，id_rsa是私钥。打开下图中的配置文件，并输入跳板机和服务器的配置信息。step3:将本机生成的私钥和公钥上传服务器上。step1:在本机上生成私钥和公钥。

1:查看当前linux系统的gcc版本。2：查看和cuda版本对应的gcc版本。3：安装和cuda对应版本的gcc。4：建立gcc和cuda的软链接。

docker 容器的基本操作

基于Docker安装Tensorrt的方法介绍

清除linux上的buff/cache

visual studio code 连接远程 linux 服务器，不用每次都输入密码

CPU 不支持半精度计算，重新安装成GPU版本的pytorch 就可以查看安装的pytorch是否能使用CUDA进行加速计算import torchtorch.cuda.is_available()

pdb Python自带的一种debug工具pdb 的两种用法1: 非侵入式方法python -m pdb filename.py2: 侵入式方法Import pdbpdb.set_trace()3: 常用命令l：查看当前位置前后11行源代码ll：查看当前函数或框架的所有源代码n： 执行下一行不会进入函数体c：持续执行下去，直到遇到一个断点n：执行下一行（不会进入函数体）s：执行下一行（能够进入函数体）p：打印变量，相当于print()函数q：退出调式器referen

for linux and windowswget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shFor OSXwget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.shInstall minicondash Miniconda3-latest-*-x86_64.sh -bRun conda init~ /

出现以上问题如何解决git config --global http.sslverify false

从ES索引库中读取数据的代码逻辑如下：#!/usr/bing/env python# -*-coding:utf-8-*-# author:xx# datetime:21-x-x 下午xx:xx# software:PyCharmimport osimport sysimport jsonimport inspectfilename = inspect.getframeinfo(inspect.currentframe()).filenamematrix_dir = os.path

1：压缩命令tar -zcvf 压缩文件名.tar.gz 被压缩文件名2：解压命令tar -zxvf 压缩文件名.tar.gz

1：在root用户下，修改root用户的密码passwd输入两遍新密码2：在root用户下，修改普通用户的密码，如修改nlp用户的密码passwd nlp输入两遍新密码

出现ping:unknown host的主要问题是linux设置的DNS解析不了。解决办法：vim /etc/resolv.conf nameserver 8.8.8.8nameserver 4.4.4.4重启网络service network restart

网友说这样处理conda config --add channels - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/freeconda config --add channels - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main但是我没有成功最终改成离线环境测试可以conda config --set offline true所以朋友们，如果以后还遇到HTTPErro

1.安装cudasudo sh cuda_10.2.89_440.33.01_linux.run2.安装cudnncp /usr/local/cuda-10.2/include/cudnn.h /usr/local/cuda/includecp /usr/local/cuda-10.2/lib64/lib* /usr/local/cuda/lib643.建立软链接ln -s /usr/local/cuda-10.2 /usr/local/cuda4.修改环境变量sudo vim

1：创建环境conda create -n pytorch python=3pytorch:是虚拟环境的名字2：删除环境conda remove -n pytorch --all3：激活环境conda activate pytorch or source activate pytorch4：关闭环境deactivate pytorch5：安装环境`url:https://pytorch.org/get-started/previous-versions/从上述地址找安装pyto

Git远程仓库版本回退step1：git log 查看历史提交记录，选择要回退的版本号step2: git reset --hard xxxxxxxx 回退到本地版本step3: git push -f 强制回退远程仓库到当前版本

step1: ps x 找到进程号step2:top -p xxxx(进程号)step3: cat /proc/xxxx/status

解决方案h5py版本过高导致，执行 pip install h5py2.10.0keras2.2.4

1：统计当前目录下python文件的数量find . -name "*.py" |wc -l2：统计当前目录下所有python文件中代码的数量find . -name "*.py" |xargs cat|wc -l3：统计当前目录下所有python文件的代码数量并过滤空行find . -name "*.py" |xargs cat|grep -v ^$|wc -l......

在开发过程中anaconda占用太多的存储空间，瘦身命令如下：# 删除掉从不使用的packages# Remove unused packages from writable package caches.conda clean -p# 删除掉tar包conda clean -t# Remove index cache, lock files, unused cache packages,and tarballs.conda clean -a...

查看linux环境下现有的虚拟环境conda env list创建名字为tf2.0, python环境为3.7的虚拟环境conda create -n tf2.0 python=3.7激活创建的环境source activate tf2.0退出环境source deactivate管理环境下的baoconda install -n tf2.0 package_nameconda uninstall -n tf2.0 package_name删除环境conda remove

查看环境变量PATHecho $PATH修改方法一//配置完后可以通过echo $PATH查看配置结果。生效方法：立即生效有效期限：临时改变，只能在当前的终端窗口中有效，当前窗口关闭后就会恢复原有的path配置用户局限：仅对当前用户export PATH=/usr/local/java/bin:$PATH修改方法二生效方法：（有以下两种）1、关闭当前终端窗口，重新打开一个新...

method1：curl -XPUT http://127.0.0.1:9200/_settings -d '{ "index" : { "max_result_window" : 100000000}}‘method2第二种：在config/elasticsearch.yml文件中的最后加上index.max_result_window: 100000000，但是这种方法要注意在最前面加...

解决办法升级dask即可,直接cmd下，pip install --upgrade dask，

安装环境硬件信息Ubuntu16.04 LTSstep1:根据个人电脑配置下载显卡驱动程序http://www.nvidia.cn/page/home.htmlstep2:卸载掉旧版本的显卡驱动`sudo apt-get purge nvidia*step3:禁用系统自带的nouveau驱动创建一个配置文件sudo vim /etc/modprobe.d/blacklist-n...

chown wlq testfilwe //为文件夹testfile更改拥有者为wlqchgrp [-r] wlq testfile //为文件夹testfile更改拥有者组为wlqsudo du -sh /home/* //查看一台机器上各个用户占用空间情况ln -s [源文件或目录] [目标文件或目录] #建立软链接rm -rf 软连接的名称 //删除软......

2015年6月18日 tuesday 下午 13:55 天气请 Linux文本处理命令是Shell编程中的常用命令，包括对文件记录的排序，合并，分割，去重以及对文件的压缩和解压等操作：sort命令解析：sort [选项][文件]其中选项包含：-c:用来测试文件是否已经被排序 -t:改变域分隔符 -k:用来指定排序的域 -u:用来去掉文件记录中的重复内容

在~/.bashrc 下面输入 服务器的路径 再加入 source /etc/profile