
linux
FesianXu
腾讯-微信事业群-高级算法工程师, 百度-搜索策略部-前高级算法工程师。 主要从事多模态检索、视频检索、信息检索,大模型落地应用等领域工作。
展开
-
给自己Linux搞个『回收站』,防止文件误删除
linux没有像windows里一样的回收站,工作时候删除文件容易不小心删错,造成麻烦的后果。同时,可以考虑新增一个清除回收站的脚本,定期运行保证空间干净。由于保存了时间戳,时间超过当前7天的文件就可以删除掉了。在删除的时候,会在原文件名字后面新增删除时的时间戳信息。中alias rm命令到这个脚本,即是。,然后在里面新增,将。原创 2024-06-06 12:18:23 · 493 阅读 · 0 评论 -
linux日常工作shell命令与工具汇总
本文作为笔者的日常工作linux使用过程中的备忘录文件操作文件record去重对文件内的record进行去重,可采用uniq和sort命令进行,比如文件record为,不同字段用\t隔开,为了将其中重复的record挑选出来,或者将非重复的record挑选出来,有以下几种命令可供使用。# filename: dup_recordmike 30nancy 45jacky 45mike 67nancy 25nancy 57nancy 25mike 30mike 67jacky 45原创 2022-05-16 14:55:49 · 270 阅读 · 0 评论 -
tmux的分割线变成『x』『q』的解决方法
在使用tmux的时候,如果是用PuTTY可能会出现panel之间的分割线从实线变为一堆『x』或者『q』,非常不好看。如下图所示:正常的分割线应该是实线不正常的分割线变为了一堆『x』和『q』,丑得咩有朋友~在[1]中提供了一种解决方法,在启动tmux的时候,配合参数-u,可以使得tmux强制使用utf-8编码,从而解决这个问题。比如:tmux -u new -s new_envtmux -u a -t old_envReference[1]. https://stackov原创 2021-09-14 16:13:21 · 626 阅读 · 0 评论 -
【工具总结】tmux使用小集锦
本文纪录笔者在 tmux 使用过程中的一些小笔记。添加鼠标控制相关的设置可以在tmux中设置是否采用鼠标控制,比如鼠标控制窗口大小,选择panel等,采用bind绑定快捷键可以使得整个使用过程更为顺滑流畅 [1]。 设置通过编辑vim ~/.tmux.conf,并且在进入tmux后,输入prefix(默认是ctrl+B),然后输入:source-file ~/.tmux.conf触发新设置生效。 ~/.tmux.conf的配置如:# toggle mouse mode to allow mouse原创 2021-05-25 14:46:03 · 272 阅读 · 0 评论 -
c语言中内循环和外循环的位置可能产生性能上的区别
在图像处理相关的代码中,我们经常有类似于以下的代码,去遍历多维数组(张量)的每一个元素:#define LENGTH 10000void proc(){ uint8 datas[LENGTH][LENGTH]; int i, j; long long sum = 0; for (i = 0; i < LENGTH; i++){ for (j = 0; j < LENGT...原创 2020-02-01 00:01:49 · 3410 阅读 · 2 评论 -
c语言运行时出现segment fault的原因
segment fault段错误是在编程报错中经常出现的,特别是在c语言编程中,尤其常见,其原因本质上上是访问了非法(不属于这个程序)的内存地址空间,具体来说有以下几种情况:局部变量定义中,使用了过大的局部变量,大于了系统给之的栈(stack)的大小,因此报错。比如以下代码在linux环境下,就可能出现段错误报错:void foo(){ float vars[10000][10000];...原创 2020-01-31 21:38:04 · 3979 阅读 · 0 评论 -
在vs code上进行远程深度学习开发环境简易搭建
远程深度学习环境的搭建,可以采用pycharm,其是一个IDE,可以采用远程解释器连接到远程的服务器进行python代码的运行,debug和同步等,但是pycharm是一个商业软件,而且其体量较大,打开速度慢,因此更为轻量级的解决方案可以采用vs code(以下简称vsc)。环境ubuntu 18.04vs codevs code插件sftpvs code插件remote-fsgit...原创 2020-01-07 12:51:28 · 3132 阅读 · 0 评论 -
[linux命令] 如何在用户终端退出后,不挂起或退出用户正在运行的程序
我们经常用ssh连接远程linux服务器进行管理和运行程序等,我们会发现,当我们把终端界面退出后,我们通过这个终端执行的程序,不管是在前台运行,还是已经通过&挂在了后台运行的程序,都会因为在退出终端的过程中,发出的SIGHUP信号而退出,有时候我们希望我们即使是退出了终端,某个程序也需要一直运行下去,那么我们可以采取以下两种方法。使用tmux如果我们有服务器的root权限,我们可以安装...原创 2019-10-13 17:15:34 · 2612 阅读 · 0 评论 -
利用远程服务器实现内网穿透访问jupyter notebook
有两种方式,但是都需要一个有公网IP的云服务器, 第一种方式使用ssh隧道转发;第二种方式用frp进行内网穿透,并且需要有个域名,可以在腾讯云之类的注册申请一个。第一种方式更简单,第二种方式只要有浏览器即可访问jupyter notebook。ssh隧道转发本地安装Xshell,建立连接,登录服务器在远程服务器上,启动jupyter notebook服务:jupyter noteb...转载 2019-10-02 09:00:24 · 2932 阅读 · 0 评论 -
[Linux配置笔记] vimplus的配置过程及其报错纪录
vimplus[1,2]是一种集成多种常见插件的基于vim的编辑环境,非常适合在linux环境下进行运行。但是在安装过程中,因为vimplus中的YouCompleteMe默认是基于python2解释,但是在开发过程中很多时候是基于python3的,所以这个时候需要进行配置修改,而且,vimplus因为需要在https://go.googlesource.com/tools/中下载一些插件,而基于...原创 2019-07-17 00:42:05 · 1110 阅读 · 1 评论 -
[linux常用命令] rsync 用于远程/本地 文件的拷贝(可以实现差量复制)
rsync 可以实现远程或者本地的文件差量复制,也就是说不覆盖原有的相同文件,可以用于断点文件传输。如:rsync -avz --progress /root/client/ root@202.112.23.12:/home/work/ 可以将本地文件/root/client/传输到ip为202.112.23.12的/home/work/目录下,并且以root身份登录。其中,--...原创 2019-03-04 18:35:35 · 8942 阅读 · 0 评论 -
深度学习常用软件纪录
本文章纪录笔者在深度学习的工作和学习中经常使用的一些软件工具,工欲善其事必先利其器,希望这篇文章能对各位入门的朋友有所帮助。如有谬误,请联系指出,如需转载,请注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@163.comQQ: 973926198github: https://github.com/FesianXu一般工作环境一般来说,笔者的代码是运行在...原创 2019-01-15 17:17:57 · 2015 阅读 · 0 评论 -
ubuntu文件系统常用文件备忘录
前言:linux系统的文件系统中有很多配置文件需要自行管理,也有很多目录有着其独特作用,本文总结笔者日常工作生活中所用到的一些配置文件,欢迎各位在评论区共享idea,如有谬误请联系指出,转载请注明出处。∇\nabla∇ 联系方式:e-mail: FesianXu@163.comQQ: 973926198github: https://github.com/FesianXu基于linu...原创 2019-01-14 14:54:10 · 390 阅读 · 0 评论 -
在linux系统中ftp或者docker的数据卷中使用mount --bind
在linux系统中部署ftp服务时,我习惯将文件放置在同一个文件夹内,然后用[1]中的方法进行权限管理和文件隔离,这样做方便文件的统一管理。但是有时候,我们的想要分享的源文件规模比较大,比如是一个数据集,不可能每次要分享的时候都将其拷贝到该ftp文件夹内,因此我们想到了,欸,是否可以通过软链接(soft link)[2]进行文件的链接呢?这个过程有点像是windows系列系统的快捷键,答案是不行,...原创 2018-12-17 21:09:48 · 846 阅读 · 0 评论 -
linux中常用的用户与用户组相关命令
在linux中,有一些关于用户与用户组(工作组)或者文件权限有关的命令,在日常操作中经常会用到,我们这里汇总下,以供备忘。一般来说,以下命令常用:chmod, change modechgrp , change groupchown, change owneruseraddgroupadd还有以下文件也常常和用户,用户组和权限有关:/etc/group/etc/sudoers...原创 2018-12-12 23:13:51 · 615 阅读 · 0 评论 -
在linux系统上部署FTP服务时进行权限管理(利用chown,chmod命令实现)
我们有时候需要通过FTP服务进行资源共享,但是经常又希望分发出去的不同的帐号有着不同的访问权限,比如现在有帐号A,B,C,而在资源文件夹内有三个对应的文件夹file_a,file_b,file_c,我们希望A只能访问file_a,而不能访问file_b,file_c;其他帐号同理,有着各自的访问域。这个时候,可以通过设置文件的所属和访问权限实现。本文系统基于ubuntu 16.04, FTP使用的...原创 2018-11-29 19:57:00 · 1947 阅读 · 0 评论 -
|常用linux指令| scp 主机之间的文件相互拷贝
scp,是secure copy的简称,是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。 其基本使用方法见《Linux scp命令》。这里纪录下平时在开发过程中遇到的用法,以为备忘。应用背景:在我们实验室进行深度学习开发,实验室有一个公网ip,记为ipc,因为机房有若干服务器,因此在路由器上进行了端口映射,每个端口对应每个服务器,其中我们小组的服务器的端口号为A和B,如果现在...原创 2018-08-05 13:52:44 · 840 阅读 · 0 评论