Jolen_xie的博客

原创 Encoder-Decoder、Encoder only、Decoder only

（从左到右生成）或自注意力机制生成文本，同时处理输入和输出的依赖关系。-编码器与解码器可独立优化，适合需要明确输入-输出映射的场景。解码器根据中间表示生成目标序列（如目标语言翻译）。- 自注意力机制可捕捉长距离依赖，生成连贯文本。，通过自注意力机制捕捉输入的全局上下文信息。，适合需要全局上下文分析的任务。如：文本分类、问答系统、预训练语言模型。，适合需要创造性输出的任务。生成内容依赖前部分给予和已生成内容。机器翻译、文本摘要、结构化数据生成。-训练效率高，适合预训练任务。仅依赖输入序列的全局上下文。

原创 大模型的后训练（post-training）方法

阶段预训练（Pre-training）后训练（Post-training）目标学习通用语言模式与世界知识适配具体任务、对齐偏好、优化部署数据大规模无监督文本（如网页、书籍）小规模有监督数据（如标注样本、偏好对）方法自回归/自编码语言模型SFT、RLHF、蒸馏等资源需千卡级GPU集群训练数月通常单卡或小规模集群，数小时至数天。

原创 LoRA原理与特性

LoRA(Low-Rank Adaption)通过低秩矩阵分解来高效调整大型预训练模型的权重。其基本思路是将权重矩阵的更新约束为两个低秩矩阵的乘积，从而减少需要学习的参数量。（3）当$A = 0 or B=0 $时，都保证了全零初始化的对称性。保持不变，因此减少了训练的参数量，提高了计算效率。时，梯度为0，A和B的参数也一直为0，，LoRA对其添加一个低秩的更新矩阵。，从而得到微调后的权重矩阵。时，训练初期引入了较大的。受到噪音干，从而难以收敛。

原创 服务器下flash-attention安装报错error: [Errno 18] Invalid cross-device link:

中os.rename(wheel_filename, wheel_path)为shutil.move(wheel_filename, wheel_path)

原创 HuggingFace下载模型TimeoutError

Q：AutoTokenizer.from_pretrained里HuggingFace提示HTTPSConnectionPool(host=‘huggingface.co’, port=443)A：在python文件开头加入如下代码。

原创 通义千问报告（Qwen Technical Report）阅读记录

通义千问报告阅读记录和有感

原创 服务器ubuntu重装系统后将原来的用户进行关联

【代码】服务器ubuntu重装系统后将原来的用户进行关联。

原创 Ubuntu下用Docker部署群晖系统---Virtual DSM --zerotier实现连接

安装最新docker。

原创 ubuntu配置Docker并安装本地版overleaf

可能会报错docker: error pulling image configuration: download failed after attempts=6: dial tcp 162.125.32.10:443: i/o timeout. 这是由于被墙了，可以加国内镜像源。默认情况下，只有root用户和docker组的用户才能运行Docker命令。去阿里云注册账号，然后点控制台，找容器镜像服务，里面会生产docker的专属链接。会出现Hello from Docker!

原创 Latex常用符号和功能记录

【代码】Latex常用符号和功能记录。

原创 pigz搭配tar多线程压缩文件夹，加快文件压缩速度

pigz搭配tar开启不了多线程，还是很慢

原创 pycocotools报错 if type(resFile) == str or type(resFile) == unicode: NameError: name ‘unicode‘ is

pycocotools报错 if type(resFile) == str or type(resFile) == unicode: NameError: name 'unicode' is not defined

原创 Q: /usr/include/c++/7/bits/basic_string.tcc:1067:16: error: cannot call member function ‘void std::b

【代码】Q: /usr/include/c++/7/bits/basic_string.tcc:1067:16: error: cannot call member function ‘void std::b。

原创 Pytorch学习之猫狗大战

import torchimport torchvision.models as models #储存里常用的一些模型import torch.nn as nnimport torch.optim as optimimport torch.optim.lr_scheduler as lr_schedulerimport timeimport torchvision.transforms as transforms # 常用的图片变换，例如裁剪、旋转等；from torchvision impo

原创 pytorch学习之线性拟合

import torchfrom torch.autograd import Variableimport numpy as npimport timeuse_cuda = Truedef get_data(): # 生成拟合数据 train_x = np.asarray([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20]) #[10] train_y = np.asarray([1, 2

原创 编译库文件时报错move_base: symbol lookup error: undefined symbol:

Q:编译库文件时报错/opt/ros/kinetic/lib/move_base/move_base: symbol lookup error: /home/xjl/deepDisk/ubuntu/fangzhen/AstarPlugin/devel/lib//libglobal_planner_lib.so: undefined symbol: _ZN5Astar7getPathER5PointS1_A：CMakeLists中编译库时未完全添加所需的可执行文件文件结构：--fun----inclu

原创 github推送Please make sure you have the correct access rights and the repository exists.

A： github推送和拉取报错：kex_exchange_identification: read: Connection reset by peerfatal: Could not read from remote repository.Please make sure you have the correct access rightsand the repository exists.Q： 我选择重新生成SSH key，具体步骤如下：本地生成SSH keyssh-keygen

原创 python使用Axes3D画三维图加入legend图例时报错AttributeError: ‘Poly3DCollection‘ object has no attribute ‘_edgecolo

Q：python使用Axes3D画三维图加入legend图例时报错AttributeError: 'Poly3DCollection' object has no attribute '_edgecolors2d'报错源代码fig = plt.figure()ax = Axes3D(fig)X, Y = np.meshgrid(3, 3)ax.plot_surface(X, Y, np.zeros([3,3]， label="surf")ax.legend()plt.show()A：在ax

原创 anaconda中的python3环境与ros公用时的问题

Q1：ImportError: /opt/ros/kinetic/lib/python2.7/dist-packages/cv2.so: undefined symbol: PyCObject_Type使用https://blog.youkuaiyun.com/Jolen_xie/article/details/121634091?spm=1001.2014.3001.5501Q2：但是出现ModuleNotFoundError: No module named ‘rospy’把import syssys.p

原创 ubuntu先anaconda中python3与ros共存时opencv报错

Q: ubuntu使用python调用opencv报错ImportError: /opt/ros/kinetic/lib/python2.7/dist-packages/cv2.so: undefined symbol: PyCObject_TypeA：主要是掉用来ros总python2中的cv2,因此在代码前如下代码：import syssys.path.remove('/opt/ros/kinetic/lib/python2.7/dist-packages')...

原创 把pdf转为高清jpg图片，其dpi为300以上

把pdf转为高清jpg图片，其dpi为300以上在用latex写好伪代码后生成的pdf，想生成jpg格式，可以用如下方法工具：Adobe Acrobat Pro DC如果是：文件>导出到>图像这样的图像dpi较小，有很重的锯齿感1. 点击窗口右侧“导出PDF”2. 选择图像3. 电机JPEG右侧的齿轮，然后根据需求设置即可...

原创 latex伪代码

latex伪代码需要包括的包\usepackage[ruled]{algorithm2e}案例代码\begin{algorithm}[H]\caption{algorithm caption}%算法名字\LinesNumbered %要求显示行号\KwIn{input parameters A, B, C}%输入参数\KwOut{output result}%输出some description\; %\;用于换行\For{condition}{　　only if\;　　\If{c

原创 conda虚拟环境下使用pip安装包报错Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)

Q1: conda虚拟环境下使用pip安装软件报错：WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection obj

原创 随机名字获取，杜绝取名烦恼

随机名字获取from urllib.request import Request, urlopenreq = Request("https://frightanic.com/goodies_content/docker-names.php", headers={'User-Agent': 'Mozilla/5.0'})webpage = str(urlopen(req).read())word = webpage.split("b\'")[1]word = word.split("\\")[0]

原创 gazebo打开仿真环境报错gzserver: /build/ogre-1.9-mqY1wq/ogre-1.9-1.9.0+dfsg1/OgreMain/src/OgreRenderSystem

Q：gazebo仿真报错gzserver: /build/ogre-1.9-mqY1wq/ogre-1.9-1.9.0+dfsg1/OgreMain/src/OgreRenderSystem.cpp:546: virtual void Ogre::RenderSystem::setDepthBufferFor(Ogre::RenderTarget*): Assertion bAttached && "A new DepthBuffer for a RenderTarget was crea

转载 用latexdiff输出论文修改痕迹

转载: https://zhuanlan.zhihu.com/p/267887565仅做学习使用第一步我们先在overleaf上创建一个示例项目，文件名为main.tex，pdf渲染效果如下第二步，我们随便在main.tex上做点修改，把修改后的文件取个名字叫做revise.tex，修改后的效果如下乍一看不太容易看出来哪里作出了修改，我们现在用latexdiff处理一下，latexdiff在tex套装里默认安装了，可以在本地执行，网上也有在线版的，但是可能不安全。现在在本地终端里执行一下命令：

原创 马尔可夫决策过程(Markov Decision Process)学习笔记

记录一些自己的问题和理解基本的概率定义在给定前继状态和动作的值时，s′,s∈S,r∈Rs^{\prime}, s \in \mathcal{S}, r \in \mathcal{R}s′,s∈S,r∈R，在t时刻发生这些值的概率，这定义了MDP环境的动态特性。p(s′,r∣s,a)≐Pr⁡{St=s′,Rt=r∣St−1=s,At−1=a}p\left(s^{\prime}, r \mid s, a\right) \doteq \operatorname{Pr}\left\{S_{t}=s^{\

原创 CMakeLists.txt链接库的基本套路

CMakeLists.txt链接库的基本套路在使用CMake组织工程时，如果我们需要依赖某个库文件，需要完成以下步骤：查找库文件（find_package命令）判断是否找到库文件（XXX_FOUND标记），并包含头文件（include_directories命令）链接库文件到目标（target_link_libraries命令）因此，库文件、头文件的名字（大小写）我们就要清楚的写明，不要混淆。我常用的库如OpenCV, catkin, Boost, Eigen等，其用法如下。常用的变量有：nam

原创 Markov决策过程学习笔记和一些Markov代码实现的记录

Study notes of Markov desicion process马尔可夫性质(Markov properity)马尔可夫的性质如下图所示马尔可夫的性质表示下一刻的状态至于当前时刻有关，其他的历史信息可以丢弃不用。对于马尔可夫状态SSS和下一个状态s′s^{\prime}s′，两者之间的状态概率转移矩阵定义为：Pss′=P[St+1=s′∣St=s]\mathcal{P}_{s s^{\prime}}=\mathbb{P}\left[S_{t+1}=s^{\prime} \mid

原创 David Silver强化算法学习地址和PPT

Bilibili：https://www.bilibili.com/video/BV1kb411i7KG?share_source=copy_web 有中文字幕Youtube：https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLqYmG7hTraZDM-OYHWgPebj2MfCFzFObQPPT：https://www.davidsilver.uk/teaching/

原创 双目三维定位

双目三维定位一、基本原理1. 几何关系与数学模型假设有一个点p，沿着垂直于相机中心连线方向上下移动，则其在左右相机上的成像点的位置会不断变化，即d=x1-x2的大小不断变化，并且点p和相机之间的距离Z跟视差d存在着反比关系。上式中视差d可以通过两个相机中心距T减去p点分别在左右图像上的投影点偏离中心点的值获得，所以只要获取到了两个相机的中心距T,就可以评估出p点距离相机的距离，这个中心距T也是双目标定中需要确立的参数之一。2. 双目定位的基本流程：需要分别获取左右相机的内外参数（标定）通过立

原创 C++读取txt文件里每行的数据

#include <iostream>#include <stdio.h>#include <stdlib.h>#include <string.h>using namespace std;const char *board_list = "./example_list.txt";int main(int argc, char **argv){ FILE *f = fopen(board_list, "rt");

原创 boost::bind(&mynteye::imageCallback,this, _1, _2)报错error: no match for call to ‘(boost::_mfi::mf2＜vo

在使用message_filters做传感器融合时，在sync->registerCallback中的boost::bind出现报错 image_sub_left = new message_filters::Subscriber<sensor_msgs::Image>(nh_, "/mynteye/left/image_color",1,ros::TransportHints().tcpNoDelay()); image_sub_right = new message_f

原创 realsense中IMU的简单使用与学习

IMU的基本原理上图中，红色为x轴，绿色是y轴，蓝色是z轴; 一般相机正视方向为z轴。相当于左上角为原点的像素矩阵。相机在围绕x轴旋转产生pitch俯仰角θ\thetaθ再旋转z轴产生roll翻滚角α\alphaα根据几何关系：θ=atan2(zx2+y2)\theta= atan2 (\frac{z}{\sqrt{x^2+y^2}})θ=atan2(x2+y2​z​)α=atan2(xy)\alpha=atan2(\frac{x}{y})α=atan2(yx​)简单的位姿解

转载 RGB-D、TOF深度相机的原理

RGB-D、TOF相机的原理一、原理RGB-D 图像中的rgb图片提供了像素坐标系下的x，y坐标，而深度图直接提供了相机坐标系下的????坐标，也就是相机与点的距离。根据 RGB-D 图像的信息和相机的内参，可以计算出任何一个像素点在相机坐标系下的坐标。根据 RGB-D 图像的信息和相机的内参与外参，可以计算出任何一个像素点在世界坐标系下的坐标。相机视野范围内，相机坐标系下的障碍物点的坐标，就是点云传感器数据，也就是相机坐标系下的点云数据。点云传感器数据可以根据 RGB-D 图像提

原创 CmakeList中加入OpenCV编译项

find_package(OpenCV REQUIRED)include_directories( include ${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})target_link_libraries(excutable_file_name ${catkin_LIBRARIES} ${OpenCV_LIBS})

原创 安装ROS使用sudo rosdep init 报错ERROR: cannot download default sources list from:

Q：安装ROS使用rosdep init报错sudo apt install python-rosdepsudo rosdep initrosdep update报错：ERROR: cannot download default sources list from: https://raw.githubusercontent.com/ros/rosdistro/master/rosdep/sources.list.d/20-default.list Website may be down.A：解

原创 Ubuntu拔掉挂载硬盘后一直卡在ubuntu的logo处以及windows强制关机会出现ubuntu出现系统恢复模式

Q:Ubuntu拔掉挂载硬盘后一直卡在ubuntu的logo处A: 这可能是ubuntu硬盘检测出现问题，需要把先前设置的硬盘挂载删除掉按ctrl+alt+F2进入终端，看有的博主说按Mvim /etc/fstab把以前挂载的那行命令注释或删除...

转载 tensorflow的slim模块学习使用

https://www.cnblogs.com/zyly/p/9146787.html

原创 Reinforcement learning分支结构