- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 LLM Attention and Rotary Position Embedding(旋转位置编码)
旋转位置编码（Rotary Position Embedding，RoPE）是一种能够将相对位置信息依赖集成Attention计算里的方法。就是在做词表映射的时候不是单一的进行一个embedding计算，还考虑位置信息。
2024-09-07 13:10:34
1154
原创 cuda性能分析工具: nsight systems
选择File->Open找到timeline.nsys-rep（注意这个nsys-rep文件是通用的，比如可以在linux上生成，在mac上用nsight system打开）可以在CUDA API里看到cudac的算子和占比，在下面stats system view的CUD GPU Kernel Summary里有具体分析。2. 安装Nsight Systems可视化工具。timeline.nsys-rep分析报告。2. 打开Nsight System。
2024-08-23 11:14:15
2401
原创 bashrc
# 安装bash-completion(bash命令自动补全)apt-get install bash-completionvim ~/.bashrcif [ -f /etc/bash_completion ] && ! shopt -oq posix; then . /etc/bash_completionfi
2021-04-25 22:13:04
201
原创 c++调试问题纪要
// 重复包含头文件duplicate symbol for architecture x86_64如果某一个.h在多个.cpp文件中都包含了（主要是在不同的.cpp中使用了同一个.h中的某个函数），那么运行时该.h就会被同时链接到两个不同的.o文件中。会出现报错，修复方法：将该.h中的被使用的函数前面加上inline即可。参考：how-to-avoid-duplicate-symbols-when-compiling...
2020-10-18 18:14:24
379
原创 docker
1. 新建一个Dockerfile文件:# DockerfileARG UBUNTU_VERSION=16.04FROM ubuntu:${UBUNTU_VERSION} AS baseRUN set -x; buildDeps='gcc libc6-dev make wget zlib1g-dev libssl-dev build-essential' \ && apt-get update \ && apt-get install -y $
2020-09-29 19:50:29
388
1
原创 c++ 各种头文件作用
#include <stdio.h> /* printf, scanf, puts, NULL */#include <stdlib.h> /* srand, rand */#include <time.h> /* time */#include <iostream> /* std::cout */#i...
2019-12-11 14:56:48
415
原创 c++ 指针
c++其实是对内存操作的语言，而这个过程就可以通过指针来进行。c++ primer: 指针(pointer)是指向（point to）另外一种类型的符合类型，[A pointer is a variable that holds a memory address where a value lives.]实现了对其他对象的间接访问。指针本身就是一个对象，允许对指针赋值和拷贝，在一个指针周期内...
2019-12-05 20:36:22
187
原创 c++基础内存概念
计算机以比特序列存储数据，每个比特(bit)非0即1:01001110c++ primer: 大多数计算机以2的整数次幂个比特作为块来处理内存，可寻址的最小内存块成为“字节”(byte)，一个字节有8比特构成。计算机中将内存中每个字节和一个数字(称为地址，address)关联。1 byte = 8 bit1 K = 1024 byte1 M = 1024 K1 G = 1.........
2019-12-05 16:35:02
1391
1
原创 GDB调试
gdb调试c++:参考https://thispointer.com//gdb-debugger-tutorial-series/# 如何使用gdb模式# c++g++ -g main.cpp -o main # 使用-g编译一个debug的编译文件main# g++ 其他编译选项:g++ -Wall -Werror -Weffc++gdb main # 运行编译文件...
2019-12-03 13:35:37
921
原创 pytorch nn.Conv1d and nn.Conv2d
可以使用nn.Conv2d代替nn.Conv1dimport torchimport torch.nn as nnconv1d = nn.Conv1d(in_channels=64, out_channels=1, kernel_size=2, ...
2019-10-30 15:23:08
668
原创 np.savetxt保存时数据不使用科学计数法形式
使用np.savetxt可以dump数据np.set_printoptions(suppress=True)np.set_printoptions(precision=4) #设精度np.savetxt('data_name‘, data.view(-1, 1), fmt='%.04f') #保留4位小数numpy在print时会有...省略掉中间部分，如果希望显示处完整数组...
2019-10-11 21:04:21
12997
2
原创 shell
统计文件个数：ls -F |grep -v / | wc -l将运行的程序的打印到屏幕的部分保存log文件存下来：python main.py 2>&1 | tee main.log将python文件的输出写入到一个main.log文件中。其中shell脚本默认情况下有三个文件打开： 0 stdin(标准键盘输入)， 1 stdout(标准屏幕输出)， 2 std...
2019-08-23 15:49:17
186
原创 pytorch逐元素比较tensor大小
import torcha = torch.tensor([[0.01, 0.011], [0.009, 0.9]])mask = a.gt(0.01)print(mask)tensor比较大小可以用tensor.gt属性。上面比较了a中每个元素和0.01的大小，大于0.01的元素输出True。输出结果：tensor([[False, True], [Fals...
2019-08-15 18:15:54
12099
原创 git使用
# 首次使用绑定账号,name和email为注册github/gitlab的账户名字和注册邮箱git config --global user.name "name"git config --global user.email "name@email.com"# 创建SSH keys并在自己电脑上配置SSH。参考https://github.com/settings/keys。...............
2019-08-15 17:54:52
1019
1
原创 c++初学.面向对象程序设计
c++刚学习，一头雾水。记录一下。代码来自https://github.com/Mooophy/Cpp-Primer文件列表：// main.cpp#include <iostream>#include <string>#include "quote.h"#include "bulk_quote.h"// 声明print_total函数，使用前...
2019-08-08 21:05:59
270
原创 grep查找特定程序语句所在的文件
# 查找当前文件夹目录下所有cpp文件中包含empty_like语句的程序，并用颜色显示出来grep --color -n -i "empty_like" *.cpp# 查找当前文件夹及所有子文件夹下含有empty_like语句的文件grep -nr "empty_like" *# 不查找二进制文件grep --binary-files=without-match "d...
2019-08-07 14:44:33
577
原创 Bash Shell
# 判断一个文件夹是否存在if [ -d build ]then echo "Directory Exists" rm -rf build/*else mkdir buildfiecho表示输出显示bash shell下可以直接执行terminal下的一些指令，比如:cd buildcmake ..make./main...
2019-08-07 10:29:44
217
原创 c++头文件include的两种方式和区别
一般 #include <A.h> 指引用系统默认的标准库文件，程序会在默认路径下进行搜索。而 #include "B.h" 一般是用户自己编写的头文件。程序会在当前文件下相同目录下进行搜索。如果自己定义了B.h文件但是任然用#include <B.h>来引用，即使路径正确也会报错找不到头文件。如果任然希望使用#include <>的方式来包含自己写的头文件...
2019-08-07 10:08:24
1546
原创 cmake使用方法
# cmake可以简化c++的编译过程，在cmake中可以定义include的lib路径等。cmake通过编写一个CMakeLists.txt文件来对程序进行定义。cmake不区分字符大小写。# 使用cmake执行c++函数时过程：1. 编写CMakeLists.txt文件# 假设我们文件下有如下文件:# 其中CMakeLists.txt：cmake_minimum_re......
2019-08-06 20:56:45
936
原创 MAC如何拷贝删除NTFS硬盘中内容
Mac电脑默认是无法对NTFS格式的硬盘进行删除等操作的（U盘可以），如何修改使得Mac电脑可以使用NTFS格式硬盘呢？可以使用NTFS for Mac，但是需要资金...或者修改Mac默认设置：# Terminal 下sudo -scd /sbinmv mount_ntfs mount_ntfs_origvim mount_ntfs# 在vim新建的mount_ntfs文件中插...
2019-04-12 18:18:52
1337
原创 anaconda或python3 会自动调用系统python2.7下面的库
问题： 运行anaconda虚拟环境的时候会自动调用一些python2.7下面的安装的库。 可能原因： 一般调用的都是anaconda下没有安装的库，后来发现是系统的默认PYTHONPATH还是python2.7运行 echo $PYTHONPATH # 查看python环境变量/usr/local/lib/python2...
2018-12-31 18:00:04
1020
原创 libboos-XXX.so.XX libXX cannot open shared object file: No such file or directory
ubuntu中libXX.so.XX 文件找不到，或者是对应的lib依赖的版本不对。解决：先到/usr/lib/x86_64-linux-gnu，ls看一下有没有这个文件。没有这个lib依赖的话进入https://packages.ubuntu.com/ 搜索对应的安装包下载。安装即可 问题：ImportError: libprotobuf.so.8: cannot ...
2018-10-05 17:18:08
3955
原创 ubuntu切换python2,python3以及anaconda虚拟环境下python
方法：# added by Anaconda3 installerexport PATH="/home/dyz/anaconda3/bin:$PATH"export PATH="usr/bin/python2.7:$PATH"export PATH="usr/bin/python3.5:$PATH"alias python='/usr/bin/python2.7'alias pyt...
2018-10-03 11:33:36
1010
原创 ubuntu16安装cuda8.0+cudnn5.1 GTX1070
1. 卸载原来的cuda:sudo apt-get remove cuda sudo apt-get autocleansudo apt-get autoremovesudo apt-get remove cuda*注意在system setting-software &update里可能有原来cuda的更新源，也需要删掉。2. 下载cuda8:官网：https...
2018-09-30 21:52:29
331
原创 Typora语法
表格：``` | First Header | Second Header | | ------------- | ------------- | | Content Cell | Content Cell | | Content Cell | Content Cell |``` 显示：...
2018-08-30 14:13:29
771
1
原创 c++运行opencv2出错
：对‘cv::Formatter::get(char const*)’未定义的引用对‘cv::operator*(cv::Mat const&, cv::Mat const&)’未定义的引用对‘cv::Mat::inv(int) const’未定义的引用... openv2安装成功，但是还是一堆未引用问题。 // 解决方法：// 假设要运行的是ma...
2018-08-18 21:03:24
1299
原创 算法时间复杂度
时间复杂度排序：O(1) < O(logn) < O(n) < O(nlogn) < O(n²) < O(n³) < O(2ⁿ) < O(n!) O(logn)情况：number = 1while number < n: number *= 2 # 一次复杂度O(1)的计算这样假设计算次数为x, 那么 , 则...
2018-08-09 14:58:32
266
原创 ubuntu16同时安装opencv2.4和opencv3.3
# OpenCV33官网安装教程： https://docs.opencv.org/3.3.0/d7/d9f/tutorial_linux_install.html查看适合自己的安装的版本：pkg-config --modversion opencv下载文件： https://opencv.org/opencv-3-3.html解压： tar -xvf opencv-3.3.0.tar...
2018-07-27 12:16:10
2283
原创 vim小记
normal模式： 刚打开vim时的模式(insert模式下按Esc，即可进入normal模式):$ # 跳到最后一行:wq # 保存退出 当然要先按esc退出编辑模式:q! # 不保存退出:b XX # 快速索引打开之前打开过的文件i # 进入编辑模式 写入o # 编辑模式 下一行写入# 多行1. 光标移到某...
2018-07-26 15:32:13
877
1
原创 tensorflow语法
tf.cond() # iftf.while_loop() # whiletf.tile() # multipytf.gather() # 矩阵拼接a : [16, 256]b: [16, 256]c = tf.stack([a, b], 1)c： [16, 2, 256] d= tf.concat([a, b], 1)d:[16, 512] ...
2018-07-25 10:33:07
314
原创 tensorflow对数组排序
有时我们会遇到tensor域下的数组排序，比如按照一定规则对输入排序。import tensorflow as tfimport numpy as npa = tf.placeholder(tf.int32, shape=(3,2))# bb = tf.constant(a) # the arrayreordered = tf.gather(a, tf.nn.top_k(a[:,...
2018-07-24 12:07:28
4668
原创 tensorflow比较两个tensor大小
# 出错情况：import tensorflow as tfimport numpy as npa = tf.placeholder(tf.float32, shape=([2]))b = tf.placeholder(tf.float32, shape=([2])) # 直接用if a[0]<b[0]会出现Using a `tf.Tensor` as a Python...
2018-07-18 19:17:30
14716
原创 python3 导入不同文件夹下文件
文件目录如下：假设子目录network文件下的net.py要导入data.py:from .data import data data前面加个点就好
2018-07-13 20:51:14
6058
3
原创 c++ 读写csv,txt文件
int main(){ // 写文件 ofstream outFile; // 使用outFile处理文件的读写 outFile.open("XXX.txt", ios::app); /* XXX.txt是文件名 也可以是XXX.csv 如果没有这个文件将会自己创建一个，第二个参数为model选项。app模式表示会在源文 件上追...
2018-07-10 21:13:52
3028
原创 ubuntu16安装caffe-gpu
# caffe-gpu安装sudo apt-get install git sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compilersudo apt-get install --no-install-recommend...
2018-07-09 16:58:45
751
原创 ubuntu16.4+cuda+cudnn+opencv3.3+tensorrt3.0安装及部分问题
# cuda9.0sudo apt-get purge cudasudo apt-get purge libcudnn6sudo apt-get purge libcudnn6-devwget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.0...
2018-07-09 14:47:07
1374
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人