klcola的专栏

Cmd Markdown 公式指导手册

klcola — Fri, 24 Nov 2023 20:39:22 +0800

转载自 https://github.com/Crzq/SpaceX/blob/main/Cmd%20Markdown%20%E5%85%AC%E5%BC%8F%E6%8C%87%E5%AF%BC%E6%89%8B%E5%86%8C.md 本文为 MathJax 在 Cmd Markdown 环境下的常用语法指引。Cmd Markdown 编辑阅读器支持 LaTeX\LaTeXLATEX 编辑显示支持，例如：∑i=1nai=0\sum_{i=1}^n a_i=0∑i=1nai=0，访问 MathJa

如何在命令行下快速压缩 pdf 文件？

klcola — Tue, 01 Mar 2022 14:31:59 +0800

用 ghostscript 的 gs 命令一行搞定 gs -sDEVICE=pdfwrite -dCompatibilityLevel=1.4 -dPDFSETTINGS=/ebook \ -dNOPAUSE -dBATCH -dColorImageResolution=150 \ -sOutputFile=output.pdf someBigFile.pdf 参考链接 https://opensource.com/article/20/8/reduce-pdf ...

两个 0 1 向量之间的相关性计算

klcola — Sat, 15 Jan 2022 16:45:08 +0800

本文主要思想来自 https://www.cnblogs.com/dan-baishucaizi/p/10096316.html 假设 a\bf aa、b\bf bb 两个 0 1 向量 a= (x1,x2,⋯ ,xn),其中xi∈{0,1}b= (y1,y2,⋯ ,yn),其中yi∈{0,1} \begin{aligned} \bf{a} =& \ (x_1, x_2, \cdots, x_n), 其中 x_i \in \lbrace 0, 1 \rbrace \\ \bf{

MacOS 下 Emacs 安装及 ESS 配置

klcola — Fri, 14 Jan 2022 20:28:37 +0800

安装 Emacs 在这里下载 Emacs 安装 https://emacsformacosx.com/ 安装完成后，emacs 的可执行文件路径是 /Applications/Emacs.app/Contents/MacOS/Emacs 执行如下操作 mkdir $HOME/bin cd $HOME/bin ln -s /Applications/Emacs.app/Contents/MacOS/Emacs emacs 修改 .profile 文件，将 $HOME/bin 目录添加到 PATH 中

矩阵运算规律总结

klcola — Thu, 23 Dec 2021 21:34:10 +0800

矩阵运算规律总结矩阵相乘结合律 A(BC)=(AB)C A(BC)=(AB)C A(BC)=(AB)C 矩阵相乘交换律 A(B+C)=AB+AC(A+B)C=AC+BC A(B+C) = AB + AC \\ (A+B)C = AC + BC A(B+C)=AB+AC(A+B)C=AC+BC 矩阵的逆设 AAA 为方阵，如果存在方阵 A−1A^{-1}A−1 使得 AA−1=A−1A=I AA^{-1} = A^{-1}A = I AA−1=A−1A=I则方阵 AAA 可逆，A−1A^{-1}A−1

按照 Ubuntu 官方的方式来设置 DNS

klcola — Wed, 27 Jan 2021 21:52:02 +0800

绝大多数的 Linux 发行版都是在 /etc/resolv.conf 文件中设置 DNS 服务器，然而到了 Ubuntu 这里，这个方法不 work 了。即使强行手动修改这个文件，系统仍然会自动恢复到如下的默认设置。 # This file is managed by man:systemd-resolved(8). Do not edit. # # This is a dynamic resolv.conf file for connecting local clients to the # inter

如何创建使用 sbt 管理的 spark 项目？

klcola — Sat, 16 Jan 2021 18:05:33 +0800

为了方便大家使用，我在 github 上创建了一个 spark 骨架项目，在 bash 环境中运行 git clone https://github.com/klcola/spark-skel.git testskel 即可在当前目录下创建名称为 testskel 的项目文件夹。你可以将 testskel 替换成你自己的项目文件夹名。你可以随后用 IDEA 或者其他常用的编程工具打开这个文件夹开始编写程序。也可以直接访问 https://github.com/klcola/spark-skel 查看更详

利用 sbt 创建 scala 项目

klcola — Fri, 15 Jan 2021 11:15:00 +0800

利用 sbt 命令行可以创建一个 scala 模板项目，该命令为 sbt new scala/scala-seed.g8 sbt 会自动下载项目模板，并提升用户输入自定义的项目名称，非常简单。

如何用 scala 调用外部命令、重定向及使用管道？

klcola — Thu, 10 Dec 2020 16:42:49 +0800

太长不看版在 scala 中调用外部命令行程序非常简单，只需要导入 sys.process 包，并在需要调用的命令行外加双引号，并在行尾加 ! 号，如果想获得标准输出，就在行尾加 !! 号，如果需要管道或者重定向，请使用 #| 或者 #> 操作符，并注意在 #> 后面不能直接加文件名，需要使用 java.io.File 对象。举例： // 导入需要的依赖 import sys.process._ import java.io.File // 执行 ls -la 并且获取 exit code

在 Ubuntu Linux 系统中安装软件时如何指定版本号

klcola — Sun, 13 Sep 2020 16:20:27 +0800

ubuntu 系统官方的软件仓库一般会为某个软件提供几种版本供用户选择安装，如果不指定版本号，系统会默认选择最新的稳定版进行安装。但工作中经常会因为兼容性的问题，需要我们安装某个软件的具体版本，这个时候该如何操作呢？首先，我们可以查看系统中某个软件都提供了哪些版本可供安装，这可以利用 apt-cache madison 命令来实现，废话不多说，直接看 bash 命令行代码 $ apt-cache madison r-base r-base | 4.0.2-1.1804.0 | https://cl

如何查看已安装的 Ubuntu Linux 的版本号？

klcola — Fri, 11 Sep 2020 15:08:23 +0800

在安装有些软件的时候，需要根据 ubuntu 具体的版本号来下载指定的软件版本，那么怎么才能知道自己在用的 ubuntu 系统是哪一个版本呢？用系统自带的 lsb_release 命令，就可以查看正在使用的 ubuntu 系统的版本号。例如 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.4 LTS Release: 18.04 Codename

利用 ggplot2 绘制 Seurat 对象中的 tSNE 或 UMAP 图

klcola — Fri, 21 Aug 2020 15:51:22 +0800

Seurat 软件自带的绘图函数 DimPlot 虽然也提供了一些参数来供我们调整图形，但有时仍然有些你希望的功能不太容易实现，比如将细胞聚类分成三组，每一组是一种颜色，利用 DimPlot 就不容易实现（步骤比较繁琐：需要给细胞的 meta.data 增加额外的分组标识列，然后用 group.by 参数来为不同的分组上色）。一种更灵活的方法是把 tSNE 或者 UMAP 降维的信息从 seurat 对象中提取出来，并利用 ggplot 作图。具体代码如下： ## 假设我们有 Seurat 对象存储在 s

如何根据 ID 快速从 fastq 文件中提取序列

klcola — Sat, 08 Aug 2020 13:46:46 +0800

第一种方法：使用 grep -A 选项第一种方式比较简单，用 Linux 系统自带的 grep 命令就可以实现。grep 的 -A NUM 选项在匹配行之后打印尾随的 NUM 行，而 fastq 格式恰好是 4 行代表一个序列，第一行是序列 ID，随后三行分别是序列、+号分隔符、碱基质量分数，因此我们用 grep -A3 选项，就可以将匹配到的序列 ID 和该 ID 对应的其他信息提取出来。举例如下： bash$ grep -A3 '@A00821:376:H3V2LDSXY:3:1101:12753:3

Ubuntu 系统下安装支持 GPU 的 tensorflow 和 keras

klcola — Mon, 04 May 2020 10:40:22 +0800

安装 tensorflow 前，需要先安装 NVIDIA 驱动，cuda 和 libcudnn 库。注意 tensorflow 对 cuda 版本要求比较严格，目前是需要 cuda10.1，如果安装了其他版本，tensorflow 会报找不到 cuda 动态链接库的错误。亲测根据以下 bash 命令行安装所需要的驱动和 cuda 库，能够正常工作。安装命令行来自 https://tensorfl...

如何只用 Linux 命令行来随机抽取文本数据文件的 N 行？

klcola — Thu, 30 Apr 2020 23:17:25 +0800

一句话读完版：假设从 data.txt 中随机抽取 100 行，使用如下命令 shuf data.txt | head -100 正文在进行机器学习或者深度学习工作的时候，我们有时希望从一个大数据文件中随机抽取一些记录来进行一些快速的预研，无须编程，仅仅用一条 Linux 命令行就可以实现我们的目的。首先来看一个例子，假设我们有数据文件 test.txt ，其内容如下 111 111 11...

浅谈局部线性嵌入（LLE）的数学原理

klcola — Thu, 09 Apr 2020 18:51:08 +0800

Nonlinear Dimensionality Reduction by Locally Linear Embedding 简介局部线性嵌入（LLE）利用非监督学习方法来将高维网络数据嵌入到低维空间中，并在该低维空间中保留网络节点间的邻域信息。区别于局部降维的聚类方法，LLE将网络节点映射到一个统一的低维空间坐标系统中，并且该方法的优化不依赖局部最小值。利用线性重构的局部对称性，LLE 能够学...

瑞利商（Rayleigh Quotient）及瑞利定理（Rayleigh-Ritz theorem）的证明

klcola — Thu, 09 Apr 2020 18:40:53 +0800

https://www.planetmath.org/RayleighRitzTheorem 瑞利商（Rayleigh quotient）厄米特矩阵（Hermitian Matrix）复平面（Complex Plane）考虑形如 a+bia+bia+bi 的复数，该数代表复平面上的一个点。复平面中 xxx 轴代表实数部分，yyy 轴代表虚数部分，这样 a+bia+bia+bi 在复平面上就代...

浅谈拉格朗日乘子法的数学推导

klcola — Thu, 09 Apr 2020 18:02:28 +0800

注数学系列为本人的学习笔记，水平有限，如有错误希望读者不吝指正。拉格朗日乘子法（Lagrange Multiplier Method）是求解最优化问题的一个方法，在推导该方法之前，先来看几个基本概念。梯度（gradient）函数的梯度是由该函数的偏导数组成的向量，一元函数的梯度就是导数，函数的切线就是梯度的方向，二元函数的梯度是两个偏导数组成的向量，例如二元函数 z=f(x,y)z=f(x...

R 中如何对 data.frame 中的数字进行格式化？

klcola — Thu, 13 Feb 2020 18:50:50 +0800

使用 R 语言内置的 format() 函数请注意，format() 函数是个泛型函数（generic function），该函数默认是针对 list 类型的。比如： > x2 <- c(0, 0.1, 0.12, 0.123, 0.1234) > format(x2, digits = 3) [1] "0.000" "0.100" "0.120" "0.123" "0.123...

R install.packages 如何从源代码包安装？

klcola — Tue, 11 Feb 2020 12:01:14 +0800

很简单，示例代码如下 install.packages("/home/klcola/Matrix.utils_0.9.7.tar.gz", repos = NULL, type="source")