Guofu_Liao-优快云博客

原创 Expert Systems With Applications投稿记录；准备材料；论文格式；时间参考

Cover Letter：介绍该文章的工作内容，不是简单的把摘要复制过来ORCID Information：只需写上第一作者和通讯作者的ORCID，确认也是只需要这两个作者确认即可Highlights：3点左右，85字符以内。

2024-12-01 14:13:50 1203 1

原创大语言模型---Dropout 的定义；Dropout 减少过拟合的原因；Dropout 的实现

Dropout 是一种简单而有效的正则化技术，通过在每次训练迭代中随机丢弃（即屏蔽）一部分神经元，强制模型在没有某些特定神经元参与的情况下学习，从而降低对特定神经元的依赖性。机制：在训练过程中，每个神经元以一定概率 p（如 p=0.5）被随机“丢弃”（设置为 0），即它的输出不会被传播到下一层。在推理过程中，Dropout 被关闭，所有神经元都参与计算。

2024-12-01 13:33:54 1229

原创大语言模型---Llama不同系列的权重参数文件提取；Llama-7B权重文件提取；Llama-8B权重文件提取；主要代码功能解析

在应用场景和硬件需求上各有不同，其权重文件的提取方式也略有差异。本文将通过代码讲解如何获取和提取 Llama 7B 和 8B 的权重参数文件。save_weight_int(int_weight: torch.Tensor, path) 函数。Llama 系列模型（Meta 发布的大语言模型）在开源社区广受欢迎，不同版本（作用：将权重量化为 int32 数据，并以 .bin 格式保存到指定路径。遍历 model.model.layers 的所有参数。

2024-11-26 11:33:06 1621

原创 Macos远程连接Linux桌面教程；Ubuntu配置远程桌面；Mac端远程登陆Linux桌面；可能出现的问题

打开dconf程序，依次打开org->gnome->desktop->remote-access, 然后取消勾选“require-encryption”的勾选即可。打开设置->共享->屏幕共享。勾选允许连接控制屏幕，填写密码。网络可以选择默认的有线连接。打开Finder，在屏幕上方找到“前往”，选择“连接服务器”，在空白处填写服务器ip地址。可能出现的问题----您用来登录计算机的密码与登录密钥环里的密码不再匹配。1.在终端中输入 seahorse ，打开密钥管理。Mac端远程登陆Linux桌面。

2024-11-25 18:28:02 1258

原创 Bitcoin---Script Language；脚本类型

当比特币客户端软件验证交易的有效性时，每个输入中的解锁脚本都会与此输入引用的 UTXO 中的锁定脚本一起执行，以查看其是否满足支出条件。如果比特币客户端软件完整地执行了脚本，没有错误地在堆栈顶部返回错误，则交易被视为有效。交易输出的类型可以根据其锁定脚本指定的支出条件进行分类。比特币客户端的软件通过执行交易中包含的脚本（Script）来验证交易的有效性，这些脚本是用类似 Forth 的脚本语言编写的。脚本的特点是易于使用、简洁和基于堆栈的执行引擎，但它是图灵不完备的。

2024-11-25 15:13:35 550

原创零知识证明---Witness、Commitment 和 Proof 之间的关系；详细介绍

Witness（见证）Witness 是证明者（Prover）持有的一项核心秘密信息，用于证明某一声明（Statement）的真实性。例如，一个人要证明自己拥有某笔资产的权利，资产信息即为 Witness。在sumcheck协议中，证明者知道多变量多项式的隐式计算逻辑。Witness 是整个证明过程的关键，但需要保密，不能直接暴露给验证者（Verifier）。它是用来支撑声明的核心基础。Commitment（承诺）

2024-11-25 14:44:58 480

原创大语言模型--- 不同种类Reward Model输出的代码分析；Seq. Classifier介绍；Seq. Classifier总体输出代码；代码分析

Seq. Classifier（Sequence Classifier）是一种模型类型，用于对输入序列（如文本、音频、视频等）进行分类。它接受一段序列输入，并输出一个或多个标签，通常应用于文本分类、意图识别、情感分析等任务。

2024-11-24 22:16:14 785

原创大语言模型---Llama7B和Llama8B的区别；模型参数量；权重文件的不同；嵌入层权重的不同；输入序列长度的不同；应用场景

LLaMA（Large Language Model Meta AI）是由Meta开发的一系列语言模型，其中不同版本的参数量（如7B、8B等）反映了模型的规模和能力。

2024-11-24 17:09:39 1849

原创大语言模型---RewardBench 介绍；RewardBench 的主要功能；适用场景

是一个专门用于评估 Reward Models（奖励模型）的公开平台，旨在衡量模型在多种任务上的性能，包括能力、可靠性、安全性和推理能力。这一工具由 Allen Institute 提供，基于 Hugging Face 的 Spaces 平台，聚焦于 Reward Model 的对比和优化。

2024-11-23 14:43:51 1015

原创 Bitcoin---P2SH；P2SH举例；P2SH的局限性

在Bitcoin的P2SH交易输出中，当支出条件需要多个签名时，解锁脚本（即见证数据）的大小会随着签名者的数量增加。这是因为锁定脚本只包含赎回脚本的哈希值，而多个签名和赎回脚本则包含在解锁脚本中。实际上，一个P2SH赎回脚本最多可以包含15个用于多重签名验证的公钥。

2024-11-23 13:25:19 343

原创 Bitcoin---Schnorr签名；Schnorr签名聚合算法组成

Bitcoin采用Schnorr签名算法对交易信息进行签名以防止信息在传输过程中遭到攻击者的恶意篡改。Schnorr签名的数学特性具有相对于ECDSA的显著优势：线性性。该特性允许Schnorr签名将多个签名聚合为一个签名，在开发加密协议时提供了显著的效率和灵活性优势。数字签名是Bitcoin的基本加密构建块，用于验证交易的有效性。: 参与者的私钥，每个私钥从椭圆曲线secp256k1定义的有限域中随机选择。: 每个参与者使用其私钥计算的个人签名。: 聚合签名，是各个签名分量。: 参与聚合的参与者数量。

2024-11-23 13:17:25 975

原创大语言模型---通过数值梯度的方式计算损失值L对模型权重矩阵W的梯度；数值梯度的公式；数值梯度计算过程

对模型权重矩阵的梯度计算，而不是传统的链式法则进行梯度计算。如果想要理解整体计算方式，先明白。后损失函数的变化，我们可以估算出损失函数对该参数的敏感程度（梯度）。数值梯度通过有限差分法近似计算梯度，对权重矩阵。其中，每个参数的含义在下文中有讲解。，本文主要介绍大语言模型中使用。这个公式的含义是：通过观察。，通过公式了解其和权重矩阵。

2024-11-22 21:02:38 1384

原创大语言模型---什么是注意力机制？LlaMA 中注意力机制的数学定义

(1) 注意力机制公式。

2024-11-22 20:06:46 1350

原创大语言模型---LoRA中损失值的计算

Llama-7B模型的LoRA微调训练中，通过使用Cross-Entropy Loss来度量模型输出的预测分布和真实标签分布之间的距离，来衡量模型的准确性。模型最后一层MLP的输出与模型词表权重进行点乘计算生成一个行数（nvocab）为32,000 ，列数（seq）为4096的 logits 矩阵，每个元素对应词汇表中的一个词，表示生成该词的“分数”。，使得logits矩阵每个位置上的元素转化为一个概率值。的元素，在该矩阵中，正确词的位置为1，其余为0。，表示模型在该位置生成词的可能性。

2024-11-22 14:13:57 1834

原创大语言模型---梯度的简单介绍；梯度的定义；梯度计算的方法

梯度是函数在某点变化最迅速的方向（对多维空间是一个向量，表示函数对每个变量的偏导数）。在一维情况下，梯度就是函数的导数对于多维输入，梯度是对每个输入变量计算的偏导数组成的向量。

2024-11-22 01:16:36 680

原创大语言模型---ReLU函数的计算过程及其函数介绍

注意：这里的公式对输入进行缩放，可以忽略𝛾的值；**公式描述：**首先，将输入 𝑍缩放𝛾倍，然后对其进行四舍五入，左右两边进行Hadamard 乘积，使得两个同维度的矩阵或张量进行逐元素相乘。

2024-11-22 00:01:04 573

原创大语言模型中Softmax函数的计算过程及其参数描述

注意：这里的公式对输入进行缩放，可以忽略𝛾的值；

2024-11-22 00:00:49 392

原创大语言模型---LoRA简介；LoRA的优势；LoRA训练步骤；总结

LoRA（Low-Rank Adaptation）是一种用于高效微调大模型的技术，它通过在已有模型的基础上引入低秩矩阵来减少训练模型时所需的参数量和计算量。具体来说，LoRA在训练模型时将模型中的某些权重矩阵分解为两个低秩矩阵A和B，并对这些矩阵进行微调（finetune），而模型的其他部分保持冻结不变。

2024-11-21 23:38:08 702

原创大语言模型---Llama模型文件介绍；文件组成

在使用 LLaMA（Large Language Model Meta AI）权重时，通常会涉及到与模型权重存储和加载相关的文件。这些文件通常是以二进制格式存储的，具有特定的结构来支持高效的模型操作。模型权重文件包含了用于神经网络层的参数矩阵（例如权重矩阵和偏置向量）。这些参数是训练时优化得到的。文件格式通常是 .bin 或 .pt，

2024-11-21 18:26:46 985

原创大语言模型---Rewar Model的输出（不包含训练）；介绍；模型推理的输出过程方案

奖励函数模型 (Reward Model) 是人工智能 (AI) 中的一种方法，模型因其对给定提示的响应而获得奖励或分数。现在的文章清一色的讲解RM的训练，但是没有讲解RM是如何输出一个分数的。RM通常采用Llama-7B模型，本文也沿用这一模型，同时模型的推理计算过程作为已知的知识，只讲解推理最后的输出部分。本文章先介绍传统Llama模型原始Token输出过程，再讲解RM的输出。以作为对比更好的学习。

2024-11-16 22:00:13 398

原创 AI模型常见的压缩技术分类

Quantization. 模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。Knowledge distillation 将已经训练好的大模型包含的知识，蒸馏（Distill）提取到另一个小的模型中去。Pruning 把模型里一些不重要的权重砍掉，减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。

2024-08-12 22:47:02 472

原创什么是Tensor？？？为什么人工智能领域论文中经常出现这个名词

tensor，中文叫张量。Tensor实际上就是一个多维数组（multidimensional array）。而Tensor的目的是能够创造更高维度的矩阵、向量。

2024-08-11 21:56:52 400

原创 zkLLM论文中的提到的Lookup arguments是什么呢？解决什么问题呢？

论文中说他是被用于解决零知识证明领域中遇到的non-arithmetic operations。non-arithmetic operations 是指非算数操作？还是指非代数操作呢？

2024-08-11 21:18:18 260

原创澳洲408签证催签模版

1.提交时间已超出90%受理时间，并阐述后果，如无，法按照研究计划开展研究等;2.截止日期即将到期等可不抗力因素，如果未能按时取得签证，将会有什么后果;催签信内容不能过于冗长，、在保证基本信息正确的同时，主要表达三点。3.上传邀请函或者CSC资助证明等材料。

2024-08-11 11:08:46 6326

原创 MACOS系统传输文件到远程服务器的方法

【代码】MACOS系统传输文件到远程服务器的方法。

2024-08-10 20:10:03 870

原创连接远程服务器的方法

ssh 服务器名字@xxx.xx.xxx.220(服务器的ip地址)

2024-08-10 19:56:41 143

原创零知识证明的性质

什么是零知识证明，是一种由证明者和验证者执行的双方隐私协议，用于证明者证明某个陈述的正确性而不需泄露其他任何信息。简单来说，零知识证明有以下三个性质：完备性、可靠性与零知识。• 完备性（Completeness）：只要证明者正确地知道某一陈述，那么就能大概率让验证者相信自己知道该陈述这一事实，即成功向验证者证明。• 可靠性（Soundness）：任何恶意证明者都不能以虚假陈述欺骗验证者接受该陈述。

2024-08-10 15:49:59 321

原创零知识证明中PLONKish和AIR的区别

首先我们讲一下什么是算数化，为什么零知识证明当中经常提到算术化。算术化是指将一个计算问题（通常是我想要证明的问题，非代数过程）转化为一组代数方程。使得这些问题可以用多项式计算来表示，将原本难以处理或验证的问题转化为数学上更易处理的问题，在构建高效的零知识证明系统中不可或缺。

2024-08-09 15:37:40 287

原创简单介绍BTC的Layer2项目RGB

RGB 协议是由 LNP/BP 标准协会开发的可扩展且保密的比特币和闪电网络智能合约系统。其包含代币和非同质化代币的发行标准，以及代币转移验证计算的技术标准。RGB协议最初由Giacomo Zucco在2016年设计，作为基于Peter Todd的“客户端验证”设计的非区块链资产系统，名为BHB Network。该项目的原型在2017年在Poseidon Group的支持下推出。

2024-08-09 10:49:53 995

原创一文了解BTC的二层项目BEVM

2024年上线的BEVM协议是一个BITCOIN EVM，是一个 EVM 兼容的、以 BTC 为 Gas 的、完全去中心化的比特币二层协议。其将用户的BTC资产从 Bitcoin 主链以完全去中心化的方式跨链到 BEVM链。同时也可以将BEVM的资产和数据以去中性化的方式跨链到Bitcoin主网。由于BEVM（Bitcoin-Ethereum Virtual Machine）与以太坊虚拟机（EVM）兼容，可以在比特币（BTC）Layer2上运行以太坊生态系统中的去中心化应用DApps。

2024-08-08 19:40:20 894

原创一文了解BTC上最火的Baylon项目

2022年1月，Fisher与斯坦福大学的David Tse教授共同创立了Babylon项目，该项目旨在探索比特币安全性的共享。项目的愿景是利用比特币的工作量证明（PoW）机制的安全性，来增强其他基于权益证明（PoS）共识机制的区块链的安全性。

2024-08-08 18:19:50 466

原创一文了解BTC中的二层协议中Nervos network，CKB，RGB++，UTXO stack 之间的关系

这里写自定义目录标题Nervos networkCKBRGB++UTXO stack总结注：该内容不构成投资建议，有些内容摘抄其他地方，如侵权，请联系删除。Nervos networkNervos Network 是一个开源的区块链生态项目，该项目提供一套解决方案来应对区块链扩展性和互操作性的问题。 Nervos Network 成立时间是 2018年，创始人包括谢晗剑 Jan Xie，Terry Tai，Kevin Wang，吕国宁Daniel Lv, 以及 Cipher Wang。CKBNer

2024-08-08 17:21:48 1059

原创 ADC指标——INL和DNL

定义INL(Interger NonLinear,Linearity error)精度。理解为单值数据误差，对应该点模拟数据由于元器件及结构造成的不能精确测量产生的误差。DNL(Differential NonLinear)差分非线性值。理解为刻度间的差值，即对每个模拟数据按点量化，由于量化产生的误差。INL(1) INL,精度比如12位ADC：假设基准Vref=4.095V,那么1LSB=Vref/2^12=0.001V。如果精度为1LSB，则它的单值测量误差0.001V1=0.001V,比如测

2021-04-13 10:37:19 12837

原创电源保护——TVS管

TVS管保护的原理：在管子两端的电压大于一定值时，TVS管被反向击穿，瞬间形成一个导通回路，将管子两端的大电流导出，并且将管子两段的电压钳制在一个固定电压，进而保护和它并联的电路。首先要明确被保护电路的工作电压，最大工作电压要小于VRWM，如果工作电压大于VRWM，那在正常工作时TVS管就会被击穿，将工作电压导入地端，电路不能正常工作；VRWM也不能太大，要略高于最大工作电压，否则不能起到保护作用；一般购买TVS管时标的电压就是VRWM，选择时只要选比工作电压略高的VRWM TVS管即可；VCL就是

2020-09-27 13:02:11 3158 2

原创 ECG——QRS波群检测法

仅是知识的搬运工，如有不当之处请批评指正。根据上一节的内容，讲解了ECG的一些常识知识，链接如下。EGC信号小常识那如何得到可靠的，稳定的ECG信号呢？这就是这一章节所需要讲解的内容。QRS波群检测方法QRS波群检测是心电波形检测中的首要问题，可靠的QRS波群检测是诊断心律失常的最重要根据，而且只有在QRS波群确定后，才有可能进一步检测和分析心电的其它细节信息。QRS波群检测包括R波峰值点定位和QRS波群宽度检测两个方面，由于心电信号波形的复杂性和各种类型噪声的存在以及生理上的变异性，都使QRS波群的

2020-09-26 13:57:56 10005 1

原创 ECG信号小常识

仅是书本的搬运工，如有不当之处敬请批评指正。心电图基础一个正常的心电波形，由P波、QRS波群和T波等组成。心脏的活动状态除了反映在心率上，更主要的是通过心电图中P、ORS和T波以及他们的各种参数来反映。心脏作为一个生物电信号源，信号强度必然与活动细胞的数目直接相关而构成心房和心室的细胞动作电位变化。其中P波，QRS波群和T波是最主要的特征波，它们以及在它们基础上形成的PR间期、QT间期、ST间期等是心电最主要的特征信号，可以从多个方面反映心脏的传导系统及心脏本身是否发生病变。如图所示(1)P波反映

2020-09-26 12:10:39 7851

空空如也

空空如也