- 博客(61)
- 收藏
- 关注
RSS订阅原创 Verl 中关于batch size的解释(结合源代码)
对于大部分人来只需要会用就可以，所以我今天就结合我看到的代码，详细说说Verl中关于batch size的事情。对于一个total_batch_size 来说，模型要更新参数total_batch_size // mini_batch_size = 5120 // 256 = 20次。配置文件中train_batch_size为1024，rollout.n=5。这里的batch是处理好的total_batch,按照mini_batch_size的大小切分。这三处，参数里提到了三种不同的batch。
2025-03-23 19:31:38
1201
原创 transformers DataCollator 探究
值得注意的是，如果输入的input_中没有input_ids的key就会raise一个error。输出为input_ids对应的padding之后的tensor和其对应的attention musk， 输入中除input_ids之外的其他键值会自动convert为tensor，并不会padding。如果提供了labels，它会自动padding为同input_ids同样的长度，padding的部分再labels中会被自动打上-100标记。适用于bert相关任务的一个collator,不过多解释。
2024-10-21 10:49:20
388
原创 LeetCode 热题100（哈希）
使用了一个标准collection库的defaultdict，默认dict就是key: []的形式，把字母通过sorted按字母排序后放入dict对应key下的列表。输入: strs = [“eat”, “tea”, “tan”, “ate”, “nat”, “bat”]输出: [[“bat”],[“nat”,“tan”],[“ate”,“eat”,“tea”]]输入：nums = [0,3,7,2,5,8,4,6,0,1]输入：nums = [100,4,200,1,3,2]输出: [[“”]]
2024-07-21 13:03:06
322
1
原创 Debian 配置国内软件源
Debian安装好之后默认是没有软件源的，只能通过本身的光盘上的软件进行安装，这样明显是不能够满足我们的需要的，考虑到国内的上网速度以及环境，配置一个国内的阿里镜像源是最好的选择。如果提示没有sudo命令,使用root用户执行以下命令。更新软件列表后就算是配置成功了。在文件的末尾追加以下行。
2024-04-01 08:54:26
6700
原创 算法题目跟连系列之“手把手刷链表”
这个题解决的时候，无非就是把链表中小于X的元素摘出来形成一个链表，同时也把大于等于X的元素摘出来形成另外一个链表。这个地方就牵扯到一个dummy节点的技巧。将多个链表合并成一个链表，按照升序排列，这个地方用到了一个常用的python库：heapq，无非就是取出元素之后加入到堆中，再依次弹出。题目：https://leetcode.cn/problems/partition-list/description/这个题目对于python来说还是相对比较加单的，python的数据类型转换更为方便一些。
2024-03-02 15:25:53
475
1
原创 Mac电脑连接linux远程桌面
家庭中的内网下有一台ubuntu虚拟机，只能通过ssh终端操作或者通过实体机进行操作实在有些不方便。所以便想着通过linux远程桌面的方式进行连接，由于家庭内网，延迟还是非常低的。如果这个地方显示inactive。使用如下命令开启xrdp。查看ufw是否开启的方法。查看xrdp的开启状态。
2024-02-02 23:55:45
3102
原创 ./configure make and menuconfig 这几个方式有什么区别？make install 和make有什么区别？apt-get install和apt install有什么区别
在软件编译和安装的上下文中，./configure, make, 和 menuconfig 是用于不同阶段和目的的命令和工具。这里是它们各自的作用和区别：这个命令通常用于预编译的步骤。它是一个脚本，用于检测你的系统环境，并根据这些环境设置编译时的参数。./configure 会创建一个 Makefile，这是 make 命令所需的。它确保软件包含所有必要的依赖项，并且可以在你的系统上编译和运行。make:make 是一个构建管理工具，用于编译和建立软件。
2023-12-14 17:04:04
170
原创 使用iperf测试服务器之间的连接速度
最近使用n2n搭建了一个虚拟内网，通过虚拟局域网实现了内网穿透的功能。简单的室友ping通信发现延迟还不错，在10ms左右。这就让我比较好奇他们之间真实的数据传输速度。然后我就发现了一个比较专业的测试服务器之间连接速度的工具iperf。
2023-12-12 15:37:29
800
原创 前馈神经网络（FFNN）和多层感知机（MLP）
这意味着所有的 MLP 都是 FFNN，但并不是所有的 FFNN 都是 MLP。MLP 使用非线性激活函数，例如 sigmoid、tanh 或 ReLU，否则多个线性层的组合仍然会是线性的。FFNN 的主要特点是它们没有循环或记忆元素，因此与循环神经网络（RNN）和其他包含反馈机制的网络不同。FFNN 是一种更为泛化的术语，用于描述数据在网络中单向传播的网络，从输入层到输出层，没有反馈或循环。MLP 是一个由三种类型的层组成的神经网络：输入层、一个或多个隐藏层和输出层。
2023-09-20 22:30:24
4502
1
原创 一文搞懂Ubuntu环境变量
因此，如果你打算在所有登录和非登录的bash shell中都使用一些设置（比如环境变量或命令别名），那么最好将这些设置添加到。作为交互式非登录shell启动时（比如在已登录的系统中打开一个新的终端窗口时），它会查找并执行~/.bashrc。/.profile，取决于你的系统配置）中添加以下代码，以确保登录shell也会加载~/.bashrc。加入以上代码，或者把东西放进一个文件内，要不然就只能加载优先级最高的一个。作为登录shell启动时（比如用户登录系统时），首先会查找并执行。
2023-05-25 14:04:27
920
原创 一篇文章教你装饰你的开源仓库readme
正所谓人靠衣裳马靠鞍一篇出色的仓库readme是一个项目能否获得大众关注的关键点.有很多优秀的开源项目就是因为缺少一篇设计精良的readme而一直不温不火.恰恰相反的是,有不少普普通通的开源仓库,由于设计优良的readme文档而备受青睐.今天我们要说的,正是教你怎样装饰你的readme,让你的开源项目锦上添花.下边就是几个很实用而且赏心悦目的小组件以他们的使用方式。
2023-02-10 01:05:40
255
原创 我写了一个脚本,实现了图片分类问题的全自动化训练
众所周知,图片分类问题属于计算机视觉中比较容易解决的问题之一这几天被数据集的问题搞得焦头烂额,照理说分类问题的数据集应该比较好制作如果之前没有现成的数据集也会变得比较麻烦直到我偶然发现了一个HuggingFace的图片搜索API无限次调用而且不需要身份验证以后再也不怕组建数据集麻烦了我在Colab上写了一个脚本,可以自动从API查询图片下载图片,构建数据集.最后使用YOLOv5的图片分类模型进行训练。
2023-02-02 21:01:49
2970
原创 反转链表问题巧妙的递归解法(Golang)
反转链表是常见的面试题,但是却有无数人折腰在反转链表上.究其原因还是对反转链表理解不够深入,本文就以其中最巧妙地递归算法为例子,给大家讲解一下反转链表.头结点的下一个节点连接到头结点。
2023-01-26 10:38:02
374
原创 日常生产用项目一整套DevOps流水线搭建-笔记二(GithubAction实现自动化部署)
GitHub Actions使你可以直接在你的GitHub库中创建自定义的工作流，工作流指的就是自动化的流程，比如构建、测试、打包、发布、部署等等，也就是说你可以直接进行 CI（持续集成）和 CD（持续部署）。简单地说，就是利用官方以及第三方提供的actions，组合action来实现一些你能做到的其他事情，比如抓取代码、运行测试、登录远程服务器，发布到第三方服务等等。借鉴:https://blog.youkuaiyun.com/Ber_Bai/article/details/120310024。
2023-01-13 21:31:10
691
原创 GO语言实现简单整数四则运算器
Judge函数实现了运算符优先级的判断,conver函数返回一个栈弹出后就是前缀表达式。Compute函数接收一个前缀表达式的栈,最后返回一个整数就是运算的结果。这个栈由一个链表实现,一并还实现了记录链表的长度。
2023-01-13 16:15:16
399
原创 日常生产用项目一整套DevOps流水线搭建-笔记一(镜像仓库的设置)
很多项目新手在接手开发项目的时候,由于缺乏经验,只能通过比较笨的方法去进行项目的部署和开发.这样就会非常非常的麻烦,重复的工作很多很多.我借着一个项目开发的时机,第一次实现了我原先只在想象中的流水线部署.但是由于跟正规公司的项目规模还有差距,我们的流水线只负责自动向服务器提交代码的工作.今天我来记录一整套笔记的第一部分,的设置.
2023-01-05 22:12:25
1735
2
原创 Go学习笔记(1): ...三个点的用法
Go是强类型的语言,如果学过python我们知道可以通过*和**对字典或者列表进行解包,这样极大地方便了我们的一些操作.那么对于强类型语言的Go,有没有一种类似的方式方便我们的操作呢,那就引出了我们今天所要说的…解包方法.
2022-12-31 01:44:37
304
原创 深入探究Python上下文管理器
先进入__enter__()中， 该方法的返回值赋值给上述代码中with后边的t。如果with下的语句出现了异常就会先执行__exit__()语句中的内容。上下文管理器是一种简化代码的有力方式，其内部也蕴含了很多Python的编程思想，今天我们就来探究一下Python的上下文管理器。上下文管理器定义执行with语句时要建立的运行时上下文，负责执行with语句块上下文中的进入与退出操作。如果一个对象要用with语句，那内部要定义__enter__()方法和__exit__()方法。不难看出，语句的调用顺序。
2022-12-20 15:35:57
404
原创 Python装饰器探究
装饰器作为Python中的一个比较实用的东西，在我们日常库的使用过程中经常使用。但是其细节问题我们却常常忘记考虑，本文章就此问题写建装饰器代码来进行一步一步分析。
2022-11-25 12:45:35
590
1
原创 Django + Nginx https部署实战（第二辑）
在配置完成之后，一定不要忘了在服务器上打开443端口，否则网站将无法通过https方式进行访问。为了保证网站连接的安全，我们在80端口也开启监听设置转发，将对应域名的链接转发到443端口上。因为我项目本身要使用nginx作为Web框架，故我选择使用Nginx所需要的证书和key文件。Https是Http协议的升级版，由于证书的引入，使得用户与网站之间的通讯变得更加安全。只把这项云解析之后，然后你的域名就可以认证成功了，这时候会发放一个证书压缩包。这样，我们的一整套的http升级过程就完成了！
2022-11-16 18:30:37
1546
1
原创 Django + Nginx https部署实战（第一辑）
这个服务器呢，如果用来测试的话完全够用了，但是如果面对真正要上线的网站就完全不够用了，我们通常使用。这块和虚拟主机有密切关系，虚拟主机从用户角度看，和一台独立的硬件主机是完全一样的，该技术的产生是为了 节省互联网服务器硬件成本。由于我本人之前接触的都是Python的Django后端开发，那么现在我也就以Django为例来说明Nginx的作用。的指令来运行我们的Django项目，可是很多人都不知道这句话背后到底干了什么，我先把这个点讲明白。）80端口（http访问的默认端口），如果有符合条件的域名（
2022-11-06 11:28:50
1802
1
原创 机器学习必会之归一化，标准化， 正则化
归一化是为了消除不同数据之间的量纲，方便数据比较和共同处理，比如在神经网络中，归一化可以加快训练网络的收敛性；标准化是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理；正则化而是利用先验知识，在处理过程中引入正则化因子(regulator)，增加引导约束的作用，比如在逻辑回归中使用正则化，可有效降低过拟合的现象。
2022-10-04 14:26:58
582
原创 机器学习中，什么是线性和非线性？
非线性(non-linear)，即 变量之间的数学关系，不是直线而是曲线、曲面、或不确定的属性，叫非线性。非线性是自然界复杂性的典型性质之一；与线性相比，非线性更接近客观事物性质本身，是量化研究认识复杂知识的重要方法之一；凡是能用非线性描述的关系，通称非线性关系。狭义的非线性是指不按比例、不成直线的数量关系，无法用线性形式表现的数量关系，如曲线、曲面等。
2022-10-04 09:52:40
3427
原创 论文格式检测网站经验总结第一弹
用户由于项目涉及的知识点很多,我打算多写几期来总结,本期就先把表结构设计和整体的框架写完,欢迎持续关注哦!!!这期用的RBAC管理表设计,之前只在书上见过,主要问题就是ORM的增删改查,关系中的一对一,一对多,多对多的关系....
2022-08-17 12:36:14
1799
3
原创 由Cross-Entropy引出关于信息熵的思考
众所周知,在机器学习中的分类任务中,我们最常用的损失函数就是,它是是非常重要的损失函数，也是应用最多的损失函数之一.但是其原理是什么呢?尽管入门机器学习已经有将近一年的时间,但是对于此事并不清楚,说明个人的知识体系还有很多待完善的地方,今天忙中偷闲就把这个坑给填上.我在油管上找到了一个非常好的视频,今天我就把我理解的这个视频中的东西写下来,为了尊敬原作者,这里先贴上原视频链接https://www.youtube.com/watch?...
2022-08-14 00:14:29
199
原创 Docker初体验之MySQL+FastApi部署网页
不得不说Docker虽然非常方便，但是对于小白前几次使用来说还是有相当大的难度的，这次，我们包括镜像，容器，一下都给大家说明白，并实际挂载一个FastApi开发的python接口项目。首先不用多说，dockerdesktop可以在官网上轻松的下载，但是前提就是安装windows的wes2虚拟机，本文默认大家已经配置好所有的环境。这里的后端，我选择了MySQL作为数据库，因为我对这个比较熟悉，大家也可以选择适合自己项目的数据库，dockerhub上基本上涵盖了目前市面上的大部分主流的数据库，这点大家不用担
2022-05-28 11:36:16
947
原创 python第六届蓝桥杯决赛C语言A组
1.方格填数在2行5列的格子中填入1到10的数字。要求：相邻的格子中的数，右边的大于左边的，下边的大于上边的。如所示的2种，就是合格的填法。请你计算一共有多少种可能的方案。请提交该整数，不要填写任何多余的内容（例如：说明性文字）。# 这个题可以使用python内部库itertools中的permutations(排列数)from itertools import permutationsnew_set = set(permutations(range(1, 11))) # 使用per
2022-05-21 14:16:38
313
原创 力扣每日一题442.数组中的重复数据
题目链接：https://leetcode-cn.com/problems/find-all-duplicates-in-an-array/这个题第一眼感觉并不难，但仔细一看就会发现端倪，题目中要求的时间复杂度是O(n)比较正常，但是，额外的空间复杂度为常数级(O(1))这就注定了没法使用hashmap记录每个数出现的次数。但是既然没办法用hashmap，那么我们怎样记录数据呢？可以利用索引！因为题目中说明了，每个数都在1到n（列表长度是n）之间，故不存在负数。我们在遍历的时候，如果遇到1..
2022-05-08 14:23:20
160
原创 Python检验多重共线性
import numpy as npnp.linalg.cond(results.model.exog) # results为训练好的模型这个好像是根据特征值来检验多重共线性，我本人也不太懂下面来说一说我们最常用的VIF检验多重共线性的方法官方文档路径https://www.statsmodels.org/stable/generated/statsmodels.stats.outliers_influence.variance_inflation_factor.html#statsmodel
2022-04-18 21:33:00
3227
原创 Python实现异方差检验(statsmodels)
什么是异方差?(摘自知乎https://www.zhihu.com/question/354637231)一句话，就是当随机扰动项和模型中的解释变量（自变量）存在某种相关性，就会出现异方差。即对于不同的样本点，随机误差项的方差不再是常数，而互不相同，则认为出现了异方差性(Heteroskedasticity)。异方差： ，与解释变量观测值Xi有关。异方差的类型单调递增型：随X的增大而增大单调递减型：随X的增大而减小复杂型：与X的变化呈复杂形式异方差性的后果1、参数估计量有效OL.
2022-04-18 20:07:22
6385
1
原创 MySql数据库学习笔记
use test;show tables;create table tb1( id int, name varchar(16) -- 长度等于16的字符串类型);create table tb2( id int, name varchar(16) not null, -- 不允许为空 email varchar(32), age int);create table tb3( id int, name varchar(16) not.
2022-03-21 19:34:49
955
原创 使用tushare大数据平台对几种股票因子进行计算
写在前面去年七月，笔者开始接触买入股票，近一年下来，投入的的钱亏了一半，股票市场不是基金市场，其中的残酷给我这个初来乍到的年轻人上了一课。当时，我就在想，买卖股票是否能够赚钱，关键就在一个信息。内部的人有内部的消息，总是能赚大量的钱。我作为一个学生，家里边也没有背景，不可能获取到公司内部的消息。在我计算机水平还一般的时候，我一直想做一个东西，把市面上公开的股票信息进行合理的分析，获得一些我们原先看不出来的信息，这样，在我们掌握信息之后，就可以在一定程度上减少我们的损失。几个有趣的因子原先，我所了
2022-03-20 13:57:53
11813
4
转载 时间格式Python
1.时间戳（TimeStamp）：1970年1月1日之后的秒 2.时间元组格式化形式 包含了：年、日、星期 得到time.struct_time（tm_year=2017, tm_mon=10, tm_mday=14…） 3.可视化的字符串 2017-11-11 11：44python中时间日期格式化符号：%y 两位数的年份表示（00-99） %Y 四位数的年份表示（000-9999） %m 月份（01-12） %d 月内中的一天（0-31） %H 24小时制小时数（0-23） %I
2022-02-28 14:14:39
1313
原创 数据分析三剑客学习总结
Numpy数组的创建np.array(data = 列表)plt.imread(图片地址)np.ones()全部为1np.linspace()创建等差数列，一维数组np.arange()创建等差数列，一维数组np.random.randint()创建任意维度的数组常用属性shape 返回数组的形状ndim 返回数组的维度size 返回数组元素的个数dtype 返回元素的数据类型修改数组的数据类型arr.dtype = 赋值astype(数据类型)numpy
2022-02-27 16:44:52
994
转载 搬运Headers的内容解析
原稿于博客园:HTTP请求的header头解析 - Faron - 博客园 (cnblogs.com)Accept作用：浏览器端可以接受的媒体类型,例如：Accept:text/html代表浏览器可以接受服务器回发的类型为text/html也就是我们常说的html文档,如果服务器无法返回text/html类型的数据,服务器应该返回一个406错误(nonacceptable)通配符*代表任意类型例如Accept:*/*代表浏览器可以处理所有类...
2022-02-27 16:41:25
324
原创 美国2012政治献金数据分析（附有源数据和题目）
读取文件usa_election.txt 查看文件样式及基本信息 指定数据截取，将如下字段的数据进行提取，其他数据舍去： cand_nm:候选人姓名 contbr_nm:捐赠人姓名 contbr_st:捐赠人所在州 contbr_employer:捐赠人所在公司 contbr_occupation:捐赠人职业 contb_receipt_amt:捐赠金额 contb_receipt_dt:捐赠日期 使用统计学指标快速扫描数值型属性的概要 空值处理。可能因为...
2022-02-25 01:22:32
1270
1
原创 selenium的基本操作
from selenium import webdriverwebdriver创建一个浏览器driver = webdriver.Edge()进行操作url = "XXX"访问urldriver.get(url)定位id_pla = driver.find_element_by_id()标签交互id_pla.send_keys("xxx")获取网页源码page = driver.page_sourcepage.encode("utf8")执行js程序driver
2022-02-21 13:57:44
9717
原创 selenium的ACTION
##确定元素位置mylabel = browser.find_element_by_xpath("html/body/div[15]/div[1]/label")actions = ActionChains(browser)###移动到元素actions.move_to_element_with_offset(mylabel,-10,0).click().perform()ActionChains方法列表click(on_element=None) ——单击鼠标左键cl.
2022-02-21 13:45:39
663
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人