- 博客(711)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 NLP常见问题
transformer中的attention为什么scaled?-优快云博客Transformer模型中的Feed-Forward层的作用_transformer feed-forward解释-优快云博客关于ChatGPT：GPT和BERT的差别（易懂版）Index - 算法工程师笔记Transformer模型中，decoder的第一个输入是什么？ - 知乎大部分的大模型(LLM)采用左填充(left-padding)的原因 - 知乎多种Attention之间的对比(上） - 知乎ChatGLM-6B
2023-12-31 00:14:13
1221
原创 Pytorch ddp切换forward函数 验证ddp是否生效
有时ddp跑起来，不确定是否生效，loss backward后不同rank进程的梯度应该一样的，可以通过print 梯度确认。ddp默认调用forward函数，有些模型无法使用forward函数，可以对模型包装一下。
2023-10-21 23:05:30
1182
转载 DDPM Stable Diffusion
加噪过程（从右往左）和去噪过程（从左往右）。★ 加噪过程：给定真实图像 x0 ，逐步对它添加高斯噪声，得到 x1, x2, ⋯ ，显然这是一个马尔科夫链过程，在进行了足够多的 T 次加噪后，图像会被高斯噪声淹没，可以认为是各向独立的高斯噪声的图像。★ 去噪过程：针对噪声图像 xT ，让神经网络模型对其逐步去噪，得到 xT−1, xT−2, ⋯ ，最终复原出没有噪声的逼真图像 x0 ，所以加噪过程其实可以看作是在为去噪过程构建标签。
2023-08-07 00:53:49
1507
转载 POSO: Personalized Cold Start Modules
一种可能的解决方案是将用户分成若干个簇，比如新用户，老用户，回流用户等，去建模这些用户簇的兴趣偏好即可。
2023-07-23 13:24:49
1060
转载 精排模型校准Calibration
Calibration 是指对模型的预估 CTR (或者 CVR 等其它概率问题, 以下统一以 CTR 为例叙述) 通过一定手段进行调整的手段.
2023-07-18 00:47:10
3447
转载 协同过滤 ItemCF SwingCF Item2vec
可以看到，护肤品打折和字节裁员了，两个物品的相关性似乎不大？但是共现次数却不低，原因可能是这些用户都是来自一个小圈子里的。就是对用户没有什么区分度，就是所有用户对当前itemi，itemj的贡献是一样的。但是实际场景是这样的吗？分子是两个物品的在user的行为中的共现次数，分母是对本身的热度消偏。所以这里除了考虑物品之间的共现关系外，还需要考虑用户侧的信息。但是这个存在的一个问题是啥呢？
2023-07-17 00:29:56
304
转载 机器学习多任务学习综述！ MMOE/ESMM
本文对多任务学习(multi-task learning, MTL)领域近期的综述文章进行整理，从模型结构和训练过程两个层面回顾了其发展变化，旨在提供一份 MTL 入门指南，帮助大家快速了解多任务学习的进化史。多任务学习：给定 m 个学习任务，这m个任务或它们的一个子集彼此相关但不完全相同。通过使用所有m个任务中包含的知识，有助于改善特定模型的学习。具有相关联任务效果相互提升作用，即同时学习多个任务，若某个任务中包含对另一个任务有用的信息，则能够提高在后者上的表现；
2023-07-16 23:51:47
1123
原创 python logging
# coding: utf-8import osimport sysimport logging# from logging.handlers import TimedRotatingFileHandlerfrom concurrent_log_handler import ConcurrentRotatingFileHandlerstr_def_fmt = "%(asctime)s %(thread)d %(levelname)s " \ "%(filenam.
2022-05-16 22:08:11
341
转载 Redis 命令参考
Redis 命令参考字符串 SET SETNX SETEX PSETEX GET GETSET STRLEN APPEND SETRANGE GETRANGE INCR INCRBY INCRBYFLOAT DECR DECRBY MSET MSETNX MGET 哈希表 HSET HSETNX HGET HEXISTS HDEL HLEN HSTRLEN HINCRBY HINCRBYFLO
2022-04-23 18:38:53
257
转载 基于Softmax与Sampling的方法，流式采样率预估
漫谈词向量之基于Softmax与Sampling的方法英文版Sampling-bias-corrected neural modeling for large corpus item recommendations - AMiner【推荐系统经典论文(九)】谷歌双塔模型 - 知乎Adaptive Importance Sampling to Accelerate Training of a Neural Probabilistic Language Model...
2021-09-12 23:53:22
392
转载 LHUC 模型内部差异化
对于一个混合多种数据源的训练模型，不同数据源肯定存在着差异性，如果将这种差异性反映到模型中。LHUC试图利用将这些差异性插入对模型的NN中，从而对NN进行调整。Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation超越Google 快手落地业界首个万亿参数推荐精排模型...
2021-08-08 12:19:25
10121
原创 当对象的容器成员被removed后还能用么？
能用，但不能保证数据，removed后最好clear下。Reusing a moved container?#include <iostream>#include<map>using namespace std;class A { public: map<int, int> a; bool b = false;};int main(){ A t; t.a[1] = 1; A x; cout << "t: " <.
2021-07-25 16:11:01
152
原创 linux 服务启动没core，日志文件也没提示 systemd.service
一般这种情况下说明可能是服务启动过程出现问题。1、首先stop服务service mysqld stop2、查看服务statusservice mysqld status3、会发现启动进程的命令是啥：ExecStart、 ExecStop、 ExecStartPre。systemd.service 中文手册4、找到失败的脚本，如execstart后面的命令，添加上 bash -x后，手动运行命令脚本看有啥问题。如果没啥问题就找服务启动时自身日志吧。...
2021-06-03 23:05:30
3634
原创 C++ 记一次debug core dump
背景是想多线程并行处理数据。但是出现了core。代码简化如下：struct Result { Ads& a; Ads& b; std::string s;}; static TaskManager task_manager(3); //线程池 std::vector<std::function<int()>> task_list; task_list.reserve(3); std::vector<
2021-02-20 22:54:48
724
原创 C++ gdb调试core
《100个gdb小技巧》运行gdb：gdb7.12 bin文件 core文件列出调用栈： bt选择函数堆栈帧： f n打印当前函数局部变量的值： i locals打印变量值：p var_向上或向下切换函数堆栈帧： up n / down n
2021-02-20 13:24:20
670
原创 vscode 配置坑
{ "C_Cpp.errorSquiggles": "Enabled", // C_CPP错误波浪提示开启 "python.terminal.activateEnvironment": false, // 禁止自动激活anaconda "go.toolsEnvVars": { "GO111MODULE": "off" // 禁止go插件强行使用go module环境 },}...
2020-08-25 13:10:13
2312
原创 tensorflow tf.io.gfile.GFile readline readlines HDFS
tensorflow是可以直接读写hdfs的，主要有：tf.io.gfile.GFile( name, mode='r') //读写文件flush() //写完最好用以下，不然有些还在buff中close() //关闭数据流readline //读取一行readlines //读取所有行返回list，这个有个坑，在文件很大时超慢优先使用readline，需要判断啥时候结束fsamp = tf.io.gfile.GFile('hdfs://query', mo
2020-07-08 00:24:27
3077
原创 Shell教程
他人教程基础变量：基本变量知识定义变量：var=123 //等号两边不能有空格，即使对变量二次赋值，也不能加$号使用变量：$var${var} //加不加{}无所谓，但有时可以区分变量名的边界，如："I am ${var}Script."只读变量：readonly var删除变量：unset 命令不能删除只读变量。unset var字符串：单引号字符串的限制： 单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的； 单引号字串中不能出现单独一个的单引号
2020-05-17 16:27:27
331
1
原创 tensorflow 建个小图
def Dataset(file_pattern, batch_size, num_epochs=1): logging.info('Creating Dataset from %s', file_pattern) return tf.data.experimental.make_csv_dataset( file_pattern=file_pattern, batch_size=batch_size, label_name=LABEL_NAM
2020-05-11 15:22:16
272
原创 Go初学入门之官方文档摘要
包：package main //程序启动于main包import ( "fmt" "math/rand" //包的名字与引入路径的最后一个元素相同)import "math"func main() { fmt.Println("My favorite number is", rand.Intn(10)) //包的导出名字是以大写开头的}函数：package ma...
2020-04-30 21:15:12
420
原创 sublime事项
插件列表：Package Control 包管理Pretty JSON json格式美化sublimerge 文档并排比较启用vim模式：用户设置文件中注释掉："ignored_packages": [ // "Vintage" ]复杂的C++ Build：{ "cmd": ["g++", "${file}", ...
2020-04-26 00:23:43
267
原创 辅助读懂Reinforcement Learning for Slate-based Recommender Systems
基础知识准备强化学习入门简单实例 DQN强化学习入门 第一讲 MDP随笔分类 - 0084. 强化学习中文翻译强化学习RL应用在youtube推荐系统 2019谷歌论文解读强化学习应用k推荐的问题slate在文中的意思大概就是一次性推荐k个item给用户。由于是k个item的组合，动作空间是非常大的。Choice Model在本文的强化学习中使用到了choice model模型...
2020-04-06 11:14:39
1171
原创 pycocotools 插入自建评估方法
evaluate内部插入方法： def evaluate(self): ''' Run per image evaluation on given images and store results (a list of dict) in self.evalImgs :return: None ''' ~~~~...
2020-03-29 23:33:48
753
原创 强化学习算法伪代码对比
Value-BasedQ-learning：1、在迭代模型时Q-learning算法目标值的计算是选取下一状态最大的动作价值2、下一状态的动作选取使用的是e-greedy算法，因此产生数据的策略（e-greedy）和迭代模型的策略（贪心：选取最大动作价值）不同，属于off-policySARSA：1、在迭代模型时Q-learning算法目标值的计算是选取e-greedy算法产生的下...
2020-03-29 22:14:30
6980
1
原创 辅助读懂Top-K Off-Policy Correction for a REINFORCE Recommender System
基础知识准备强化学习入门简单实例 DQN强化学习入门 第一讲 MDP目标函数首先需要定义目标函数来优化模型参数，此处使用的REINFORCE算法解决RL问题：求导证明参考...
2020-03-26 14:46:58
3154
原创 C++ Primer中小细节 章节三：C++标准库
IO类型：流读取写入：iostream文件读取写入：fstreamstring读取写入：sstreamio类型不可拷贝和赋值，因此无法用于形参或返回类型，而通常以引用方式传递。读写一个io对象会改变其状态，因此不能用const。文件io：ifstream in(infile);ofstream out;out.open(outfile, ofstream::app); //默...
2020-02-20 21:46:49
460
原创 CCF 数列分段
一、试题问题描述 给定一个整数数列，数列中连续相同的最长整数序列算成一段，问数列中共有多少段？ 输入格式 输入的第一行包含一个整数n，表示数列中整数的个数。 第二行包含n个整数a1, a2, …, an，表示给定的数列，相邻的整数之间用一个空格分隔。 输出格式 输出一个整数，表示给定的数列有多个段。 样例输入 8 8 8 8 0 12 12 8 0 样例输出 5
2020-01-27 15:03:33
836
原创 CCF 通信网络
一、试题问题描述 某国的军队由N个部门组成，为了提高安全性，部门之间建立了M条通路，每条通路只能单向传递信息，即一条从部门a到部门b的通路只能由a向b传递信息。信息可以通过中转的方式进行传递，即如果a能将信息传递到b，b又能将信息传递到c，则a能将信息传递到c。一条信息可能通过多次中转最终到达目的地。 由于保密工作做得很好，并不是所有部门之间都互相知道彼此的存在。只有当两个部门之间可以直
2020-01-27 15:03:16
2161
原创 C++ Primer中小细节 章节二：C++基础
endl：调试时加上能够刷新缓冲区；测试时可以使用excu <infile >outfile来文件重定向char：char类型的有无符号是由编译器决定的，如果要存储不大整数，最好明确指定类型。类型选择：1、明确数值不为负时选择无符号；2、一般选择int，超过int选择long long；3、浮点运算选择double，其与float速度近似，一般不用long double...
2020-01-26 21:56:05
544
视频、图像原理 设配选择
2018-04-12
基于图像处理和K近邻的车牌号识别 opencv python
2018-01-16
stsw-link009 for window10.zip
2016-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人