- 博客(33)
- 收藏
- 关注
RSS订阅原创 A* + Multiway Tree + Multi-branched Tree Pruning 实现最优路径选择
0.0 DEMO`````````return Fcontinuecontinueelse:# 分别代表行和列# 判断是否越界continuecontinueelse:break``````step.Invoking:'''
2024-10-18 16:29:10
386
1
原创 有关Faster-RCNN系列算法乳腺钼靶图像训练问题
在开始本工作的初期，一直有一个困惑，Faster-RCNN 算法总是训练的结果最后的confidence值很低，我们通过实验得出的结果则是，数据集的0像素问题。在其中第二点中，由于采用了sgd优化器，其初始的学习率不应超过0.01。否则Faster-RCDCN梯度的回传可能导致整个网络的最终梯度爆炸。我们的算法首次在召回率超过了yolov8 ，增幅为0.495.%，mAP 增幅为：-1.94%。2.采用sgd训练器进行训练，不采用adam算法进行训练；1. 定义一个过滤器，筛选出模型推理没有结果的样本；
2023-12-17 23:09:40
139
原创 Faster-RCDCN 目标检测网络
实验结果表明，CDCN网络由于是重建网络，其loss非常大，采用的是ML1oss函数，本文替换掉该函数，采用平滑的MSELOSS函数， 训练的过程中，loss非常大，因此采用了较小的学习率，虽然初始loss比较大，但后续过程最终的loss 一直在收敛，虽然多次再次突然增高，又下降，总体趋近于收敛。目前还没有做任何的分析。（1）医学数据集中的0值像素点太多，无法提供有效的卷积特征，导致rpn网络中的候选框计算梯度时，loss/所有的候选框数量，其实分母这个时候的值非常小。
2023-06-18 20:19:20
222
原创 Deep Interest Evolution Network for Click-Through Rate Prediction
前一段时间的工作没来的急总结，现在总结一下！欢迎指正.......! @: kenny13141314@163.com今天总结一篇大概是2019年的一篇文章，这篇文章在DIN 的基础之上进行了扩展，属于推荐系统中的精排部分。在DIN中的粗排选择了基于用户的协同过滤算法，因此这篇文章的实现我也采用基于用户的协同过滤算法作为粗排。实际上这篇文章比较简单，首先是通过协同过滤算法将每个用户的历史记录通过时间排序存储到字典中, 代码如下：'''@name: kenny adelaide@time: 20
2022-05-10 10:48:59
338
原创 A/B-Test （Overlapping Experiment Infrastructure: More, Better, Faster Experimenta）
为了解决推荐算法基于web实验的模型验证，我参考了Overlapping Experiment Infrastructure: More, Better, Faster Experimentation 2010 的google 这篇文章。这篇文章针对当时的web验证方案进行了总结，并未google 的web实验验证方案的设计提供了参考，在此基础之上，google 工程师设计了自己的验证方案， 我将对相关的工作做概要性的简述。首先从图1 出发：这篇文章中提出了一个数据流通道的简易路径，主要由两..
2022-05-09 10:26:52
713
原创 Attention and transformer from nlp and application DIN
在阅读推荐系统的文章时，遇到了transformer 的概念以及attention的概念，对这部分不是很理解，现在对着方面做出一些总结以及一些知识点的记录。概念定义：有两个定长的句子（embedding之后），句子1 为target， 句子二为source。存在三种关系如下所示：1 target 句子内部联系2 source句子内部联系3 target 句子与source 句子内部联系总结：以上三种关系中 第三种关系常用的数学模型为RNN 以及LSTM， 1,2 两种数学模型的构
2022-04-22 14:33:04
1555
原创 Meta-Learning for Online Update of Recommender Systems
这篇文章是基于元学习的文章，在推荐系统领域通过牺牲可接受的计算代价，更新模型的参数，同时采用数据流式计算，并返回用户感兴趣的结果。文章中涉及到的主要技术有GAT, embedding，MLP。等主要技术。有关论文实现的代码，比较乱（没有工程化处理），但是思路清晰， 不喜勿喷，可以留言评论交流。step 1： 构建用户的反馈历史：主要通过两个方面进行：1 获取指定用户的历史交互item2， 获取指定item 的历史响应用户关键信息如下：step 2： 扩展代表向量，实际上是通过查表lo
2022-03-30 17:51:44
582
原创 Deep Interest Network for Click-Through Rate Prediction (base model) for video recommendation
为了实现视频推荐， 参照DIN 网络模型， 我做了如下修改： DIN 是为了广告推荐而生， 但是我是视频推荐，因此将click 表示为喜欢， unclick 表示为不喜欢， 只要是没有用户操作的： 点击，收藏，评论等行为都属于不喜欢。 有相关记录的表示为click。 因此实际上采用的是二分类模型。 为了降低网络的参数， 稀疏向量映射到等长向量空间采用同样的权重（unclick and click）代码距离部署还有需要完善的地方， 因此勿喷.....在这篇文章中，提...
2022-02-15 16:42:58
977
原创 Wide&Deep 论文实现
为了实现Deep Feedback Network for Recommendation 这篇文章中工业级算法，发现这篇文章的基础是Wide&Deep， 只不过增加了三个transformer 以及机器的self-attention机制， 关键在于Wide&Deep 这篇算法的实现， 当然DFN中的反馈机制与我目前的视频推荐很类似， 只不过wechat 研究的是story 推荐。整篇文章的核心内容以及公式请在网上去查找， 相应的都有很多。我尽最大程度上还原了改论文的思想，以及文中提出的特征交
2022-01-18 16:08:47
827
原创 A Real-World Benchmark for Reinforcement Learningbased Recommender System
推荐系统中的强化学习一半比较少见。原因在于很少对强化学习研究，第二一个是强化学习要求的数据一半是人工模拟数据，且其评估环境也是模拟的。 这也是现阶段基于推荐系统强化学习的劣势。 现有的方法可以通过将传统的数据转化为强化学习的数据集（named semi-simulated RS datasets）。在论文中有着提示：该转化策略我认为可能是强化学习主要的策略之一，全模拟的人工数据带来的问题是：不能真实的反馈用户的偏好。而转化数据存在的缺点是转化可能是不合理的。 传统标准数据集转化为强化学习的数据集格.
2021-12-16 14:12:04
391
原创 User Preference Learning in Multi-criteria Recommendationsusing Stacked Auto Encoders
这篇文章是大概是18年左右的文章，文章的作者来自于印度。实际上就是一个多个编码器以及解码器的呈上继下的组合。数据集采用的是多个评分标准的标准数据集。主要涉及到的行业是酒店以及电影。在改论文中，分析了该网络组合的参数训练方法， 这是一个前向无监督的网络，参数的更新采用构建新的loss 函数：为了防止过拟合，加入和L2 正则项。没有采用L1正则项的原因是，编码解码的整个过程，会导致计算结果的稀疏。两个正则项参数分别是对 整个编码器以及其他评分标准权重。 引入了一个超参数。...
2021-12-15 18:05:57
3085
原创 A deep learning based algorithm for multi-criteria recommender systems
推荐系统，网络结构
2021-12-15 13:39:27
1161
原创 Deep Feedback Network for Recommendation用于推荐系统的深度反馈网络
整篇文章与传统的推荐算法模型做了相应的对比， 对传统算法而言， 这篇文章将所有的信息反馈做了细致的划分： 隐式积极反馈/隐式消极反馈 显示积极反馈/显示消极反馈， 隐式反馈与显示反馈的区别在于用户的行为模式。如下图所示：在上图中，通过按钮的方式表示dislike action 就是显示反馈， 通过下滑item 条目表示隐式dislike action 反馈。文章当中也做了相应的说明： 1 显示反馈在实际的数据中占比是比较小的 2 隐式积极反馈与隐...
2021-11-26 16:32:23
3806
原创 svd++ 算法实现
该算法的实现，需要注意的是：1，yi 参数与Q 参数的大小是一致的，2，cost 函数求参数的梯度不能用于参数的更新，会导致验证指标不断增加，程序运行出错。3，建议通篇理解隐式反馈以及现有的隐式反馈的推理，深入理解模型中的公式的原理由来，参数不是经验值，是约束集合N(u) 的不断增大。参数的更新参照原文Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model...
2021-11-24 18:30:34
1237
原创 分布式推荐系统中，通信消耗优化方案
Distributed Mean Estimation with Limited Communication在分布式推荐系统中，矩阵分解MF 之后，在传输数据的时候，随着数据维度的增大，则通信资源的消耗IO流的消耗也增大，降低通信消耗对算法运行的时间有着明显的提升，本文通过以上论文中的部分描述，实现了基于量化函数的相关优化点。同时本文的工作也参考了论文：DS-ADMM++: A Novel Distributed Quantized ADMM to Speed up Differential.
2021-11-01 15:59:09
525
原创 有关核函数的作用(机器学习)
阅读了一些有关和函数的使用和作用的相关问题，到多数对于和核函数的使用和作用有着不同的认识，大概可以分为两种认识：1 和函数可以将特征空间映射到n+1 的空间实现线性可分（或者曲线可分）【svm】。也就是说和函数的作用是将低维度特征空间映射到高维空间中。2 有关和函数的应用问题，在推到的过程中，会发现和函数可以将成对的点以点积的形式在n维空间中实现简便计算（也就是说核函数的引用在数学理论上是为了计算的简单性），甚至在无穷维的特征空间中，也能够做到简便计算。我认为，核函数的作用是为了简化点积的.
2021-08-24 11:34:57
3920
2
原创 openGL 入门demo， 三维空间随机数据拟合直线
#include <stdio.h>#include <iostream>#include <opencv2/opencv.hpp>#include <Eigen/Dense>#include <Windows.h> //Windows的头文件#include "GL/glut.h"//包含OpenGL实用库#include <cmath>#include <stdlib.h>#include <GL.
2021-07-23 16:43:47
729
原创 svd求解刚性转变换矩阵
//#include <stdio.h>//#include <iostream>//#include <opencv2/opencv.hpp>//#include <Eigen/Dense>////using namespace Eigen;//using namespace cv;//using namespace std;////#define M_PI 3.1415926////void GetPoints(vector<s
2021-07-19 13:13:31
1054
原创 矩阵空间塌缩概念理解
构成整个N为空间最基本的但是是向量，同一个空间坐标可以采用不同的基向量去表达，这是基向量表达的差异性，无论是采用什么样的基本向量去定义整个欧式空间，相当于定义了整个空间的不同的坐标系。...
2021-06-18 13:44:43
2020
原创 Bayes
import numpy as npdef createDataSet(): postingList = [ ['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['mabye', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
2021-06-18 09:20:30
102
转载 协方差的意义和计算公式
https://blog.youkuaiyun.com/beechina/article/details/51074750转载 2016年04月06日 14:43:46标签：协方差73055学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。很显然，均值描述的是样本集合...
2018-04-14 17:18:09
251
转载 极大似然估计
以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概...
2018-04-11 16:58:02
808
转载 优化器，梯度。学习策略
回归与梯度下降 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如本地加权回归、逻辑回归，等等。 用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的开源软件中看到，比如说weka。大概就是，做一个房屋价值的评估系统，一个房屋的价值来自很多地方，比如说面积、房间的数量...
2018-04-10 15:01:02
335
原创 深入析构 交叉熵代价函数（Cross-entropy cost function） 优化器
信息论 交叉熵代价函数（Cross-entropy cost function） 的数学意义： 数学意义： 用于度量两个概率分布间的差异信息， 与二次代价函数比较： 二次代价函数不考虑概率性，在几何上的解释： 二次闵可夫斯基距离： 欧式距离， 在处理数据的bool尔值类型和联系性数据特征时，连续性数据可以采用一次代价函数：曼哈顿距离。非连续性函数采用二次。因此，在处理连续性数据特征和...
2018-04-04 10:27:52
622
原创 cluster k~均值向量算法
#----------------------------------------------工具类代码-------------------------import osimport numpy as npimport stringimport matplotlib.pyplot as pl''' -author-: kenny adelaide time: 2...
2018-03-30 18:48:53
2157
原创 神经网络BP算法
'''-author-: 张俊 陈敏治time: 3-18/2018company: 西华师范大学理科楼B13实验室'''import osimport math as mh;import stringimport numpy as np;import matplotlib.pyplot as plimport matplotlib.animation as anim...
2018-03-18 16:25:25
278
原创 信息增益在决策树中的应用
决策树目标：根据给定的训练数据集构建一个决策树模型，可以根据这个模型对实例进行正确的分类。决策树本质上是从训练数据集中归纳出一组分类规则。能对训练数据进行正确的分类的决策树可能有多个，可能没有。在选择决策树时，应该选择一个与训练数据矛盾较小的决策树，同事具有很好的泛化能力，选择的条件概率模型应该不仅对训练数据有很好的拟合而且对未知数据有很好的预测能力。原理：通常是选
2017-11-09 22:44:34
1571
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人