- 博客(14)
- 收藏
- 关注
原创 【推荐算法】deepwalk原理,实战以及工程化
最近aigc很火啊,chatgpt都能帮忙写文章了,博客里面也发了一篇gpt写的机器学习的简单入门文章,感觉很生硬,没有特色,也尝试了别的prompt生成一些个性化的文章,还是太过模板化了,工作周报还行,要来写自己的东西还是不能用它。然后的话,那就开始写自己的东西吧,又是好久没写文字了。
2023-03-15 14:45:51
858
1
原创 bert入门之分词源码解析
WordpieceTokenizer是在BasicTokenizer的基础上再次进行分词,主要是对英文再次分为一个个子token,通过匹配vocab词典,使用greedy longest-match-first algorithm 贪婪最长优先匹配算法,将一个词拆分成多个词。大致流程:转成 unicode -> 去除各种奇怪字符 -> 处理中文 -> 空格分词 -> 去除多余字符和标点分词 -> 再次空格分词。编码没什么好说的,就是一个切片映射成id的过程,加载词典,将最终的分词结果映射成词典id。
2022-11-22 16:45:50
1373
2
原创 调用tfserving接口报错Timed out waiting for notification
所以主要就是设置一下tfserving的http/rest api调用的超时时间,遇到这个问题的时候,我们基本都是去修改requests.post的超时时间,实际上tfserving是正确返回了信息的,是它内部的一个等待通知时间超时了。然后我就不翻译了,直接说解决办法。
2022-11-15 20:03:06
685
原创 pandas to_sql详解
pandas to_sql api的使用文章已经很多了,但是都只是简单介绍了怎么使用,一些细节问题没有介绍到,这里我们增加说明一些细节问题:1.列的对应2.多值插入3.批量插入。
2022-10-27 11:52:37
2357
原创 tensorflow训练卷积神经网络报错
在执行model.fit训练的时候出现了这个错误。pycharm里面就提示了这个错误,没有详细的错误说明,不好定位问题,要是单独搜索这个错误,会又一大堆解决内存不足的方案给你,但是这都不是我们需要的解决方案。所以我们需要详细的错误说明,编辑文件配置:勾选Execution里面的emulate terminal in output console然后我们就能看到详细的报错信息了:Could not load library cudnn_cnn_infer64_8.dll. Error code 126
2022-06-17 17:24:40
1043
原创 win11使用wsl2安装Linux子系统
1.开启子系统功能和虚拟机平台搜索‘启用或关闭window功能’,勾选‘适用于Linux的Windows子系统’和‘虚拟机平台’也可以打开power shell执行以下命令:2.重启电脑,打开应用商店Microsoft Store,搜索相应的wsl下载,我这里下载的是Debian,等待下载成功后可以在菜单栏看到,打开Debian如果出现以下报错:需要设置wsl2,以下命令设置默认wsl版本:如果还是报错,则需要升级更新一下wsl:......
2022-06-09 11:40:28
4775
原创 【推荐算法-召回笔记】-swing
swing是阿里巴巴推出的一种召回算法,考虑了user-item-user这样一个局部关系,即都购买了i、j的用户u、v,如果u、v共同购买的商品越少,那么i、j的相似性就越大:公式如下:公式中,Ui代表购买了i的用户集合,Iu代表用户u购买的商品集合,α是超参不足思考,没有考虑用户的一个权重,我们可以给活跃用户增加一个惩罚系数,公式如下:Wu代表了用户u的权重,与购买商品数成反比:1/sqrt(Iu)算法实现:参考连接:https://arxiv.org/pdf/2010.05525.p
2022-05-18 11:49:57
1761
原创 MySQL批量更新
文章目录直接update的弊端方法一;replace into方法二:insert into [table] values... on duplicate key update方法三:创建临时表方法四:使用MySQL自带批量更新语句直接update的弊端最近做一个需求,更新3w条数据,一个一个update去更新的,结果花了80分钟,这样性能上很差,也容易阻塞,所以就找了一些MySQL批量更新的方式,在此记录一下方法一;replace into这种更新会将其它字段更新为默认值,因为它是先将重复记录删掉
2022-05-11 14:37:24
17541
2
原创 三七法则中的数学
一.37%法则介绍在面临每个样本只能浏览一次,选择机会只有一次的事件中,如何选择最优的一个,37%法则就是说浏览前37%中,记住最好的一个的特征,在后续的选择中,遇到比前37%里最好的相似或者更好的,毫不犹豫的选择它,此时的选择就是较优的选择二.数学原理问题抽象:已知总数n的情况,当k等于何值时,按照37%法则选择的是最优解的概率最大此时问题为确定最优k值对于固定k,k之后的第i个选择最优,k的概率记作p(K):用x表示k/n,并且假设n无穷大,那么公式可以写成:对公式求导且令导数为0,就
2022-04-01 11:18:32
980
原创 tfserving接口调用
http接口说明:查看TensorFlow-Serving状态:curl http://localhost:8501/v1/models/${model_name}查看TensorFlow-Serviing模型:curl http://localhost:8501/v1/models/${model_name}/metadata使用Http请求进行模型预测:curl -d '{"instances": [1,2,3,4,5]}' -X POST http://localhost:8501/v1
2022-02-15 16:41:49
1671
原创 下班倒计时
等着下班回家,太煎熬了,写个倒计时,注释是不可能有注释的,只想下班from PyQt5 import QtWidgets,QtCore,QtGuifrom PyQt5.QtWidgets import *from PyQt5.QtCore import Qtimport sysimport timeclass RefreshWidget(QWidget): def __init__(self,parent=None): super(RefreshWidget, sel
2022-01-28 16:09:02
278
原创 快速入门nebula graph
nubula graph 是一款开源分布式易拓展的原生图数据库,能够承载数千亿个点和数万亿条边的超大规模数据集,并且提供毫秒级查询。
2022-01-20 18:00:14
6778
原创 win11+RTX3060搭建tensorflow深度学习环境
文章目录win11+RTX3060搭建tf2.6深度学习环境1.所需软件2.安装cuda3.配置cudnn4.conda添加新环境并下载tf2.65.测试gpu参考文献win11+RTX3060搭建tf2.6深度学习环境1.所需软件cudacudnn cudnn下载需要注册账号anacondatf2.6.22.安装cudacuda简介:CUDA是NVIDIA发明的一种并行计算平台和编程模型。它可以通过利用图形处理器(GPU)的能力来显著提高计算性能。CUDA的开发有以下几个设计目
2021-12-30 14:22:00
4582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人