
python
yinxingpan
这个作者很懒,什么都没留下…
展开
-
孪生BERT模型计算相似
转载来自个人知乎文章:https://www.zhihu.com/people/yin-xing-pan/场景:简单的问答系统,绕不开的是query语句与KB数据库之间的相似匹配。我们通过分类算法来判断用户的意图,通过命名实体识别来提取实体信息,使用问答框架来控制问答流程和基本话术轮次等。但最终的核心依然是 语义相似匹配。https://arxiv.org/pdf/1810.04805.pdfarxiv.org问题:单一的bert模型,通过输入两个语句【query】..转载 2020-10-28 15:46:26 · 1668 阅读 · 0 评论 -
AI偷天换日-视频背景自动转换实践
背景最近注意到了-密歇根大学博士后的视频背景动态转换研究。就决定自己试试,先上实验后的结果随手在下载一个视频,然后作为转换的demo, 不到10分钟,便产生如上图的视频。真香系列话不多说,直接进入我们主题,如何进行系统操作,并如何部署成我们自己想要的服务。等我娓娓道来实践找到github项目地址,clone到本地服务,无外乎就是搭建环境,训练模型,跑起服务,然后做个性化定制提供接口等服务。项目地址:https://github.com/jiupi...转载 2020-10-28 15:16:11 · 1142 阅读 · 0 评论 -
twisted开发分布式任务调度爬虫
满足需求:爬虫减少重复数据、相似数据。 数据检索效率要高具体方案:1:使用向量夹脚余弦来计算文本间的相似度,大于80%可认为数据相似度过高,不采集。2:使用elasticsearch进行数据invert index。提高查询速度。支持分布式,可拓展。3:使用gearman、或者twisted自己编写任务调度服务器。twis原创 2017-04-13 22:23:55 · 1348 阅读 · 0 评论 -
python元类--求别再说orm了
python元类,工作已经三年多了,python开发也进行了3年之久,也从一个小小开发者,转换成面试官(依然觉得自己很low,还需要继续努力学习)。 但每次问到别人python metaclass时,别人的回答几乎没有人让我满意的,无外乎千篇一律的 metaclass 多用在orm上。我去,元类和orm有什么关系啊,就是网上抄来抄去,也许当年有一位牛人做了如此的解读后,让无数的不假思索者找...原创 2018-08-12 22:17:58 · 2005 阅读 · 2 评论 -
sqlalchemy自定义压缩字段
有时候我们需要存储较大json至mysql字段中,即使是text类型 也会有字段超出情况,那我们就得想办法进行字段压缩存储。 同时保证数据在读取后,不需要做额外工作。 #coding=utf-8from io import BytesIOfrom gzip import GzipFileimport jsonpickleimport sqlalchemy.types as...原创 2018-12-22 11:18:12 · 569 阅读 · 0 评论 -
easy_sanic更便捷实用sanic,支持orm、restful
我们知道python的异步web框架sanic 的高性能,并发特性甚至接近golang, 底层使用uvloop。https://github.com/huge-success/sanic 虽然sanic写简单的web应用特别容易,但python3 异步语法和 async 需要配套相关的数据库异步库使用起来不方便,同时满足使用django等的习惯,由于目前没看见sanic有orm相关处理,以...原创 2019-01-31 21:47:55 · 2671 阅读 · 0 评论