
python
龙仔941
这个作者很懒,什么都没留下…
展开
-
Min Spanning Tree-Prim‘s Algorithm-解法
prim原创 2022-07-12 13:41:12 · 241 阅读 · 0 评论 -
堆栈计算/二叉树表达简单数学表达式
利用堆栈方式,入栈出栈&运算符运算等级,进行计算; 同一级的运算符,递归计算完,作为一个整体,压入栈;如此反复;按照运算优先级递增的顺序压栈,如果出现非此顺序计算符,则将原来的运算符&数字出栈计算,结果再压栈;# ELEMENT=['+','-','*','/']import reLEVEL_1=['+','-']LEVEL_2=['*','/']LEVEL_3=['(']LEVEL_4=[')']def is_symbol(element): if ...原创 2021-10-29 12:00:19 · 445 阅读 · 1 评论 -
graph-attention-network
representationN is the number of Nodesnode featureneighbourhood+leakrelu->nodeupdatewith head=kmulti-head+neighbourhood->nodegraph相关的算法,都是相邻点的embedding表达,不断的迭代, gat就是 通过建立相邻边的attention,来拟合周边attention,multihead机制,提升图attenti原创 2021-09-23 10:46:11 · 247 阅读 · 0 评论 -
gaussian discriment analyse
gda: x as variance, P(y) as prior probility高斯分布公式梯度下降公式牛顿公式梯度下降公式logistic classificationinput:gda:基于类别的变量高斯分布,基于变量分布,带入label,进行P的输出判断lr:基于整体的分布,进行P的输出判断...原创 2021-09-17 13:56:17 · 159 阅读 · 0 评论 -
跳表算法总结
思路:将数值列表分段,每个段对应一个代表数值, 数值段排序;查询时候,从高层开始查询,递归溯源至底层两点之间,然后进行插入;插入时候,每层均插入该段的代表点应用:1.快速查询,数据进行分段 定位段首为代表值; 2.二分查找算法,将数据整理为二分形式,链表形式...原创 2021-09-11 16:39:27 · 157 阅读 · 0 评论 -
聚类算法-hnsw
1.hnsw 原理: 建立graph,目标是索引查询时候,可以从全局查找到距离最近点;为了在海量数据提速, 每个点的临近点要可以索引到全局变量,同时减少索引数据数量,所以要建立树形结构一样的数据形式,通过有限的节点搜索,得到全局的点。方式就是在插入时候,根据插入的先后,先插入的数据数量少,可以全局进行检索建立关联,后插入的数据。 建立多层 索引树, 每层的节点是下层的随机子元素,如此进行循环处理。相似度检索,每次从最上层检索最相近的点,然后继续进行检索,...原创 2021-09-09 13:52:16 · 825 阅读 · 0 评论 -
对话系统思考
话术澄清模块: 实体反问,query改写,话术推荐,确认选择触发条件:意图/faq置信度不足,实体缺失,referencehttps://developer.aliyun.com/article/276269原创 2021-06-28 11:00:31 · 131 阅读 · 0 评论 -
关联数据挖掘
1.apriori:对每个关联关系中的元素进行所有xi2.fp-growth原创 2021-06-19 15:05:20 · 303 阅读 · 0 评论 -
paper 记录
1.Hierarchical Attention Networks for Document Classificationword encode char encode =>sentence encode ==>attented-sentence encode=>document encode==>softmax原创 2020-02-23 23:00:03 · 511 阅读 · 0 评论 -
keyword deep semantic matching paper ==>keyword 实现
基于 keyword deep semantic matching paper, keyword方面的关键代码复现应用:1.对同一个embed-represent 的表达, 从 a,b-keyword角度进行attenion生成新的向量,再进行拼接,生成整体的表示向量 2.基于a,b的keyword-mask,和 a,b的mask真实表示,生成新的attention-mask矩阵,keyword-b和seq-a有交互的地方标记为1,如此作为attention添加到s......原创 2021-04-26 21:47:03 · 560 阅读 · 1 评论 -
soft-masked-bert
整体公式如下:总结: 门控机制引入,类比于lstm/gru, 进行e_i 和 e_mask的融合,门控机制通过sigmoid(gru) 进行计算, 同时 ce(fc(gru))可以计算是否coef的判别 纠错和预测作为multi-task创新点: 门控机制的类比,是参差网络的一种类似的结构,更多的信息处理, 对e_mask和e_i进行门控融合;业务层面引入e_mask作为对coef错误的替代; bert-enc...原创 2021-03-19 23:42:06 · 459 阅读 · 0 评论 -
二分法从排序数组中找出一个数组的左右区间
总结:常规的二分法确定一个target的区间,通过mid与left/right的大小,进行l/r_pointer的移动; 此处是确定一个区间,通过对target_tuple的分别确定,组合确定一个整区间错误之处:array[mid]==target时候,直接返回,不等于时候,根据移动l/r,决定+1/-1def binary_search(sub_array_1d,target): left=0 right=len(sub_array_1d) ...原创 2021-03-17 22:30:40 · 247 阅读 · 0 评论 -
分词逆向最大匹配算法
1.顺序遍历找出最长的词,依次递推,长度作为是否切分的评判标准 应用:分词,短语匹配# coding=utf-8import numpy as npimport pandas as pdclass IMM(object): def __init__(self,vocab_txtpath): self._vocabs=[] with open(vocab_txtpath,'r') as fr: for l...原创 2021-03-17 18:40:55 · 491 阅读 · 0 评论 -
对话流的自动化设计
**设计一个预训练模型,从 催收员与用户的对话中进行学习连续对话状态; 学习生成下一句,从句子级别进行分类或者生成**下游任务,学习 对话流的状态转移,语义embedding作为节点,进行随机游走...原创 2021-03-13 10:52:17 · 186 阅读 · 0 评论 -
二分查找变形--文本摘要依据相似度找到对应的应该抽取的句子
二分查找常规思路: 1.找到中间值,判断与待查找值大小,分别去左右序列中的中间值比较大小 2.如果某序列为空,则返回依据生成的文本摘要,从原文中找出对应的相似的句子,作为当前节点,由于summary的前后顺序性,所以可以理解为二分查找的思路,分别从左右继续进行查找核心逻辑def extract_matching(texts, summaries, start_i=0, start_j=0): ##?? 怎么抽取匹配 """在texts中找若干句子...原创 2021-01-23 16:20:17 · 248 阅读 · 0 评论 -
文本生成技术总结
decoder本质是一个lm问题常用框架:encoder+decoder, 技术: seq2seq+attention-mechasimencoder处理trick:增加feature输入维度要远好于语料累加; feature维度:tfidf,ner,posdecoder:利用 encoder-sequence+encoder-word-attention+encoder-sentence+attentionoov问题解决:lvt,利用decoder时候门口机制,generator/po..原创 2020-10-03 16:05:50 · 577 阅读 · 0 评论 -
transformer复现
"""原始 embedding,添加 position-embedding,multihead-attention: embedding->ff(q,k,v)-->split+concat-->mask--> attention-->scaled-dot-product-->softmax(qk)--> softmax(qk)*value-->residual,input+output-->layer-normalizationfea...原创 2020-06-27 12:27:54 · 775 阅读 · 0 评论 -
python 用法总结
class AttributeDict(dict): """Example of overloading __getatr__ and __setattr__ This example creates a dictionary where members can be accessed as attributes """ def __ini...原创 2020-02-09 22:36:35 · 152 阅读 · 0 评论 -
bert
pretrain: nsp任务,调用 cls 进行训练优化 mask任务,调用sequence_embedding进行训练优化bert+dynamic_rnn-states+fcfc->[residual_layers,fc]bert transformer+fc->重新训练 为想输出的向量维度。bert+submodel 架...原创 2020-02-04 16:36:04 · 303 阅读 · 0 评论 -
阿里技术分享
1.机器人工厂,快速创建机器人,可视化托拉硬拽实现逻辑 逻辑由面向intent,改为面向dialogue; if else then turnIn-function-turnOut2.robot 测试 robot, 说白了自动脚本,脚本内涵盖机器人可能出问题的各个方面;系统架构1.单纯的对话太单薄,需要综合技术能力智能摘要、预测排班、工具矩阵、知识健康检...原创 2019-07-28 10:46:43 · 549 阅读 · 0 评论 -
中产safe
1.爬虫系统,网站,帖子定向攫取中产维权相关信息,投诉信息 扩充业务线,攫取其他方面信息。2.toB定向提供给各个新闻报社,自媒体等;原创 2019-07-28 11:32:06 · 301 阅读 · 0 评论 -
静态网页和动态网页的区别
在建设网站时,会经常听到静态网页和动态网页,但是他们真正的区别是什么?接下来仔细分析下二者的区别。静态网页是网站建设的基础,静态网页和动态网页之间也并不矛盾,为了网站适应搜索引擎检索的需要,即使采用动态网站技术,也可以将网页内容转化为静态网页发布。 静态网页和动态网页主要根据网页制作的语言来区分,静态网页使用语言:HTML(超文本标记语言);动态网页使用语言:HTML+ASP 或 HTM转载 2016-09-08 16:22:26 · 993 阅读 · 0 评论 -
网络令牌的解释
传统的网站用户认证模式是基于cookie认证的。在一个典型的REST架构中,服务器不保留任何客户状态。从安全角度来说,REST的无状态方式使会话session不合适。使用cookie来保证REST服务时,会话劫持和跨站点请求伪造是常见的安全问题。因此,他们需要验证和保护无状态的REST服务。本文我们将学习使用JSON网络令牌来保护REST API。JSON网络令牌是一个开放的,转载 2016-09-12 19:30:56 · 2374 阅读 · 0 评论 -
机器之心杂文
智能音箱https://www.jiqizhixin.com/articles/2019-09-30-6不再补贴硬件家庭智能大脑入口无屏,带屏阿里 aiLab 迅猛扩张,十几人到800人的团队小度打通百度体系账号阿里蓝牙模组清华 极睿科技https://www.jiqizhixin.com/articles/2019-07-17-8行业痛点:每个服装...原创 2019-07-18 08:53:37 · 330 阅读 · 0 评论 -
Flask config方法
Flask很赞的特点之一就是可扩展性强,非常灵活,对于config来说也是如此。Flask官方文档中已经提及了非常多的方法,以及一些有用的建议。我在Flask项目开发中的config实践,则是基于文档中提到的类继承方案,并通过环境变量来切换不同的config配置。需求比较好的config方案是怎样的呢?我觉得有如下几点:针对不同的环境分离配置(Development、Pro转载 2016-09-14 17:31:19 · 4532 阅读 · 0 评论 -
python配置属性
方法一、直接配置Python代码 app.config['HOST']='xxx.a.com' print app.config.get('HOST') 方法二、通过环境变量加载配置export MyAppConfig=/path/to/settings.cfgPython代码 app.config.from_envvar('My转载 2016-09-14 17:11:01 · 390 阅读 · 0 评论 -
设计模式之-抽象工厂模式VS简单工厂模式(python)
从某种成度上说抽象工厂模式就是简单工厂模式的工厂模式。工厂模式使用依赖和继承产生新的对象,而抽象工厂模式跟多的是以组合方式产生新的类。简单工厂模式的结构如下图:简单工厂模式示例代码:[python] view plain copyprint?#!/usr/bin/env python # -*- coding: utf-8转载 2016-09-14 16:59:15 · 324 阅读 · 0 评论 -
python导入模块交叉引用
实际项目中遇到python模块相互引用问题,查资料,终于算是弄明白了。 首先交叉引用或是相互引用,实际上就是导入循环,关于导入循环的详细说明,可见我摘自《python核心编程》第二版的摘抄:Python导入循环方法。 附录给了一种解决交叉引用的方法,试了,不行,但关于交叉引用问题本身说明的很清楚,如果不清楚什么是交叉引用,可看附录一。 循环引用在pyt转载 2016-09-13 23:23:41 · 9794 阅读 · 0 评论 -
作用域/上下文的理解,闭包的理解
理解JavaScript中的作用域和上下文Mar 4, 2016JavaScript对于作用域(Scope)和上下文(Context)的实现是这门语言的一个非常独到的地方,部分归功于其独特的灵活性。 函数可以接收不同的的上下文和作用域。这些概念为JavaScript中的很多强大的设计模式提供了坚实的基础。 然而这也概念也非常容易给开发人员带来困惑。为此,本文将全面的剖析这些概念,并阐述不同转载 2016-09-13 17:00:18 · 241 阅读 · 0 评论 -
使用 Flask 设计 RESTful 的认证
使用 Flask 设计 RESTful 的认证今天我将要展示一个简单,不过很安全的方式用来保护使用 Flask 编写的 API,它是使用密码或者令牌认证的。示例代码本文使用的代码能够在 github 上找到: REST-auth 。用户数据库为了让给出的示例看起来像真实的项目,这里我将使用 Flask-SQLAlchemy 来构建用户数据库模型并且存储到转载 2016-09-12 16:03:26 · 1065 阅读 · 0 评论 -
python使用json web token (jwt)实现http api的加密传输
什么是json web token (jwt) 这个一个标准,用来保证数据的安全性的,咱们常用的对于http api加密的方式有这么几种。文章的原文地址是, http://xiaorui.cc第一个是使用在HTTP规范中的Basic Auth,这个配置也是相当的简单,在nginx端针对路由location配置下就可以用了 。原理上,客户端必须在每个子响应是附加它们的转载 2016-09-12 15:23:57 · 1835 阅读 · 0 评论 -
python自省相关函数sys/help/。。
什么是自省?在日常生活中,自省(introspection)是一种自我检查行为。自省是指对某人自身思想、情绪、动机和行为的检查。伟大的哲学家苏格拉底将生命中的大部分时间用于自我检查,并鼓励他的雅典朋友们也这样做。他甚至对自己作出了这样的要求:“未经自省的生命不值得存在。”(请参阅参考资料以获取关于苏格拉底更多信息的链接。)在计算机编程中,自省是指这种能力:检查某些事物以确定它是什么、它转载 2016-09-14 21:49:26 · 342 阅读 · 0 评论 -
python中模块和包的定义/解释
一 .module通常模块为一个文件,直接使用import来导入就好了。可以作为module的文件类型有".py"、".pyo"、".pyc"、".pyd"、".so"、".dll"。二. package通常包总是一个目录,可以使用import导入包,或者from + import来导入包中的部分模块。包目录下为首的一个文件便是 __init__.py。然后是一些模块文件和子目转载 2016-09-14 22:28:03 · 807 阅读 · 0 评论 -
a deep cascade model for multi-document reading comprehension 阅读理解
a deep cascade model for multi-document reading comprehension1.先排序检索,后精过滤排序2. 先 document paragraph rank, 再 model-rank3.model-rank, self-attention, embedding=embedding+cnn-embedding...原创 2019-07-08 10:51:19 · 450 阅读 · 0 评论 -
隐马尔科夫
https://www.jiqizhixin.com/articles/2019-04-19-20马尔科夫只有 状态转移,状态转移概率,初始状态概率隐马尔科夫有 状态,状态转移概率,初始状态概率,状态输出概率分布,输出字符集合hmm常有3个问题:给定一个序列O,求发生概率; 给定一个序列O,优化使得它的概率最大;求一个hmm的最大输出序列;求最大输出序列,即用到了viterb...原创 2019-04-20 11:18:58 · 137 阅读 · 0 评论 -
字符编码笔记:ASCII,Unicode和UTF-8
分享今天中午,我突然想搞清楚Unicode和UTF-8之间的关系,于是就开始在网上查资料。结果,这个问题比我想象的复杂,从午饭后一直看到晚上9点,才算初步搞清楚。下面就是我的笔记,主要用来整理自己的思路。但是,我尽量试图写得通俗易懂,希望能对其他朋友有用。毕竟,字符编码是计算机技术的基石,想要熟练使用计算机,就必须懂得一点字符编码的知识。1. ASCII码转载 2016-09-21 22:21:28 · 270 阅读 · 0 评论 -
理解 Python super
原问题Python中既然可以直接通过父类名调用父类方法为什么还会存在super函数? 比如 class Child(Parent): def __init(self): Parent.__init(self) 这种方式与super(Child, self).init()有区别么?回答 针对你的问题,答案是可以,并没有区别。但是这题下的回答转载 2016-09-25 00:44:52 · 325 阅读 · 0 评论 -
蓝图解释白话版
链接:http://www.zhihu.com/question/31748237/answer/55313054来源:知乎著作权归作者所有,转载请联系作者获得授权。恩,理解「蓝本」对于没有接触其他Web编程实现的Python+Flask新手而言,是一个不好迈过的坎儿。我得用「比喻」的方式穿插讲述一下「蓝本」,方便你更好理解,问这个问题估计是新手,所以我啰嗦点好了。转载 2016-09-08 09:24:22 · 734 阅读 · 0 评论 -
应用上下文&请求上下文
用过 Flask 做 Web 开发的同学应该不会不记得 App Context 和 Request Context 这两个名字——这两个 Context 算是 Flask 中比较特色的设计。[1]从一个 Flask App 读入配置并启动开始,就进入了 App Context,在其中我们可以访问配置文件、打开资源文件、通过路由规则反向构造 URL。[2] 当一个请求进入开始被处理时,就进入转载 2016-09-19 11:39:52 · 2268 阅读 · 0 评论 -
Python MySQLdb 学习总结
任何应用都离不开数据,所以在学习python的时候,当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。官方Introduction : MySQLdb is an thread-compatible interface to the popular MySQL database server that provides the Pyth转载 2016-09-15 16:40:29 · 318 阅读 · 0 评论