ziuno的博客

faiss的检索功能确实强大，尤其是在使用HNSW或PQ等功能时，确实无法比拟（HNSW不适合在gpu上运行），但如果仅论IP内积计算，faiss未必有优势，可能反而不如使用cuda版本的torch计算速度快，且faiss的检索计算精度与torch略有差异，具体测试可以参考我之前的。（faiss-gpu面对过大corpus也无法存储完整，也需要分块，且搜索时需先加载成cpu再转移到gpu上，加载过程时间消耗大，直接在cpu上计算与加载到gpu后总计算时间相当，因此可以直接使用faiss-cpu）

faiss与torch的topk

Truncates input to be shorter than about 512 tokens.Process long documents directly.

原文链接

（虽然训练结束后不同进程上的模型参数应该是相同的，eval过程理论上可以拆分到几个进程上并行再合并以提速，但实际会导致，与加载存储的模型再eval的结果不一致，即模型参数存在差异）同样的，eval时也只能用相应local_rank为0的模型（与save过程的local_rank保持一致即可），否则将会导致结果不同，不可复现问题。DDP的save通常只能存储一个进程的模型，例如只存储local_rank为0的模型。torch的DistributedDataParallel（简称DDP）

torch随机状态恢复不一致的问题

Python入门

reinforcement_q_learning—解读原理讲解gymReplayMemoryDQNselect_action(state)optimize_model注意：Torch官网reinforcement_q_learning源码下文中不提供源码，需一边阅读一边对照源码，仅针对部分必要源码变量进行分析原理讲解如果不了解大致符号和理论定义，参考强化学习入门—超级马里奥简单来说，定义一个模型，输入是整个画面，输出是每个动作带来的未来价值（维度与动作数相同）计算两个神经网络对象，

【转载】Ubuntu20.04配置开机自启动脚本https://blog.51cto.com/u_3436241/5090917

强化学习入门—超级马里奥对象抽取：马里奥、金币、板栗仔（蘑菇怪）术语智能体-Agent：马里奥状态（S或s）-State：当前游戏画面动作（A或a）-Action：智能体（马里奥）的，左、右、跳（简化）策略-Policy：根据状态，决定该采取的动作奖励（R或r）-Reward：执行动作后，游戏给予奖励，例如吃金币加分轨迹-Trajectory：包括每一步的状态、动作、奖励。智能体循环该过程：根据状态s，采取策略，执行动作a，获得奖励r，状态变化。策略-PolicyPol

PyLucene安装（系统自带与envs中Python2&3）

注意在pl.LightningModule中，不可以使用spaCy进行分词等操作，否则会报错1. 在forward过程中使用...File "spacy/pipeline/trainable_pipe.pyx", line 75, in spacy.pipeline.trainable_pipe.TrainablePipe.pipe...可能由于pl框架内自动对模型内所有对象进行了状态转换，使其全部尽可能变为可训练对象，同样的，使原本的Pipe也转换为TrainablePipe，会报错，其中有

修改Neo4j数据存储位置由于mac本存储有限，需要存储大型图数据，则考虑将数据存储到移动硬盘中，仅数据转移到移动硬盘中，而其他信息仍在本中，即只要连上移动硬盘就能读取数据步骤创建一个图GraphOpen Folder，得到数据库所在位置，installation-……文件夹文件夹中有一个data文件夹，将data文件夹copy到自定义的位置（比如移动硬盘），我是复制到了/Volumes/WinBackup里（WinBackup是移动硬盘里我用来存windows备份的分区），Volumes前

PaperHopRetriever: Retrieve Hops over Wikipedia to Answer Complex Questions.DefinationSymbolFunctionRetriever依据检索模块Reader答案抽取模块qqq问题KKK知识Dp=D_p=Dp​=Retriever(q,K)(q, K)(q,K)用于回答问题qqq的多个文档a=a=a=Reader(q,Dq)(q,D_q)(q,Dq​)答

AllenNLP—json&命令行&自定义模型—对应关系dirpackage_name_fatherpackage_name_child__init__.pymodel.pyjsonjson{ "type": "model-name"}model.pyfrom allennlp import AllenNLPClass@AllenNLPClass.regester("model-name")class ModelClass(AllenNLPCl

解决方法（任选一个）implemented using pytorch模型继承Module，每次输入LSTM一个词向量，生成的state信息用list存储，结果取最后[-1]，缺点是效率较低，需要存储过多无用信息（即不覆盖之前生成的hidden和cell）模型继承Function，定义一个层，把LSTM看作一个函数，forward中累计保存对w和x等变量的梯度，可以避免存储无用的信息，backward中直接返回相应的梯度（直接实现函数Function，手动求导，可以无视是否覆盖已生成的变量）

TokenEmbedder—自定义Embedderclass GloVeEmbedding(TokenEmbedder):function与Embedding用法相同，代码是完全照着Embedding写的word vector将word分成单个char，char vector=sum(vector)/counter(char)：词向量和/字符出现次数原Embedding实现中，权重是随机的，对于GloVe中有的词，才替换成GloVe中的词向量，对于没有的词，还是原来的随机的GloVeEmbed

NLP模型笔记 — 分布式表示 [总结]概念名称分布式表示别名Distributed representation介绍若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。原理非分布式表示图形水平矩形垂直矩形水平椭圆垂直椭圆水平矩形1000垂直矩形0100水平椭圆0...

《机器学习》阅读笔记（五）5 神经网络5.1 神经元模型神经网络(neural networks)：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应对比描述生物神经网络每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值...

《机器学习》阅读笔记（三）3 线性模型(linear model)3.1 基本形式ddd：属性个数x=(x1;x2;… ;xd)\boldsymbol{x}=(x_1;x_2;\dots;x_d)x=(x1​;x2​;…;xd​)：xix_ixi​是x\boldsymbol{x}x在第iii个属性上的取值线性模型f(x)=w1x1+w2x2+⋯+wdxd...

《机器学习》阅读笔记（二）2 模型评估与选择2.1 经验误差与过拟合术语en描述错误率error rate分类错误的样本数占样本总数的比例（mmm个样本中有aaa个样本分类错误，则错误率E=a/mE=a/mE=a/m）精度accuracy精度=1-错误率（1−a/m1-a/m1−a/m）误差error学习器的实际预测输出与样本的真实输出之间的差...

NLP模型笔记 — 独热编码 [总结]P.S.

NLP模型 笔记目录独热编码分布式表示深度学习基础语言模型HMMMLPSkipGramCBOW层次表示RNNNNLMDensity EstimationNADEGRULSTMBI-LSTMDeep BI-LSTMSeq2SeqELMoDAEAutoEncoderAttentionSelf-AttentionTransformerBERTXLN...

BERT-中文-Classifier-实战目录[单标签]bert(google-research)pytorch-pretrained-bert(pypi)transformers(huggingface)[多标签]pytorch-pretrained-bert(pypi)ENVP.S.运行问题框架问题总结结果汇总参考单标签[TOP]t...

《吴恩达机器学习》笔记——12 机器学习系统设计1 确定执行的优先级构建一个垃圾邮件分类器监督学习输入输出符号xxxyyy描述email的特征-选择选择100个词来表明是否为垃圾邮件x∈R100x\in\mathbb{R}^{100}x∈R100xj={1若单词j出现在邮件中0其他x_j=\left\{\begin{matrix}1 &若...

《吴恩达机器学习》笔记——11 应用机器学习的建议1 决定下一步做什么问题算法改进产生较大误差1. 使用更多训练样本2. 尝试选用更少特征3. 获取更多特征4. 增加多项式特征5. 增大或减小λ\lambdaλ2 模型评估与选择评估单个模型多个模型选择数据集训练集(70%)测试集(30%)训练集(60%)交叉验证集(20%)测试集(20...

《吴恩达机器学习》笔记——10 神经网络参数的反向传播算法1 代价函数参数表达训练集{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots,(x^{(m)},y^{(m)})\}{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}...

《吴恩达机器学习》笔记——9 神经网络学习1 非线性假设

《吴恩达机器学习》笔记——8 正则化1 过拟合问题解决过拟合问题具体减少选取变量的数量人为选择保留的特征模型选择算法正则化保留所有特征，但减小θj\theta_jθj​的数量级或值2 代价函数正则化代价函数J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta)=\frac{1}{2m}\left[\s...

《吴恩达机器学习》笔记——7 Logistic回归1 分类分类yyy负类0正类1若hθ(x)h_\theta(x)hθ​(x)预测yyy⩾0.5\geqslant0.5⩾0.51<0.5<0.5<0.502 假设陈述-表达式hθ(x)h_\theta(x)hθ​(x)g(θTx)...

《吴恩达机器学习》笔记——5 多变量线性回归1 多功能符号定义nnn特征量的数目x(i)=[x1(i);x2(i);… ;xn(i)]x^{(i)}=[x^{(i)}_1;x^{(i)}_2;\dots;x^{(i)}_n]x(i)=[x1(i)​;x2(i)​;…;xn(i)​]第iii个训练样本的输入特征值xj(i)x^{(i)}_jxj(i)​第ii...

Neo4j - CQL简介命令CQL命令含义用法CREATE创建创建节点，关系和MATCH匹配检索有关节点，关系和属性数据RETURN返回返回查询结果WHERE哪里提供条件过滤检索数据DELETE删除删除节点和关系REMOVE移除删除节点和关系的属性ORDER BY排序排序检索数据SET组添加或更...

吴恩达机器学习——2 单变量线性回归1 模型描述符号定义mmm训练样本数量xxx”输入”变量/特征yyy“输出”变量/“目标”变量(x,y)(x,y)(x,y)一个训练样本(x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))第iii个训练样本hhh假设函数模型hθ(x)=θ0+θ1xh_\t...

《机器学习》阅读笔记2019.9.61 绪论1.2 基本术语术语en描述数据集data set记录的集合（每条记录是关于一个事件或对象的描述，称为一个“示例”(instance)或“样本”(sample)）属性/特征attribute/feature反映事件或对象在某方面的表现或性质的事项属性值attribute value属性上的取值属...