rl小透明

平移不变性意味着系统产生完全相同的响应(输出),不管它的输入是如何平移的 。平移同变性(translation equivariance)意味着系统在不同位置的工作原理相同,但它的响应随着目标位置的变化而变化 。比如,实例分割任务,就需要平移同变性,目标如果被平移了,那么输出的实例掩码也应该相应地变化。...

推荐系统的本质：预测任意用户u对于任意物品i的偏好或评分特征（内容）提取提取每个待推荐物品的特征（内容属性）用户偏好计算计算用户在不同特征上的偏好分数（可设置时间衰减系数）内容召回粗排,强调筛选效率物品排序细排，强调准确性其中的关键在于特征提取部分 ：优点：无冷启动问题，能为具有特殊兴趣爱好的用户进行推荐缺点：对于特征提取要求比较高，精度不高根据用户之间的相似度来找到与用户喜好相似的其他用户，并把其他用户喜欢的商品推荐给该用户。根据物品之间的相似度来找到与用户所喜欢的物品相似的物品。而其中最重要的部分则是如

前言：有些图的每条边都带有额外信息，例如权重，边的类型。1.先验知识1.1. 各种"积" 点积 叉积 外积 哈达玛积 1.2 二部图二部图又称为二分图，即将顶点集分为两个互不相交的子集，并且每条边所关联的两个顶点分别属于这两个不同的顶点集，顶点集内部的节点没有边存在。2.两种处理带有边信息的图的方法2.1 将图转换为二部图操作方法：原始图中的边变成节点，一条边被拆成两条新边，这意味着在编辑诶单和...

1.Pytorch GeometricPyTorch Geometric Library (简称 PyG) 是一个基于 PyTorch 的图神经网络库。它包含了很多 GNN 相关论文中的方法实现和常用数据集，并且提供了简单易用的接口来生成图。1.1 数据集1.1.1 使用PyG自带的数据集# %%# 数据加载dataset = Planetoid(root="data/Cora", name="Cora")print(dataset)print(dataset[0])print(

1.卷积与GCN在这里，需要注意的GCN中的等式证明部分需要证明下面的两个式子相等2.第一代GCN3.第二代GCN

内容提要：GCN背景简介+torch_geometric库安装+GCN处理Cora数据集1.图神经网络1.1 概念原有的卷积神经网络主要用来解决欧式空间中的数据（数据规整，形状固定），例如图像数据。无法应对非欧式空间中的数据，例如图数据。但是神经网络是规整的计算方式，所以图神经网络的目标就是，如何去用规整的神经网络去处理不规整的图数据。1.2 应用场景非欧数据的场景很多，如：社交网络，计算机网络，病毒传播路径，交通运输网络(地铁网络)，食物链，粒子网络(物理学家描述基本粒子生.

1.因果效应推理定义套用一个发券和购买转化率的关系，已知发优惠券与购买转化率有因果关系，发优惠券是因，购买转化率是果，我们想知道，当发券的情况下，购买转化率会增加多少？2.因果效应推理估计对象估计对象：ITE(Individual treatment effect) ATE(average treatment effect)， CATE(conditional average treatment effect)注：ITE可以看成CATE的一种特例，也就是集合中只有一个元素。3.

1.因果推断定义根源：因果推断就是找到事情发生的原因重要的现象：桑普森悖论，Casualty和Association之间的区别Association是人工智能的基础人工智能Association的问题：知其然，不知其所以然不可解释性 无法满足独立同分布假设 公平性问题 不可回溯性产生Association的三种方式：因果机制 混淆效应 样本选择偏差2.因果推断的两个关键问题Causal discovery(因果关系挖掘): 比如研究：温度升高是否是电

R-CNN 两大贡献：1.引入CNN 2.引入fine-tune的方法 Two-stage方法：1.Region Proposal 2.对区域内物体进行分类 trick：1.根据Iou对RP进行过滤 2.在进行边框regression的时候，加入log对损失函数大小进行控制 缺点：速度慢，需要训练三个模型（RP，classify，regression） Selective search： 三个主要

自己的研究方向是强化学习，最近投了三个有强化学习岗位公司的实习，比较幸运，因为问的问题都比较简单，最后全都收到了实习offer????滴滴：网约车策略与技术部运筹调度实习生一面1.自我介绍，介绍简历项目2.场景题：跨区域车辆调度问题设计3.算法题：单个数组找单个重复元素单个数组（100个数）找25个重复元素二面1.自我介绍，介绍简历项目2.智力题：去掉大小王的52张扑克牌抽中5张同花顺的概率延伸：抽到五张顺子的概率瓶盖换饮料问题（3换1），喝100瓶需要买

机器学习面试题1.支持向量机 模型建立 为什么要求解SVM的对偶问题？ 原问题：固定w,b，针对α求最大值 对偶问题：固定α，针对w,b求最大值 核函数的原理及作用 从模型的角度，使得模型具有拟合非线性函数的能力。 根据Cover Theomem，高维空间比低维空间更容易线性可分。 从优化角度，对偶的表示能够带来内积，从而便于求解。 常用核函数 线性核，多项式核，高斯核，拉普拉斯核，Sigmoid核 SMO

最近在准备面试，从“深度强化学习实验室 (neurondance.com)”上偶然看到了强化学习常见面试题的总结，自己简单的写了一下，由于很多东西都是自己随口一说，里面会有很多问题和错误，期待大家一起交流讨论。 <!--蒙特卡洛、TD、动态规划的关系？--> 动态规划属于有模型强化学习的范畴，蒙特卡洛和TD都属于无模型的范畴。蒙特卡洛和TD都需要通过采样来获取数据进行学习蒙特卡洛需要采样整个样本序列，无偏差，但是方差大...

有模型和无模型的区别1.有了模型，我们可以干哪些事呢?第一， 利用模型和基于模型的优化算法，我们可以得到回报高的数据，也就是好的数据。有了好的数据，我们就可以对策略网络进行稳定的训练了。第二， 有了模型，我们可以充分地利用示例（demonstration）学习。人的示例可以当成模型的初值第三，提高数据利用率，在真实环境中采集到的数据不白白扔掉，而是用来构建模型第四，利用已有的数据学到系统的模型后，利用这个模型你就可以预测其他未知状态处的值了。无模型的强化学习只能依靠尝试，与环境交互得到其他未知状态

DPPO在ppo基础上的优化1.在状态中加入了RNN，能够兼顾观察状态的时序性，更加适用与POMDP问题2.在回报计算中使用了K步奖励法3.对原来的数据进行归一化DPPO框架含有一个chief线程，和多个worker线程。多个worker进程可以并行运行全局只有一个共享梯度区和共享PPO模型不同的worker中还有自己的局部PPO模型和局部环境局部PPO模型的作用：worker使用PPO策略和局部环境进行互动获得数据，并在更新中计算梯度A3C我们先看看经典的A3C[1]架构图。

TRPOTRPO通过采取最大可能的步骤来更新策略，以提高性能，同时满足新策略和旧策略允许的接近程度的特殊限制。约束是用kl散度表示的，kl散度是对概率分布之间距离的度量(有点像，但不完全是)。这不同于一般的策略梯度，它使新旧策略在参数空间上保持接近。但是，即使参数空间上看起来很小的差异也可能会在性能上产生很大的差异，因此一个错误的步骤可能会破坏策略的性能。这里需要注意的是，这根正常的梯度下降也不大一样，因为这里优化的不是旧的参数，而是优化的新的参数，主要原因在于使用了优势函数，需要重要性采样。PP

使用Tensorflow和numpy分别构建简单神经网络numpy构建'''用底层numpy实现神经网络这里使用的时pytorch风格的实现方式'''import numpy as npimport matplotlib.pyplot as plt'''定义layer基本类'''class Layer: def __init__(self): pass def forward(self,input): return input

Pytorch基础代码记录（基本特性，构建网络）import torchimport tensorflow as tfimport numpyx=torch.rand(5,3)print(x)y=torch.randn_like(x,dtype=torch.float)print(y)# 1.# pytorch提供切片# print(y[:,1])# 2.# method 1:z=x+y# method 2：z=torch.add(x,y)# method 3: z=x.

① 频率学派他们认为世界是确定的。他们直接为事件本身建模，也就是说事件在多次重复实验中趋于一个稳定的值p，那么这个值就是该事件的概率。他们认为模型参数是个定值，希望通过类似解方程组的方式从数据中求得该未知数。这就是频率学派使用的参数估计方法-极大似然估计（MLE），这种方法往往在大数据量的情况下可以很好的还原模型的真实情况。② 贝叶斯派他们认为世界是不确定的，因获取的信息不同而异。假设对世界先有一个预先的估计，然后通过获取的信息来不断调整之前的预估计。 他们不试图对事件本身进行建模，而是从旁观者的角