LoveChris_LL-优快云博客

原创强化学习算法SAC的学习探究及基于百度PARL的实战

本文要点：SAC算法的理解基于百度飞桨PARL的算法实战个人学习心得参考文献及学习资源1. SAC算法的理解 SAC即SoftActor-Critic（柔性致动/评价），它是一种基于off-policy和最大熵的深度强化学习算法，其由伯克利和谷歌大脑的研究人员提出。作为目前高效的model-free算法，SAC是深度强化学习中对于连续动作控制的又一经典algorithm，十分适用于真实世界中的机器人任务学习。 SAC基于最大熵强化学习框架，其中的熵增目标...

2020-07-24 19:36:50 2722

原创强化学习算法研究与应用参考资料（不断更新中）

1. SACSAC是深度强化学习中对于连续动作控制的又一经典algorithm。近期简单的看了一下SAC算法的思想，先把当前的资料整理一波，便于进一步学习。后续再作进一步更新1.1文章讨论SAC强化学习算法 SACopenAI-soft actor-criticSoft Actor-Critic 论文笔记最前沿：深度解读Soft Actor-Critic 算法SAC Algorithms and Applications 附可复现代码知乎文章SAC全新的强化学习算法:柔性致动/评价(so

2020-07-24 13:54:01 374

原创浅谈旅行商问题（TSP）的启发式算法

作为经典NP-hard问题，TSP和VRP问题一直是业界和学界的关注重点。本文以业界为主要视角，通过VRP和TSP的联系做切入点来引入TSP问题，分类讨论了启发式算法在对称TSP与非对称TSP中的运用。一、TSP简介TSP全称为Travelling Salesman Problem（旅行商问题），通俗而言，它是指对于给定的一系列城市和每对城市之间的距离，找到访问每一座城市仅一次并回到起始城市...

2020-02-11 22:52:40 8400

原创稠密特征加入CTR预估模型的方法

稠密特征一般是相对稀疏特征来说的，我们知道类别特征经过独热编码之后比较稀疏，比如类别 [‘小猫’，‘小狗’，‘小熊’，‘小猴’] 被独热编码后的数据结构为[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]，可以看到这种数据很稀疏，但是像桌子的长度这种稠密特征数据一般就是 [3.4,2.6,8.9,6.7] 这种。一般针对类别特征都是通过词嵌入的方法把稀疏特征转化为稠...

2020-01-02 23:00:53 461

原创图计算

图计算简介通用的图计算软件基于遍历算法的、实时的图数据库Neo4j OrientDB DEX Infinite Graph以图顶点为中心的、基于消息传递批处理的并行引擎GoldenOrb Giraph Pregel Hama这些通用图计算软件都是基于BSP(Buik Synchronous Parallel Computing Model)模型，简称大同步模型。Pregel简...

2019-12-14 22:00:25 324

原创大数据ETL

大数据ETL流程与技术架构数据集成和ETLETL流程介绍2.1 数据抽取（Data Extract）2.2 数据转换（Data Transformation）2.3 数据加载（Data Loading）分布式ETL技术架构3.1 基于多Agent方式的ETL技术架构3.2 基于MapReduce的ETL技术架构小结在本文中我们简单介绍了数据集成，并结合具体案例说明了ETL的主...

2019-12-02 00:23:54 719

原创优质博文或paper checklist

运筹优化1.菜鸟双11“十亿级包裹”之战本文将主要从包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及在末端小件员方面的一些技术探索实践，通过数据和技术的力量，捍卫这场十亿级包裹的双11之战。阅览地址2.生活中难以察觉的高科技：海量数据实时处理靠的是什么数学？本文讲解了分布式优化和并行计算的区别，让读者对分布式优化的理解能够从仅停留在代数层面跨越到模型层面，启迪读者寻...

2019-11-23 23:54:12 207

转载使用markdown编辑器

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

2019-11-23 21:17:40 116

原创 SpringBoot 常用注解整理备查（依据springboot的版本变化不定期更新内容）

@SpringBootApplication开启组件扫描和springBoot的自动配置，相当于@Configuration+@ComponentScan+@EnableAutoConfiguration三个注解@Configuration声明一个bean，可以被AnnotationConfigApplicationContext加载注册。@ComponentScan开启组件扫...

2019-10-25 20:51:03 216

原创 Java 注解（annotation）

使用annotation的好处是什么注解是众多引入到java SE5中的重要语言变化之一。他们可以提供用来完整地描述程序所需的信息，而这些信息是无法用java来表达的。因此，注解使得我们能够以将由编译器来测试和验证的格式，存储有关程序的额外信息。注解可以用来生成描述符文件，甚至或是新的类定义，并且有助于减轻编写样板代码的负担。通过使用注解，我们可以将这些元数据保存在java源代码...

2019-10-13 19:50:10 146

原创 SSM框架特性剖析

SpringSpring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。简单来说，Spring是一个轻量级的控制反转（IoC）和面向切面（AOP）的容器框架。SpringMVC SpringMVC属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spri...

2019-10-13 18:30:51 657

原创 Java 的Spring 与 SpringBoot 框架概述篇

Spring框架Spring框架是Java平台上的一种开源应用框架，提供具有控制反转特性的容器。尽管Spring框架自身对编程模型没有限制，但其在Java应用中的频繁使用让它备受青睐，以至于后来让它作为EJB（EnterpriseJavaBeans）模型的补充，甚至是替补。Spring框架为开发提供了一系列的解决方案，比如利用控制反转的核心特性，并通过依赖注入实现控制反转来实现管理对象生命周期...

2019-10-13 15:47:31 7906

转载机器学习的“大一统理论”

所有机器学习的原理，本质上都是对同一段信息在不同空间内的转换、过滤、重新表征，最终解码出一段可读信息。为了让最终信息可读，我们需要给最终输出的每一个 bit 赋予意义。如果是监督学习，则需要定义一个度量来描述输出信息与真实信息的距离。列举常见的传统机器学习，我们可以发现大多数监督学习都遵循着这一机制。 SVM 使用内核机制重新定义了两个向量的内积，经过 centering 这样一个定义原...

2019-01-06 20:08:01 380

翻译深度学习中，必须要懂的4个信息论的概念

信息论是对深度学习和人工智能做出重要贡献的一个重要领域，但很多人对信息论知之甚少。信息论可以看作是深度学习的基本组成部分：微积分、概率和统计学的复杂组合。一些来自信息论或相关领域的AI概念的例子：常用的交叉熵损失函数基于最大信息增益构建决策树 Viterbi算法广泛应用于NLP和语音编码器-解码器的概念，广泛用于机器翻译的RNNs和各种其他类型的模型 ...

2019-01-06 17:55:03 1245 2

翻译高斯——数据科学家的榜样

对于深度学习和机器学习工程师来说，在世界上所有的概率模型中，高斯分布模型是最突出的。即使你从未参与过AI项目，你也很有可能遇到过高斯模型。高斯分布模型，通常以其标志性的钟形曲线来识别，也称为正态分布，之所以如此流行，主要有三个原因。高斯概率分布函数的数学公式自然界中普遍存在的现象所有的模型都是错的，但是有些是有用的！— George Box自然界和社会科学中，遵循高斯分布...

2019-01-06 17:14:53 337

翻译用机器学习来做一个信用评分卡

信用评分是一个衡量人们信誉度的数字表达。银行通常利用它作为一种支持信贷申请决策的方法。在这个博客中，我将讨论如何使用Python (pandas, Sklearn)开发一个标准的评分卡，这是最流行和最简单的信用评分形式，用来衡量客户的信用价值。项目动机如今，信誉度对每个人来说都是非常重要的，因为它被视为衡量一个人有多可靠的一个指标。在各种情况下，服务供应商首先需要评估客户的历史信用，然...

2018-12-31 11:20:42 800

翻译如何开始学深度学习？

很多人问我如何开始机器学习和深度学习。在这里，我整理了一个我使用过的资源列表，以及我第一次学习深度学习时所走过的路。免费课程从Andrew Ng在Coursera上的机器学习课程开始(https://www.coursera.org/learn/machine-learning)。这门课程会教会你机器学习的一些诀窍，并且会提高你的线性代数技巧。你一定要好好作业，在完成课程后，你会掌握机器学...

2018-12-31 10:32:31 719

原创我的面试整理

目录1.编程语言考察Java、pythonJava方面python方面2.算法与数据结构3.数据库、SQL与Linux数据库事务的ACID是什么？传统关系型数据库和非关系型数据库HBase的区别，HBase删除数据怎么做(时间戳切入)？比如侧重关系型数据库的可能会问你索引为何选B树、B+树，不选二叉树？mySQL空间索引实现？mysql对GIS空间数据的...

2018-09-28 10:48:04 2442

转载 KNN算法——【近邻推荐】人以群分，在推荐系统中的应用

推荐系统的演进人工运营随机、根据运营目的、根据领域知识优点：方便推广特定内容、易解释缺点：×千人一面×耗费人力×过于主观基于统计推荐Ø 热度榜分群热度榜、用户分群、物品分群优点：ü简单粗暴效果好有公信力，易解释缺点： ×千人一面×马太效应×效果很容易达到天花板个性化推荐Ø 基于内容推荐协同过滤• 基于邻域• 基于模型、基于社交网络、混合模型........

2018-08-30 22:18:26 2775

原创机器学习面试核心内容

一、决策树1.1 原理决策树是一种基本的分类与回归方法，其模型就是用一棵树来表示我们的整个决策过程。这棵树可以是二叉树（比如CART 只能是二叉树），也可以是多叉树（比如 ID3、C4.5 可以是多叉树或二叉树）。根节点包含整个样本集，每个叶节都对应一个决策结果（注意，不同的叶节点可能对应同一个决策结果），每一个内部节点都对应一次决策过程或者说是一次属性测试。从根节点到每个叶节点的路...

2018-08-17 17:08:43 757

转载 K-means与EM的关系

首先回到K-means聚类初始问题，我们目的是将样本分成K个类，其实说白了就是求一个样本例的隐含类别y，然后利用隐含类别将x归类。由于我们事先不知道类别y，那么我们首先可以对每个样例假定一个y吧，但是怎么知道假定的对不对呢？怎样评价假定的好不好呢？我们使用样本的极大似然估计来度量，这里就是x和y的联合分布P（x,y）了。如果找到的y能够使P(x,y)最大，那么我们找到的y就是样例x的最佳类别了...

2018-08-16 16:33:48 1049

转载机器学习基石-林轩田第五讲笔记

上节课，我们主要介绍了机器学习的可行性。首先，由NFL定理可知，机器学习貌似是不可行的。但是，随后引入了统计学知识，如果样本数据足够大，且hypothesis个数有限，那么机器学习一般就是可行的。本节课将讨论机器学习的核心问题，严格证明为什么机器可以学习。从上节课最后的问题出发，即当hypothesis的个数是无限多的时候，机器学习的可行性是否仍然成立？一、Recap and Previe

2017-10-20 20:17:30 293