<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hwang4_12的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/hwang4_12</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; hwang4_12]]></copyright><item><title><![CDATA[李宏毅强化学习学习笔记-policy gradient and PPO]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/88380882</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/88380882</guid><author>hwang4_12</author><pubDate>Sun, 10 Mar 2019 17:18:06 +0800</pubDate><description><![CDATA[1、强化学习policy gradient中，为什么需要将reward减去一个baseline？



策略梯度在进行优化的时候，使用的都是对数据进行采样，当所有的奖励都是正的时候，会对所有的梯度方向都鼓励，但是是进行归一化的，所以对那些奖励较少的方向，起到了抑制的效果。但是由于采样操作，当高奖励的动作没有sample到的时候，那些低奖励的动作就被鼓励执行了。






...]]></description><category></category></item><item><title><![CDATA[actor-critic 算法学习笔记]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/85683717</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/85683717</guid><author>hwang4_12</author><pubDate>Thu, 03 Jan 2019 11:21:18 +0800</pubDate><description><![CDATA[目录

1、基于值的算法和基于策略的算法对比

2、actor-critic 算法

3、TD-error 算法

critic 网络代码

actor网络代码

1、基于值的算法和基于策略的算法对比

 基于值的算法，典型的例子是 Deep Q learning。根据状态预测奖励值 (V(s)  表示 值函数)，然后选择对应V(s)最大的动作。是不适用于连续的空间的，如果在无穷多的动作中计算价值...]]></description><category></category></item><item><title><![CDATA[问答系统]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/84035442</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/84035442</guid><author>hwang4_12</author><pubDate>Tue, 13 Nov 2018 20:22:12 +0800</pubDate><description><![CDATA[1、QA System

KB-QA text-QA : 结合知识图谱作问答或者使用的是收集来的文本集合作问答

2、KB-QA  结构化数据

KB-QA is performed in two steps: (1) semantic parsing （语义分析）translates a question into a KB query, then (2) KBR （reasoning）trav...]]></description><category></category></item><item><title><![CDATA[闲聊式对话系统]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/84031237</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/84031237</guid><author>hwang4_12</author><pubDate>Tue, 13 Nov 2018 19:46:30 +0800</pubDate><description><![CDATA[chitbot 直接使用数据训练一个端对端模型

1、lstm模型

2、HRED 模型 用来处理端对端模型里面的多轮对话，可以将context内容包括进去，然后也将utterance进行表示

3、attention 模型  pointer network 

chanllenges:

a、回复单一的问题

      最大相互信息熵损失函数、对抗网络、引入变分结构（VHRED模型）、利用检索...]]></description><category></category></item><item><title><![CDATA[任务型对话系统]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/83997481</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/83997481</guid><author>hwang4_12</author><pubDate>Mon, 12 Nov 2018 19:59:44 +0800</pubDate><description><![CDATA[1、 整个对话系统的流程：

     a、 开放域多轮对话，瞎聊，识别用户意图

     b、 准入条件，根据设定好的准入条件，进入封闭域对话

     c、 封闭域对话，填槽，必填槽不完整就要澄清让用户填完整，最终执行

解释：

从一个开放域转入到封闭域，或者从一个封闭域转入到另一个封闭域，中间的跳转是需要逻辑判断的，而这个逻辑判断就是准入条件。



 

2、封闭式对话 --- 具体...]]></description><category></category></item><item><title><![CDATA[全双工语音对话以及在智能硬件上的应用 --- 学习笔记]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/83216602</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/83216602</guid><author>hwang4_12</author><pubDate>Sat, 20 Oct 2018 21:18:32 +0800</pubDate><description><![CDATA[1、全双工交互 --- 类比的是 人们之间的交谈过程一样

     在一般的问答系统里面，问一句答一句，或者使用多轮交互，全双工交互希望可以达到的效果是类似人与人之间打电话一样，

不仅仅是一问一答，可能是用户说多句话，然后机器人回答一下；甚至机器人可以主动提问来帮助交互



2、面向任务的对话系统 VS 面向过程的对话系统

面向任务的对话系统 --- 将用户的query进行意图识别，然后划...]]></description><category></category></item><item><title><![CDATA[天猫精灵对话系统分享 张增明 --- 学习笔记]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/83182706</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/83182706</guid><author>hwang4_12</author><pubDate>Fri, 19 Oct 2018 15:09:33 +0800</pubDate><description><![CDATA[1、领域内意图理解

下面是 双向的lstm + crf 架构

将 query 进行 框架式语义表示 （语义表达的方式） ，然后在 KB 里面进行查询，它是将领域的确定和意图理解在一个模型中实现的



 

 

2、模型迭代更新

线上模型 ---- 获得线上日志，在日志里面挖掘出bad cases， 加上人工标注，进一步学习；其中有些case可能是不好区分的，甚至人为都不是很好进行确定的，...]]></description><category></category></item><item><title><![CDATA[spring boot学习系列 --- 入门学习1]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82994304</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82994304</guid><author>hwang4_12</author><pubDate>Wed, 10 Oct 2018 11:21:38 +0800</pubDate><description><![CDATA[1、创建 maven project]]></description><category></category></item><item><title><![CDATA[spring mvc学习系列 --- 控制器学习 controller]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82961067</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82961067</guid><author>hwang4_12</author><pubDate>Sun, 07 Oct 2018 20:37:49 +0800</pubDate><description><![CDATA[spring mvc的官方学习GitHub

1、控制器，应用程序逻辑的处理入口，它会负责去调用你已经实现的一些服务。通常，一个控制器会接收并解析用户的请求，然后把它转换成一个模型交给视图，由视图渲染出页面最终呈现给用户。

@RequestMapping、@RequestParam、@ModelAttribute

Requestmapping 请求映射、RequestParam 请求参数、Mo...]]></description><category></category></item><item><title><![CDATA[springMVC学习系列 --- idea配置模块，以及使用Tomcat来进行运行]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82952237</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82952237</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 16:57:24 +0800</pubDate><description><![CDATA[1、Tomcat 详细教程， web工程目录结构



2、上述文件代码写好了之后，然后配置 Tomcat  ； run &amp;gt;&amp;gt; Edit Configurations &amp;gt;&amp;gt; 然后点击下述页面的 + ，来新建一个 Tomcat   

server， 后面就可以在操作面板上进行操作。首先在Server页面下，选取Tomcat的位置； 然后在 Deployment，进行配置；配...]]></description><category></category></item><item><title><![CDATA[spring 学习系列 --- 配置学习]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951190</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951190</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 15:10:19 +0800</pubDate><description><![CDATA[1、maven repository mvn仓库

管理各种依赖关系，例如，


&amp;lt;!-- https://mvnrepository.com/artifact/aspectj/aspectjrt --&amp;gt;
&amp;lt;dependency&amp;gt;
    &amp;lt;groupId&amp;gt;aspectj&amp;lt;/groupId&amp;gt;
    &amp;lt;artifactId&amp;gt;aspectj...]]></description><category></category></item><item><title><![CDATA[spring系列学习 ---  IOC学习]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951184</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951184</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 15:09:07 +0800</pubDate><description><![CDATA[1、定义类之后，在.xml文件中，进行类似对象化，然后使用 ApplicationContext 和 ClassPathXmlApplicationCotext这两个类来进行读取，构建、调用对象。

xmlns 类似指定一个命名空间一样


&amp;lt;beans xmlns=&quot;http://www.springframework.org/schema/beans&quot;
       xmlns:xsi=...]]></description><category></category></item><item><title><![CDATA[spring学习系列 --- AOP学习]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951177</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951177</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 15:08:07 +0800</pubDate><description><![CDATA[1、AOP是什么？ 面向切片编程

可以实现各种注释功能，在某个函数调用之前、运行以及调用之后，实现某些功能，并且可以访问该函数中的参数，以及打印出结果来。

使用的jar包主要是三个： AspectJ 

aopalliance.jar   

aspectjweaver-1.6.6.jar   

spring-aspects-4.0.6.RELEASE.jar

 

在bean.xml文件...]]></description><category></category></item><item><title><![CDATA[Spring系列学习 --- DAO学习]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951050</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951050</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 15:06:41 +0800</pubDate><description><![CDATA[1、DAO 处理数据的 ---   Data Access Object

The Data Access Object (DAO) support in Spring is aimed at making it easy to work with data access technologies like JDBC, Hibernate, JPA or JDO in a consistent w...]]></description><category></category></item><item><title><![CDATA[知识图谱学习系列-1 知识图谱概论]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951034</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951034</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 14:51:13 +0800</pubDate><description><![CDATA[1、知识图谱 2012年提出的概念

知识图谱的推理能力，可以是构建的规则 ---- 可以用在推荐、搜索以及智能问答和对话系统之类的

在数据稀疏、不平衡的时候，帮助补全、扩展，进行歧义消解。提供上下文关系

尤其在短文本的时候，可以用来进行知识的拓展、消歧

openkg.cn 开源的中文知识图谱

2、不同的目的，可以构建不同的知识图谱

购物 --- 兴趣图谱

搜索 --- 实体图谱

3...]]></description><category></category></item><item><title><![CDATA[数据库学习系列 --- MySQL系列 入门配置1]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951021</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951021</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 14:50:12 +0800</pubDate><description><![CDATA[1、MySQL 用户设置

这个会有 user passid host 之类   mysql -u username -p  password  访问用户，并且密码是 password  （我自己的密码是 passwd）

2、启动mysql


bash mysql.server start 

mysql -u root 登录 ;   quit 退出登陆

CREATE DATABASE me...]]></description><category></category></item><item><title><![CDATA[spring学习系列 --- 事务管理]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82951013</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82951013</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 14:48:47 +0800</pubDate><description><![CDATA[1、事务管理 ---- 主要是保证事务运行过程中，输入的数据不出现问题

在开发过程中，就是可能会出现程序运行中断，原因可能是程序bug，一块程序想实现一个完整的功能，要是无法全部完成，反倒是会造成错误，所以希望这块代码要么是执行完成，要么就是全部没有执行，即出现执行部分的情况，出现代码回滚。

事务是一系列的动作，它们综合在一起才是一个完整的工作单元，这些动作必须全部完成，如果有一个失败的话，那...]]></description><category></category></item><item><title><![CDATA[spring系列---junit测试]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/82950970</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/82950970</guid><author>hwang4_12</author><pubDate>Sat, 06 Oct 2018 14:44:27 +0800</pubDate><description><![CDATA[1、junit对应的jar包 

junit-4.12.jar 

2、使用junit报错，主要是版本的问题，高版本不包含有些功能

下载了最新的JUnit版本，是4.12，结果尝试使用发现总是报java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing这样的错误，

上网查了一下，一般的解决方案是，换一个低一点的版本就好了。还有人说，是...]]></description><category></category></item><item><title><![CDATA[CNN对句子分类（tensorflow）]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/62891484</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/62891484</guid><author>hwang4_12</author><pubDate>Fri, 17 Mar 2017 16:46:02 +0800</pubDate><description><![CDATA[这篇博客主要是对Convolutional Neural Network for Sentence Classification文章的相应的代码的解读，上面附属了，详细的介绍，帮助刚入门的人进一步来理解tensorflow在CNN对文本分类上的实现，也帮助大家进一步理解CNN]]></description><category></category></item><item><title><![CDATA[tensorflow 实现基本AutoEncoder，降噪自编码器]]></title><link>https://blog.youkuaiyun.com/hwang4_12/article/details/62890569</link><guid>https://blog.youkuaiyun.com/hwang4_12/article/details/62890569</guid><author>hwang4_12</author><pubDate>Fri, 17 Mar 2017 16:19:59 +0800</pubDate><description><![CDATA[这篇博客主要是自己看了一些关于自编码器的文章和阅读了tensorflow自己公布的源码，并在源码上附上一些注释，因为要完全理解一个算法或者结构，最直接的方式就是阅读相关的源码。]]></description><category></category></item></channel></rss>