JasonSparrow_1的博客

原创 Unity Shader入门精要(第三，四章)

Unity Shader 概述 Shader类型： Standard Surface Shader：标准光照Shader Unlit Shader：不包含光照 Image Effect Shader：实现屏幕后处理基本模板 Compute Shader：利用并行性进行一些物馆计算 ShaderLab： ...

原创 Construction and Evaluation of Chinese Emotion Classification Model

目录AbstractIntroductionEmotion Word ClassifyingDatabase ConstructionDatabase StructureEmotion Classification ModelLexical Analysis(词法分析)Syntax Analysis(语法分析) Abstract 利用我们所构建的情感同义词典来获取情感信息的半自动获取技术 情绪同...

原创 汉语普通话情感言语的声学分析

Abstract 愤怒、恐惧、喜悦和悲伤情绪的声音表达与中性言语的关系 针对汉语语音信号中带有情绪唤起的词重音进行研究 Introduction 汉语愤怒、恐惧、喜悦和悲伤的声学实现有两个维度，即语音和韵律 首先分析了声学特征，包括持续时间、短时振幅和音高，不仅在句子层面，而且在单词层面。第二，将检验两个水平之间的比较结果。第三，我们分析了普通话情感话语中的重音。 Emotional sp...

原创 Unity Shader入门精要(第二章)

渲染流程： 应用阶段(Application Stage) 准备好场景数据，摄像机位置等 粗粒度剔除，把不可见的物体剔除出去 设置渲染状态，材质，纹理，shader等 最重要的是输出渲染图元(点，线，三角面等)，给几何阶段 几何阶段(Geometry Stage) 把顶点坐标变换到屏幕空间中，输出屏幕空间的二维顶点坐标、每个顶点对应的深度值、着色等 光栅化阶段(Rasterizer Sta...

原创 脑机交互促进学习有效发生的路径及实验研究

研究问题 开发了基于脑机交互技术的注意力监控与促进系统 “整体型”：结构化信息 “序列型”：偏向遵循一个精心设计的序列 系统工作原理 如果学生的注意力下降到某一个设定的阈值(40)，学习系统将自动暂停学习视频的播放， 同时启动注意力提升系统并向学生提问， 这些问题都是已经播放的视频中的相关内容。如果学生回答正确，视频则能继续播放，进入下一阶段的学习；如果学生未能正确回答问题，视频将会自动倒退5秒（...

原创 虚拟现实和脑电波反馈系统对于创造力表现影响的实证研究

研究的问题： 虚拟现实是否有助于个体创造力表现？主要体现在哪些方面？ 什么样的脑波序列与个人创造力表现紧密相关？ 在虚拟现实环境中，基于脑电波的声音反馈是否有助于个人创造力表现？ ...

原创 Personalized Estimation of Engagement from Videos Using Deep Reinforcement Learning

Introduction 能够准确的识别用户的参与状态能很好的使一些系统能够在恰当的时间提供必要的交互来完成交互的任务。 参与评估的一个基本挑战是人们如何激发参与以及如何在计算参与模型中表示参与。 传统的方法使用非语言的参与线索，如注视模式、身体姿势、韵律、面部表情、空间关系和任务上下文行为。 因为个体与个体之间的差异性较大，所以造成训练集训练出来的模型利用测试集进行测试的结果效果很差。 然而，...

原创 A fuzzy physiological approach for continuously modeling emotion during interaction with play game

Introduction 传统的针对productivity environments(task表现)的度量手段不能很好的适应目前的affective environments，因为我们现在考虑的不是performance，而是通过现在的游戏环境，能够带给我们什么样的情绪。 Affective evaluation of entertainment technologies 传统的评估情绪的方法...

原创 Learning Latent Dynamics for Planning from Pixels

Abstract The Deep Planning Network (PlaNet), a purely model-based agent that learns the environment dynamics from images and chooses actions through fast online planning in latent space. PlaNet一个纯的mo...

原创 Human-level performance in 3D multiplayer games with population based reinforcement learning

Background Played on both indoor- and outdoor-themed maps that are randomly generated for each game. The team with the greatest number of flag captures after five minutes wins. Agents can tag opponen...

原创 Learning From Video DRL &&OpenAI Five

Overcoming sparse rewards in Deep RL: Curiosity, hindsight & auxiliary tasks Sparse rewards 比较离散的reward signal，也就是说，在玩儿一些特定游戏的时候无法确定是否通过一个reward就能明确判断结果的输赢。也就是说需要连续的决策动作序列才能到达成功的情况。如下图所示： Reinfor...

原创 CS294-第二讲 监督学习和模仿学习

监督学习和模仿学习

原创 Reinforcement Learning易忘知识点总结

value function 常用的公式： 表示可以对未来的期望打出一定的折扣，着重考虑一些固定的reward。 当γ\gammaγ的值为0时为只考虑立即不考虑长期；当值为1时立即和长期考虑同等重要。 状态值函数(state value function)和动作值函数(action value function Q函数)是不同的 ...

原创 Planning by Dynamic Programming

…

原创 强化学习ActorCritic

ActorCritic Actor负责进行动作的奖惩，而Critic将对奖惩进行评估，从而对下一步的奖惩做出影响 Actor的算法基础是PolicyGradients，Critic的算法基础是Q-learning Actor只能回合更新，而Critic部分可以单步更新 缺点就是空间的连续性，从而导致神经网络学不到东西，相关性比较强 为了解决这种问题，DeepMind将ActorCritic和DQN...

原创 强化学习PolicyGradients

Policy Gradients 通过奖惩机制reward，来对选择进行反向传递，从而确定是否需要进行加大，或者减小选择的力度

原创 强化学习DQN

DQN 针对Q-learning做出改进。原Q-learning的算法不能支持较大的Q表的查询和遍历，而DQN则直接将状态和动作当作神经网络的输入值，在分析后得到Q值；或者只输入状态值，输出动作值，从而根据Q-learning的原则进行动作的选择。 针对第二种进行分析，如何更新NN中的参数 两个让DQN能够更好的学习的方法 Experience replay 随机抽取经历进行学习，从而打乱...

原创 Tensorflow(二)

Optimizer Stochastic Gradient Descent (SGD) 基础方法，是mini batch中的一种，加了随机 Momentum W+=−LearningRate∗dxW+=-LearningRate *dxW+=−LearningRate∗dx 即原始的WWW加上一个负的学习效率乘上一个矫正值dxdxdx 数学公式如下： 一定程度上保留之前更新的方向(像一个醉汉，随...

原创 Tensorflow(一)

…

原创 强化学习Sarsa

Sarsa 算法如下： 相比Q-learning而言，Sarsa会比较胆小，不希望自己掉进陷阱里，从而做出的决策都比较谨慎；而Q-learning会选择一条虽然比较危险但是可以成功的道路 # off-policy class QLearningTable(RL): def __init__(self, actions, learning_rate=0.01, reward_decay=0...

原创 强化学习Q-learning

强化学习方法汇总 分类方法 一 不理解环境(Model-free RL): 没有任何先验感受，只是在不断地尝试中进行反馈理解 Q-learning Sarsa Policy Gradients 理解环境(Model-based RL): 建立模型模拟现实世界的反馈，从而对虚拟世界进行反馈 和Model-free的有相似之处，只不过是多了一个建模 根据想象来预判实际情况，从而根据最好的情况来选...

原创 吴恩达机器学习(八)

随机梯度下降 由于数据量的规模比较大，所以普通的梯度下降的计算量比较大 批量梯度算法(Batch gradient descent)与随机梯度算法的比较： 首先的一步是将数据进行随机打乱，保证数据之间没有关联 因为随机梯度算法不需要将所有的平方项进行求和，所以比批量梯度算法更具有计算性 实际上就是使用的cost函数不同，导致每次迭代更新的时候速度比较快，迅速求得最优的θ\thetaθ值 得到最...

原创 吴恩达机器学习(七)

推荐系统 基于内容的推荐算法

原创 吴恩达机器学习(六)

异常检测 问题动机 以飞机发动机的例子来说明问题 设定一个阈值，如果偏离程度过大，则认定为有异常 步骤： 捕捉特征x(i)x^{(i)}x(i) 建立分布模型p(x)p(x)p(x) 确定哪些用户有异常，若p(x)<epsilonp(x)<epsilonp(x)<epsilon ...

原创 SpinningUp Introduction to RL(一)

Key Concepts in RL what can RL do 模拟计算机控制机器人完成指令 完成复杂的策略游戏 Key Concepts and Terminology 略，已学习 Kinds of RL Algorithms A Taxonomy of RL Algorithms(分类) 介绍最基本的设计选择在如何和怎样学习方面(基于RL) 揭露这其中的权衡 加入著名的现代算法进...

原创 SpinningUp Running Experiments

Experiment outputs

原创 GameAI 其他(二)

实现健壮的第三人称摄像机系统 理解摄像机工作原理 2D和3D显示特性 2D调试显示简单地输出文本至屏幕 3D调试显示使用有颜色地代码和图元组合将信息以图形化方式绘制于屏幕中 管理多个摄像机 视角管理器 摄像机竞争 过渡 输入变换 离散变化情况比较难以处理 配置 所有可能变化地元素都应该以设置选项的方式开放配置 数据驱动的方法 激活规则 优先级 对象参考：多种不同类型的对象用作摄像机的参考点 ...

原创 GameAI 其他(一)

一种富角色的社交模拟架构 CiF与Prom Week CiF的几种特性： 多角色社交互动的表示与特定角色无关 角色要做什么以及他们要与谁一起做这件事取决于一些软决策 社交互动不仅影响个别角色，还会对大量角色造成级联影响 情节记忆会保存每个角色的表现细节 CiF架构 主要的知识表征元素是社交互动 角色 trait是角色的固有属性：顽固，聪明 status是由社交互动导致的临时的、方向性的二元社...

原创 GameAI 竞速(二)

用于赛车游戏AI的热视觉系统：一种确定最优路径位置的新颖方法 解决超车时的多车超越而无需超一辆后回归原赛道 热视觉系统 通过“热线”和“热度”的方式，一旦所有赛车都写进了热线，就控制车辆从当前位置移动到较低热度的位置 写热线 只挑选可能影响到目标车辆的车辆 运行简单检测，确定被观察车辆的细节 根据检测结果来写车辆热线 位置特性：写上高热度值 阻挡特性：删除这个位置的热度值 领头特性：根据领头锥...

原创 GameAI 竞速(一)

利用PID控制器实现的赛车控制系统 控制论基础：装置和控制器 开环控制和闭环控制：闭环控制会将装置输出端的测量结果反馈给控制器的输入端 介绍PID控制器 比例控制：得到误差为稳态误差 积分控制：控制降低稳态误差 微分控制：基于误差生成一个输入 实现PID控制器 限制和充值积分误差 如果有常量误差，则不可避免要不断累积误差 最大化历史误差 小的时间常量需要大量的帧来回顾，大的时间常量则需要少...

原创 GameAI agent意识和知识表征

第一部分 第二部分 第三部分 第四部分

原创 GameAI 战略与战术

第一部分 第二部分

原创 GameAI 运动与寻路

第一部分 第二部分 第三部分 第四部分

原创 GameAI 体系架构(二)

第一部分 第二部分

原创 GameAI 体系架构(一)

第一部分 第二部分 第三部分

原创 GameAI 通用人工智能

原创 Markov Decision Processes

原创 Introduction to Reinforcement Learning

原创 吴恩达机器学习(五)

第一部分： 第二部分：

原创 吴恩达机器学习(四)

第一部分： 第二部分： 第三部分：