<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[上善若水]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u013181595</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u013181595]]></copyright><item><title><![CDATA[Hadoop 各组件介绍]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/115347262</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/115347262</guid><author>u013181595</author><pubDate>Wed, 31 Mar 2021 12:04:46 +0800</pubDate><description><![CDATA[转自https://www.cnblogs.com/klb561/p/9085615.html



Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

具有可靠、高效、可伸缩的特点。

Hadoop的核心是YARN,HDFS和Mapreduce

下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark

都能部署在ya..]]></description><category></category></item><item><title><![CDATA[Tensorflow 多 GPU 训练]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/105256571</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/105256571</guid><author>u013181595</author><pubDate>Wed, 01 Apr 2020 21:58:24 +0800</pubDate><description><![CDATA[介绍
TensorFlow中的并行主要分为模型并行和数据并行。 模型并行需要根据不同模型设计不同的并行方式， 其主要原理是将模型中不同计算节点放在不同硬件资源上运算。 比较通用的且能简便地实现大规模并行的方式是数据并行， 其思路我们在第1章讲解过， 是同时使用多个硬件资源来计算不同batch的数据的梯度， 然后汇总梯度进行全局的参数更新。
数据并行又分为同步和异步，同步训练是指等所有GPU得到梯度...]]></description><category></category></item><item><title><![CDATA[TensorBoard的使用]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/105255457</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/105255457</guid><author>u013181595</author><pubDate>Wed, 01 Apr 2020 21:01:22 +0800</pubDate><description><![CDATA[介绍
使用 Tensorboard 是TF 的可视化工具，它通过对Tensoflow程序运行过程中输出的日志文件进行可视化Tensorflow程序的运行状态。

使用流程
例程

请问 Markdwon 怎么用？ - 小德国对法国地方方式

背景高亮发大水发

...]]></description><category></category></item><item><title><![CDATA[TensorFlow2学习：RNN生成古诗词]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/105079388</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/105079388</guid><author>u013181595</author><pubDate>Fri, 27 Mar 2020 15:32:17 +0800</pubDate><description><![CDATA[本文转自 AI科技大本营 TensorFlow2学习：RNN生成古诗词
文章不见了可以参考这位博主的文章
公众号的文章写得挺好的，这里简单介绍下思路及值得学习的地方
模型简介
模型不算多么复杂高大上，但是五张俱全，所有文本生成过程都考虑到了，大概流程如下：

数据预处理，去除非法字符，比如“（）”，“《》” 啥的，提取诗歌内容，跳过长度大于 MAX_LEN （64）的诗歌。统计诗歌出现的字，滤除词...]]></description><category></category></item><item><title><![CDATA[LSTM-英文生成]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/105075839</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/105075839</guid><author>u013181595</author><pubDate>Wed, 25 Mar 2020 12:03:03 +0800</pubDate><description><![CDATA[英文生成模型简介
英文文本的生成方法可以基于字符的粒度，也可以基于词汇的粒度，顾名思义，前者根据历史的字符预测出下一个字符，后者测根据词汇预测出下一个词汇。值得注意的是字符是有限的，单词是无线的，基于词汇粒度生成文本时，输入的数据肯定不能是词汇的onehot向量，最好是词嵌入向量。这里介绍基于字符粒度生成英文文本。

模型结构如上所示，语言模型根据初始文本预测下一个字符的分布，通过采样策略对下一个...]]></description><category></category></item><item><title><![CDATA[Keras-一维卷积及模型优化方法]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/104583713</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/104583713</guid><author>u013181595</author><pubDate>Sun, 01 Mar 2020 01:14:29 +0800</pubDate><description><![CDATA[深度学习模型优化
深度学习在模型训练过程中有许多优化方法，比如：

批标准化。批标准化层一般添加在激活函数之前，通过标准化的方法使得输出的数据均值为0，方差为1。但是批标准化增加了反标准化操作，通过缩放和平移更有利于模型寻找最优解。参考链接
批再标准化。有学者提出批再标准化的想法，它使用特殊的激活函数(selu)和初始化函数(lecun_normal)，能够让数据警告任何Dense层之后保持数据标...]]></description><category></category></item><item><title><![CDATA[IMDB情感分类]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/104470552</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/104470552</guid><author>u013181595</author><pubDate>Sat, 29 Feb 2020 21:52:12 +0800</pubDate><description><![CDATA[模型
参数量
准确率




NN
130W
0.8336


RNN
50W
0.8307


LSTM
32W
0.8638


BiLSTM
52W
0.8673



]]></description><category></category></item><item><title><![CDATA[文本生成样例解读]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/104362142</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/104362142</guid><author>u013181595</author><pubDate>Mon, 17 Feb 2020 20:30:27 +0800</pubDate><description><![CDATA[功能介绍
文本生成模型是NLP中基础的语言模型，它的任务是在给定的Word Sequence下输出下一个Word的分布。以下对Tensorflow例程代码进行解读，代码地址为源代码地址
数据预处理
训练数据集来源于Penn Tree Bank数据集。数据预处理代码为reader.py文件，预处理流程如下：


读取文件


分割预料成训练集、验证集、测试集


字母小写


数字用 “N” 替换，...]]></description><category></category></item><item><title><![CDATA[PX4-编译错误]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/101599260</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/101599260</guid><author>u013181595</author><pubDate>Sat, 28 Sep 2019 10:15:05 +0800</pubDate><description><![CDATA[子模块不一致问题

PX4不同版本使用不同版本的子模块，在切换分子的时候如果子模块没有对应更改会出现，子模块不一致问题。如下所示

*******************************************************************************
*  IF YOU DID NOT CHANGE THIS FILE (OR YOU DON'T KN...]]></description><category></category></item><item><title><![CDATA[PX4-小型固定翼滑跑起飞问题分析]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/101528523</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/101528523</guid><author>u013181595</author><pubDate>Fri, 27 Sep 2019 13:18:30 +0800</pubDate><description><![CDATA[自动起飞过程中经常出现往一边偏的问题，无法很好的到达takeoff点。

参考代码：
src/modules/fw_pos_control_l1/FixedwingPostionControl.cpp 中 control_takeoff 函数
结合航点到达判定函数
src/modules/navigator/mission_block.cpp
可能还需要结合自动起飞代码
src/modules/f...]]></description><category></category></item><item><title><![CDATA[PX4-航点到达判定代码分析]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/101397202</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/101397202</guid><author>u013181595</author><pubDate>Wed, 25 Sep 2019 23:57:58 +0800</pubDate><description><![CDATA[这里主要分析源代码https://github.com/PX4/Firmware/blob/master/src/modules/navigator/mission_block.cpp

里面的is_mission_item_reached 判断航点是否到达的代码，代码分析如下：

航点到达判断

当飞行器的高度误差小于爬升高度误差时进入航点飞行模式

航点到达判断流程如下所示：

1、如果为特殊...]]></description><category></category></item><item><title><![CDATA[Keras-例程学习]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/101322653</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/101322653</guid><author>u013181595</author><pubDate>Wed, 25 Sep 2019 00:37:27 +0800</pubDate><description><![CDATA[代码来自https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py

这是一个 IMDB 电影评论情感分类的任务：采用词序列的LSTM来对评论语句做情感分类

IMDB 的数据集介绍见：https://blog.youkuaiyun.com/ltochange/article/details/78355753


from __f...]]></description><category></category></item><item><title><![CDATA[LSTM理解及代码Demo]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100940057</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100940057</guid><author>u013181595</author><pubDate>Wed, 18 Sep 2019 23:41:00 +0800</pubDate><description><![CDATA[LSTM原理
关于LSTM的原理很多大神的博客都介绍的非常详细了，这里简要的介绍一下，参考的博客和链接见文末。
RNN 在实际的应用中最主要的问题就是不能很好的捕捉到远程依赖，这是由它本身的性质决定的，尽管误差可以往后传播，但是由于梯度消失，很难调整前面的神经网络层。
而LSTM最主要的思想在于引入了遗忘门和更新门和输出门的思想，遗忘门表示对未来信息的丢失权重，更新门表示对当前信息的更新权重。
遗...]]></description><category></category></item><item><title><![CDATA[DeepLearning AI-序列模型-第二周]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100919305</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100919305</guid><author>u013181595</author><pubDate>Tue, 17 Sep 2019 16:31:30 +0800</pubDate><description><![CDATA[自然语言处理及词嵌入
词汇表示
之前都是采用词汇表来表示词汇，把词汇表示成一个one-hot向量。比如 man 在词汇表中的第5391位，那么one-hot向量的5391位置为1，其它位置为0。
它的缺点就是：

每个词孤立起来，没有相关性，相关性的泛化能力很弱，因为它们的内积都是 0
维度太大了，一个词汇表比如有 10000，那么one-hot的维度就是1000维，非常庞大，并且稀疏，不利于模型...]]></description><category></category></item><item><title><![CDATA[DeepLearning AI-序列模型-第一周]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100881176</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100881176</guid><author>u013181595</author><pubDate>Tue, 17 Sep 2019 00:07:15 +0800</pubDate><description><![CDATA[为什么要序列模型
语音识别
输入是声音，输出文字
音乐生成
输入是空或者首个音符，输出一首音乐音符
情感打分
输入一段评论，输出是星级
机器翻译
输出一种语言的文字，输出另一种语言的文字
动作识别
输入连续的多帧图片，识别这段动作
符号表示
比如，目前有一个命名体识别的任务，需要识别从出人名、地名、公司名、时间、地点等等。比如下面的例子。

例子中，输入是一句话，输出是这句话的标识，用1来表示这个...]]></description><category></category></item><item><title><![CDATA[微信自动聊天脚本]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100876658</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100876658</guid><author>u013181595</author><pubDate>Mon, 16 Sep 2019 08:57:53 +0800</pubDate><description><![CDATA[微信自动聊天脚本
import re
import time

import itchat
from itchat.content import *


#单人聊天（文本）
@itchat.msg_register(itchat.content.TEXT)
def tuling_reply(msg):
    reply = r'1'
    #自动回复的昵称
    replay_friend ...]]></description><category></category></item><item><title><![CDATA[CS224n-课时1-NLP和深度学习入门]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100661022</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100661022</guid><author>u013181595</author><pubDate>Mon, 09 Sep 2019 16:26:35 +0800</pubDate><description><![CDATA[课程链接https://study.163.com/course/courseLearn.htm?courseId=1006416006#/learn/video?lessonId=1054015262&amp;courseId=1006416006
NLP应用

语言问答
机器翻译
智能搜索(同义词替换，拼写检查，sql生成)

人类语言的特殊性
人类语言并不是海量的信息，它需要传递指定的信息，...]]></description><category></category></item><item><title><![CDATA[优快云-markdown编辑器]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100660060</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100660060</guid><author>u013181595</author><pubDate>Mon, 09 Sep 2019 13:54:20 +0800</pubDate><description><![CDATA[这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Ma...]]></description><category></category></item><item><title><![CDATA[Estimator的使用]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/100318103</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/100318103</guid><author>u013181595</author><pubDate>Mon, 02 Sep 2019 16:56:02 +0800</pubDate><description><![CDATA[全文以一个简单的例子介绍Estimator的使用，具体的代码和数据参见https://www.jianshu.com/p/5495f87107e7

下文对源代码做了注释上的增加


import tensorflow as tf

#自定义模型函数
'''
模型函数包括训练模型、预测模型、测试模型
通过不同的属性，可以得到的模型结果
测试结果中的predictions是对输出结果的定义
'''
...]]></description><category></category></item><item><title><![CDATA[PX4使用WIFI模块]]></title><link>https://blog.youkuaiyun.com/u013181595/article/details/90313964</link><guid>https://blog.youkuaiyun.com/u013181595/article/details/90313964</guid><author>u013181595</author><pubDate>Sat, 18 May 2019 14:19:21 +0800</pubDate><description><![CDATA[PX4支持WIFI模块作为数传工具，官网上也提供了教程，但是不注意细节也很容易失败。以下是我的经验以及教训。

配置环境

飞控：pixhawk v2，烧录PX4 v1.8.2的固件

地面站：QGC 3.5.2

wifi模块：市面上最常见的8针ESP8266模块

操作系统：Win 10

参考资料

[1]https://docs.px4.io/master/en/telemetry/es...]]></description><category></category></item></channel></rss>