jomoly的博客

您的进步和反馈是我写作最大的动力，小伙伴来个三连呗！话不多说，书接上文，需要温习的小伙伴请移步 -

吐槽一下，实际上两个框架的底层都是C++，而不是python，从后面的输出风格就看的出来。而在了解和迎合学术界和社区方面，脸书是职业本能，确实硬压了G家的直男们一头。但是事易时移，脸书家的PyTorch靠着python社区，在开发群体中变得更加流行。其实深度学习的框架，出品最早的是谷歌的TensorFlow，我也有在前面的文章中有提到过G家的开创性，感兴趣的可以移步去看下 -人工智能的基础是矩阵，是向量（也就是本文主题的Tensor），我们在前篇中有展示过AI的大脑的样子。该吃饭去了，未完，下一节继续哈~

呃，还漏了一点，激活函数ReLU（），这个是为了让我们的初始化和迭代过程更加平滑一点，避免0或者1产生一些诸如“死亡神经元”之类的算法缺陷（即当输入为负时，梯度为零，导致部分神经元停止更新。本例的输出是为了统计图像的类别，类别一共有10类，从0-T-shirt到9-踝靴，所以输出用10位来表达足够，这里采用了一种被成为one-hot编码的常用的数据表示方法，One-hot编码将分类数据表示为二进制（0和1）的格式，其中每个类别由一个唯一的二进制向量表示，该向量的长度等于类别的总数。每一层多少个神经元？

犹记得当年的控制与系统课，教授带着口音，讲的兴趣盎然，我却听得云里雾里，主要是不知道传递函数这玩意除了算弹簧摆还能干点啥（还没学模电）。）现在有4x16=64个格子，当我们设计某种算法，让格子里面的分数，代表对应格子对应走法的最大奖励，我们就获得了这样一个Q-table。深度学习，乃至目前的LLM，核心都是（矩阵化了的）神经元。因为脑容量很小，所以训练只需几秒完成，效果还不错，2000次的训练可以确保60%以上的通关率，20000次的训练就超过80%。答案是，一堆格子（本例是16行4列），如下图 -

首先想到的肯定是最短路径上的dijkstra（包括升级的双向dijkstra算法），为了计算从起点到图上任意点的最短距离，老爷子就每走到一个点（广度优先，总n个），就重新计算和更新一下到起点的最短距离，从而得到了这个非常优秀的，空间O(n)和时间O(n^2)的算法（时间复杂度还有优化空间）。还有压缩，还有搜索，感兴趣的小伙伴可以去brilliant看看，好消息是，不但有图示讲解，还有题可以刷，呃那个，比较友好的那种。类似这样的例子还可以举出很多，不过既然我们是撸代码的，那么多举几个相关的例子好了！

对于我们的 Q 网络，损失函数 𝐿可以定义为实际的 Q 值和预测的 Q 值之间的差异： 𝐿=1/2*∑(𝑠,𝑎,𝑠′,𝑟)∈𝐵 (𝑄(𝑠,𝑎)−(𝑟+𝛾max⁡𝑎′𝑄(𝑠′,𝑎′)))2。损失函数 𝐿衡量的是 Q 网络的预测与实际观察到的预期回报之间的差距。训练最常见的做法，就是表现的好奖励。所以我们关心的是，在一连串的决策中，如何能使累积的奖励最大。我们见招拆招，一边预测下一步怎么做，一边又根据反馈来的参数，对预测做出调整。通过刚才的一篇例子中的代码，相信已经非常直观的说明了求极值的GD梯度下降算法。

回到教程中，我们需要给AI程序（agent）准备大脑（Q网络，本例是3层的神经网络，用于储存，以及匹配输入和输出）以及策略（Q函数，这个函数用于给出在状态S下的动作A，并计算误差L以及预期回报R）。算法初始化时候，基本上是使用类似于醉汉”随机游走“的策略，笨的不要不要的，而用来化腐朽为神奇的策略的关键点，就是能够让误差L最小，并且最快收敛。在openAI以前，我们所讨论的“人工智能”基本上都是“人工智障”，即时在某些方面表现得非常出色，击败了世界冠军，但最多算个某领域的“专才”而不是“通才”。

先上图，上篇文章的运行结果，可以看到，算法在迭代了200来次左右达到人生巅峰，倒立摆金枪不倒，可以扛住连续200次操作。不幸的是，然后就出现了大幅度的回撤，每况愈下，在600次时候居然和100次的时候一个水平。前置条件是安装老黄家的Cuda，以及准备好python环境（cuda暂不支持python 3.12），安装好需要的库，需要的可以看我此前的博文。事实上，训练充满了随机性，也不乏非常漂亮的曲线，可以用来tree new bee，这也是AI领域很好水论文的体现吧。1）只能处理离散模型，数据量要求极高；

原文在此，喜欢读原汁原味的可以自行去跟，这是一个非常经典和有学习意义的例子，在此向老爷子们致敬 -开源文化好是好，但是“公地的悲哀”这点避不开，很多论文/教程的代码和环境配置，是存在问题的，有些源于依赖库的变迁（上梁不正，python语言自己都不承诺版本向下兼容），有些是以讹传讹，里外里浪费大家的很多时间。当然，其实也是提醒大家多个心眼，不要只看文章如何 tree new bee，拿到代码先在环境中跑一跑，心里有数了再引用或者转载。第一个问题是，为啥要学习强化学习？

既然有了免费的linux系统+GPU，干脆演示一下使用drive+colab套件来训练模型。如果你要训练模型，记得选GPU，默认是CPU ，两者的速度完全不可同日而语。为了保持连接避免断线，请记得在浏览器的console（F12）输入 -现在测试一下环境吧 =

6/（嘿哥们，我真的没看见坑......）并没有分析过函数的参数的可用性，缺少参数还算好的，如果是参数填反了或者似是而非，后面要花更多的时间来debug。比如，应该使用mp3_decoder_init的地方，使用audio_element_init，导致core_dump；比如，无法分清idf和adf框架的区别，倾向使用idf的事件库和处理机制；所以，仅以个人浅见，ai辅助学习，快速定位文档中的核心问题是很有帮助的。比如，以下处理只是说，该有输入了，至于输入是啥从哪里来，你要自己替换。

你好，我想要生成一个基督山伯爵 主角 埃德蒙唐泰斯的肖像画，并为之思考关键词，请以一个资深文学评论家，资深影评家的身份，帮我进行以下几个步骤 - part-1/ 罗列出所有唐泰斯的外貌的法文描述，并翻译成英文；之前就听说GPT-4是在GPT-3的基础上，用muiti-agent的办法交互训练的，那么一个显然的推理就是，假如在提示词使用的过程中，合理的分段part_1 - part_n，通过持续优化每一part的办法，来提升整体的回答质量，是阳光大道。如封面图，居然馅里面还有蜡烛，我无语。

人物形象单薄，背景不够丰富，修改多次提词也没有明显改观，反倒是直接用电影剧照做范本，做出来的更有气质一些，但是这跟依文生图的初衷就相去甚远了。没有用过midjourney，所以不发表评论，从看到的例子来说对于专业选手更适配，不过对于玩票或者白嫖党，dall-e足够了。当然，后者生成的顺拐了，但是总比手部残疾的加跟手指头要好，页面元素更丰富，和龙年节后硬件工程师返工的工作台这样的主题也更相宜。当时就很开心，因为一直想着把一些文案图像化，做成漫画的形式，或者个人想要diy一些小游戏时候，美工就不用那么凑合了。