<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lusing的专栏]]></title><description><![CDATA[Android爱好者，C++爱好者，汇编爱好者，数学爱好者]]></description><link>https://blog.youkuaiyun.com/lusing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lusing]]></copyright><item><title><![CDATA[面向程序员的Lean 4教程(5) - 从三段论说起]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/145542753</link><guid>https://blog.youkuaiyun.com/lusing/article/details/145542753</guid><author>lusing</author><pubDate>Mon, 10 Feb 2025 09:39:10 +0800</pubDate><description><![CDATA[这一节我们复习一下离散数学中的命题逻辑。如果读者大大没有学过命题逻辑也不要紧，我们从更简单的三段论说起。我们可以用Lean4来证明，theorem用来定义定理，intro用来引入前提，apply用来应用前提。我们可以理解为Prop是命题，A → B 是命题A推出命题B。]]></description><category></category></item><item><title><![CDATA[面向程序员的Lean 4教程(4) - 结构体]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/145465104</link><guid>https://blog.youkuaiyun.com/lusing/article/details/145465104</guid><author>lusing</author><pubDate>Thu, 06 Feb 2025 05:09:11 +0800</pubDate><description><![CDATA[结构体也是程序员们的老朋友了，它的作用是定义一个数据类型，并给这个数据类型定义一些字段。]]></description><category></category></item><item><title><![CDATA[面向程序员的Lean 4教程(3) - 类型是一等公民]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/145447442</link><guid>https://blog.youkuaiyun.com/lusing/article/details/145447442</guid><author>lusing</author><pubDate>Wed, 05 Feb 2025 07:28:51 +0800</pubDate><description><![CDATA[有了前面像传统编程语言一样使用Lean 4的经验后，我们引入一点Lean 4中与传统语言不太一样的东西：类型。比如，在Lean 4中，类型如Bool, Nat, Int本身也是一级对象，可以绑定到变量中，它们的类型是Type.]]></description><category></category></item><item><title><![CDATA[面向程序员的Lean 4教程(2) - 数组和列表]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/145359331</link><guid>https://blog.youkuaiyun.com/lusing/article/details/145359331</guid><author>lusing</author><pubDate>Sat, 25 Jan 2025 21:37:50 +0800</pubDate><description><![CDATA[上一节我们介绍了Lean4的基本语法，因为大部分程序员都有一定的编程基础，所以并没有介绍过细。这一节我们介绍Lean4中的线性表结构：数组和列表，顺带复习一下上一节的流程控制等内容。]]></description><category></category></item><item><title><![CDATA[面向程序员的Lean4教程(1) - 像传统编程语言一样使用Lean]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/145348028</link><guid>https://blog.youkuaiyun.com/lusing/article/details/145348028</guid><author>lusing</author><pubDate>Fri, 24 Jan 2025 23:46:50 +0800</pubDate><description><![CDATA[如何像普通编程语言一样使用lean4来编程]]></description><category></category></item><item><title><![CDATA[UserWarning: Glyph 39640 missing from current font问题]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/135983107</link><guid>https://blog.youkuaiyun.com/lusing/article/details/135983107</guid><author>lusing</author><pubDate>Thu, 01 Feb 2024 22:19:32 +0800</pubDate><description><![CDATA[是因为不支持中文字体导致的，设置为一个支持中文的字体就行了。另外，上面的改动会引起负号显示为方块，需要额外再加一条设置。]]></description><category></category></item><item><title><![CDATA[PMP的智慧(2) - 系统性思考及复杂性]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/133968200</link><guid>https://blog.youkuaiyun.com/lusing/article/details/133968200</guid><author>lusing</author><pubDate>Sun, 22 Oct 2023 00:08:09 +0800</pubDate><description><![CDATA[在2021年推出的第七版《管理专业知识体系指南》中，PMI在传统的过程和ITTO的基础上，重新增加了12大项目管理原则。我们可以看到，干系人，质量，风险这三项原封不动从管理过程变成了管理原则。管家式管理、价值、团队、领导力这三种可以对应为整合管理、资源管理、沟通管理等内容。裁剪是第6版引入的概念，第7版中被提升为原则。系统思考、复杂性、适应性和韧性、变革这四项是第7版中比较新的内容。下面我们就来重点看看这些新增的原则。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(27) - CUDA的汇编语言PTX与SASS]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/132955795</link><guid>https://blog.youkuaiyun.com/lusing/article/details/132955795</guid><author>lusing</author><pubDate>Sun, 17 Sep 2023 22:11:29 +0800</pubDate><description><![CDATA[通过前面的学习，我们了解了在深度学习和大模型中，GPU的广泛应用。可以说，不用说没有GPU，就算是没有大显存和足够先进的架构，也没法开发大模型。有的同学表示GPU很神秘，不知道它是怎么工作的。其实，GPU的工作原理和CPU是一样的，都是通过指令来控制硬件的。只不过，GPU的指令集和CPU不一样。下面我们就走进GPU的内部，看看如何用汇编来写GPU的程序。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(26) - 在自己电脑上运行通义千问7b模型]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/132644209</link><guid>https://blog.youkuaiyun.com/lusing/article/details/132644209</guid><author>lusing</author><pubDate>Sat, 02 Sep 2023 23:40:40 +0800</pubDate><description><![CDATA[通过量化，通义千问4位量化的模型大小为5.86G，可以在3060等小于16G的家用GPU上也可以运行起来。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(25) - 通义千问7b]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/132221134</link><guid>https://blog.youkuaiyun.com/lusing/article/details/132221134</guid><author>lusing</author><pubDate>Thu, 10 Aug 2023 23:24:25 +0800</pubDate><description><![CDATA[最近发生的两件事情都比较有意思，一个是连续开源了7b和13b模型的百川，对其53b闭源了；另一个是闭源项目通义千问开源了自己的7b模型。下面我们就来研究下通义千问7b.]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(23) - ChatGLM2]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/132053048</link><guid>https://blog.youkuaiyun.com/lusing/article/details/132053048</guid><author>lusing</author><pubDate>Tue, 01 Aug 2023 23:50:14 +0800</pubDate><description><![CDATA[在《在你的电脑上运行大模型》这一节，我们曾经介绍过ChatGLM模型，它是当时最好的中文大模型之一。现在，它又更新到了第二代，即ChatGLM2。当时，我们的技术储备还不足，只能让它运行起来，还不敢讲解它的原理和代码。现在，经过LLaMA 2和百川的代码的狂轰滥炸，大家已经适应了看代码的节奏了。现在，是时候来看看ChatGLM2的原理和代码了。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/132032965</link><guid>https://blog.youkuaiyun.com/lusing/article/details/132032965</guid><author>lusing</author><pubDate>Mon, 31 Jul 2023 23:47:37 +0800</pubDate><description><![CDATA[在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(22) - 百川大模型13B的运行及量化]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131998579</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131998579</guid><author>lusing</author><pubDate>Sat, 29 Jul 2023 18:45:31 +0800</pubDate><description><![CDATA[不知道上一讲的大段代码大家看晕了没有。但是如果你仔细看了会发现，其实代码还是不全的。比如分词器我们就没讲。另外，13B比7B的改进点也没有讲。再有，对于13B需要多少显存我们也没说。13B光是模型加载就需要26GB的显存，加上推理需要的消i耗，没有个28GB以上的显存是比较悬的。恰好24GB的3090和4090单卡不够用。我们先从应用讲起。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(21) - 百川大模型]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131989509</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131989509</guid><author>lusing</author><pubDate>Fri, 28 Jul 2023 23:42:20 +0800</pubDate><description><![CDATA[前面我们用了三节的篇幅介绍了目前最强大的开源模型LLaMA2。这一节我们说一说国产大模型的一个代表，百川大模型。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(20) - LLaMA 2模型解析]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131948963</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131948963</guid><author>lusing</author><pubDate>Wed, 26 Jul 2023 22:20:53 +0800</pubDate><description><![CDATA[上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。这一部分需要一些深度神经网络的基础知识，不懂的话不用着急，后面的文章我们都会介绍到。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(19) - LLaMA 2源码解析]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131928672</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131928672</guid><author>lusing</author><pubDate>Tue, 25 Jul 2023 23:53:32 +0800</pubDate><description><![CDATA[上一节我们学习了LLaMA 2的补全和聊天两种API的使用方法。本节我们来看看LLaMA 2的源码。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(18) - 将LLaMA2跑起来]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131874444</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131874444</guid><author>lusing</author><pubDate>Sat, 22 Jul 2023 23:53:13 +0800</pubDate><description><![CDATA[之前我们说到过，在GPT 3之后，大模型就很少有开源的了。其中，最为典型的开源支持者就是Meta公司的研究团队。年初他们发布的LLaMA基本上是各家开源模型的主要参考对象。不过，LLaMA是不能商用的。7月18日，Meta开放了LLaMA 2模型，并且同时开放了生成版本和聊天版本，包括7b,13b和70b三种规格的大模型。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(17) - 深度学习的硬件加速技术]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131313050</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131313050</guid><author>lusing</author><pubDate>Tue, 20 Jun 2023 18:23:06 +0800</pubDate><description><![CDATA[除了使用CPU，GPU这样的通用器件之外，采用专用的硬件来进行加速是一个大家都能想到的选择。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(16) - JAX和TPU加速]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131113520</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131113520</guid><author>lusing</author><pubDate>Thu, 08 Jun 2023 18:19:13 +0800</pubDate><description><![CDATA[上一节我们介绍了ChatGPT的核心算法之一的人类指示的强化学习的原理。我知道大家都没看懂，因为需要的知识储备有点多。不过没关系，大模型也不是一天能够训练出来的，也不可能一天就对齐。我们有充足的时间把基础知识先打好。上一节的强化学习部分没有展开讲的原因是担心大家对于数学知识都快忘光了，而且数学课上学的东西也没有学习编程。这一节我们来引入两个基础工具，一个可以说是各个Python深度学习框架必然绕不过去的NumPy库，另一个是Google开发的可以认为是GPU和TPU版的NumPy库JAX。]]></description><category></category></item><item><title><![CDATA[2023年的深度学习入门指南(15) - 大模型的幻觉]]></title><link>https://blog.youkuaiyun.com/lusing/article/details/131094251</link><guid>https://blog.youkuaiyun.com/lusing/article/details/131094251</guid><author>lusing</author><pubDate>Wed, 07 Jun 2023 19:13:45 +0800</pubDate><description><![CDATA[从产生的原因上来讲，幻觉的引入主要有数据原因和模型训练和推理的原因。数据方面，我们前面讲了缩放定律，大模型需要大数据，如果数据不够，那么投入更多的计算资源并不会取得更好的效果。但是，当数据越来越多时，手动去检查数据的重复就变得越来越不可能。这些重复的数据，在模型中的比重就会比不重复的数据可能更高。从而导致模型在生成时，更倾向于生成重复的内容。而在模型方面，越大的模型掌握的知识越多，这导致模型更容易犯参数化知识偏差的问题。也就是说，模型是从自己的知识中生成内容，而不是从输入的材料中生成内容。]]></description><category></category></item></channel></rss>