- 博客(173)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 大模型系列21-AI聊天机器人
Streamlit是一个用于构建快速、交互式 Web 应用的 Python 库，特别适用于机器学习和数据科学项目。通过简单的 Python 代码，Streamlit 可以让你快速展示数据可视化、创建交互式界面和展示机器学习模型的结果。总的来说是可以用于快速验证思路，进行demo展示。
2025-02-03 22:44:38
1296
5
原创 大模型系列18-AI Agents
Al Agent智能体，是指一种能够模拟人类思考和行为来自动执行任务，以解决复杂问题的程序或系统架构图思考->行动->观测实际输入给大模型的prompt具体执行步骤如下。
2025-01-04 20:56:40
326
原创 大模型系列17-RAGFlow搭建本地知识库
这里我们做的机器学习论文库，因此可以将“解析方法”从“General”调整为“Paper”模式，对论文进行解析。列出所有的模型，有两个Embedding模型以及一个qwen2:7b的模型。文件中，可以修改 端口号、ragflow的镜像版本等。参考写的安装open-webui的文章。将刚才添加的模型设置到系统默认配置中。新建一个论文助理，用于后续的聊天对话。ragflow使用的各种环境变量在。论文上传完毕后，执行论文内容的解析。论文解析过程，花了10几分钟。参考写的ollama的文档。
2025-01-01 00:33:26
1473
原创 大模型系列13-迁移学习（WIP）
这些前缀向量会参与模型的计算过程，通过调整前缀向量的参数来影响模型的输出，从而实现对特定任务的微调。例如，在一个 Transformer 架构的语言模型中，通常只对多头注意力（Multi - Head Attention）机制中的查询（Q）和键（K）矩阵应用 LoRA，这些矩阵的维度较高，通过低秩分解可以有效地减少需要更新的参数数量。在自然语言处理领域，迁移学习是一种关键技术，用于将从一个任务或领域中学到的知识迁移到另一个任务或领域中，从而减少训练时间、计算资源，并提升模型在特定任务上的表现。
2024-12-19 08:33:00
1171
原创 大模型系列10-推理优化(WIP)
在这个过程中，DeepSpeed Inference 会自动将模型分割到指定数量的 GPU 上，并插入为 Transformer 模型运行多 GPU 推理所需的必要通信代码——用户无需更改模型代码。一方面，快手使用了零冗余优化器，在非 MoE 层上面使用了 ZeRO—2，把 optimizer states 数据和 gradients 数据做了一些零冗余的切分。在不增加通信量的情况下，可以降低 GPU 的显存占用。在 MoE 层禁用了 ZeRO，避免掉跨机之间做通讯的情况。
2024-12-14 09:39:40
216
原创 大模型系列12-KV Cache
预填充性能评估指标：TTFT（time to first token）TTFT 即生成首个标记的时间，是预填充阶段关键评估指标。实际应用中，通常会设定 TTFT SLO，这是对系统的性能要求，只有系统满足该指标，其性能才达标。例如，设定 P90 TTFT SLO 为 0.4 秒，即要求系统 90% 的请求其 TTFT 值小于等于 0.4 秒。解码性能评估指标：TPOT（time per output token）TPOT 是生成每个输出标记的时间，是解码阶段重要评估指标。
2024-12-14 09:38:28
978
原创 大模型系列9-ZeRO123 (WIP)
以 GPT-2 为例，GPT-2 模型含有 1.5B 个参数，如果用 fp16 格式，模型本身只占 3GB 显存，但是实际训练过程中的模型状态需要耗费 24GB！激活值可以使用activation checkpoint来进行优化掉，因此优化是显存优化的重点。模型状态的优化，ZeRO使用的方法是分片策略，每张卡只存储1/N的模型状态
2024-10-28 00:27:48
1132
原创 自用NAS系列1-设备
关于内网穿透，网上有fpr内网穿透教程，有个公网虚拟机就可以，安装fpr客户端和服务器来转发，这个可能和拾光穿透是相同的技术模式。打开支持webdav的软件，具体设置页面参考每个软件的设置方法，在输入地址界面输入 http://192.168.0.106:5005/ ,输入用户名、密码即可登录使用。（2）拾光穿透，1GB/月的流量限制，进行各种软件的控制信号也够用了；家里面是移动宽带，拨打10086咨询，公网IPV4是一项增值服务，需要额外付费，遂考虑转向IPv6，因为移动给的IPv6都是默认公网地址。
2024-09-07 19:49:16
1907
原创 大模型系列8-Latex
为了更好的记录，写了一些大模型的博客，不专业，只备忘。前几年写论文很常用，但是现在过了几年了，基本都忘得差不多了，于是乎专门记录一个博客，将常用的Latex符号给记录下，便于未来帮助查看。参考： https://blog.youkuaiyun.com/xxzhangx/article/details/52778539。参考：https://www.acwing.com/blog/content/3067/小于约等于 a \lesssim b =大于约等于 a \gtrsim b =约等于 a \approx b =
2024-08-13 09:20:35
839
原创 大模型系列6--神经网络（WIP）
为了学习Transformer，我开始投入一部分精力来学习神经网络。这篇文章会持续更新。主要讲述了神经网络的基础知识
2024-08-13 01:22:09
517
原创 大模型系列2--Transformer（WIP）
输入 -> MultiHead Attention -> Residual + Layer Norm -> FC -> Residual + Layer Norm -> 上述网络重复N遍 -> 输出问题Residual的价值。
2024-07-29 09:36:15
701
原创 大模型系列5--卷积神经网络
利用前述知识，可以很容易构建一个三层CNN，它包括两个卷积层和一个全连接层，每个卷积后面接Relu和MaxPooling，经典网络有2卷1pooling，和三卷1pooling的。conv1：第1层卷积conv2：第2层卷积out：全连接层特别要注意的是卷积的各个参数的设定in_channels：输入数据的第三维的大小out_channels：输出的特征图的个数kernel_size：卷积核第1和2维的大小stripe：卷积的滑动窗口步长。
2024-07-29 09:33:59
1353
原创 时光的记忆
新的旅程今天停下手头的工作，看到桌子上有一本村上春树的书—当我谈跑步时，我谈些什么。 只看了前面的十几页，看着他坚持几十年如一日的跑步，心有惭愧。 遥想当年，也是一番雄心壮志，立下了一堆堆的FLAG，然而很多想法却仅仅是想法，未能持之以恒的付之以行动，深以为憾。就如我的博客一样，未能形成很好的连续性，总是一段时间中断了，一段时间回头再看看，再继续写几篇。我的一贯特性就是如果要做，那赶紧去做，把“万事开头难”先搞定再说。能坚持一天是一天，这一篇就先简单思考一下要做的工作，后面空闲的日子里，我希望自己可以做
2021-12-01 22:01:39
367
转载 权威会议列表
权威会议CS Conference TOP 40 计算机会议TOP40一、A 类 15 个ASPLOS: Architecture Support for Programming Languages and Operation 体系结构方面的顶尖会议 微处理器设计【硬件】CCS: ACM Computer and Communications Security NDSS (Network ...
2019-03-31 20:41:30
2024
转载 用GDB调试c/c++程序
本文系转载，我仅仅是完整的读了一遍，实际的根据流程对命令执行了一遍，并做了界面排版工作。我从地址luckywqf中看到，他也是转载的，因此也不太知道源地址是哪个了，在此感谢。GDB概述GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具。或许，各位比较喜欢那种图形界面方式的，像VC、BCB等IDE的调试，但如果你是在UNIX平台下做软件，你会发现GDB这个调试工具有比VC、BCB的图...
2018-12-03 11:03:53
2952
原创 gdb不识别g++的b变量符号
gdb调试程序，出现：No symbol “i” in current context.尝试了一个非常简单的hello.cpp程序，#include <stdio.h>int main(){ int i = 100; printf("hello world, %d\n", i); return 0;}使用g++ -g he...
2018-11-26 17:48:26
663
原创 内存序列-memor order
内存序今天看内存序看的要崩溃了，太乱了，不同人的博客常常出现前后不一致的情况。这个工作只是临时起意，也不是什么意义重大的工作，因此也没有寻找更权威的资料，最主要的参考是cplusplus上的reference，如果有错误之外，真心希望您来指正一下，自己真的逐个字死磕类型的。为何需要内存序在实际的程序运行过程中，如果不使用任何的同步原语，那么很多变量的执行结果，乃至程序的最终行为是无法预料的。...
2018-11-26 09:46:34
1767
原创 Flat Datacenter Storage
简介这一段一直在尝试构建对分布式系统更深的理解，期望能够在脑中形成知识图谱，然而却不可得。仔细分析了原因，感觉是因为自己读论文过于浮躁，读的多而不精，导致很多细节并无把握，最后虽然看起来读了很多（安慰自己内心式的自欺欺人），却往往是丢了西瓜捡了芝麻。今天要说的文章是关于扁平化数据存储的(FDS)，发表在OSDI 2012。很惭愧，作为一个做分布式系统的同学，竟然还未认真读过此文。动机传统的分...
2018-11-22 22:17:56
666
原创 分布式系统可靠性
角度分布式系统采用RS(k,m)编码故障类型有（磁盘，节点，扇区，机架，机房等故障）机房故障，系统降级，降级情况下的可靠性copyset下的系统可靠性被动和主动的可靠性数据部分修复的故障率数据散布而非单个磁盘可能创新点考虑全部故障，RS编码散布，多种散布方案 （被动）考虑全部故障，RS编码散布，多种散布方案 （主动）考虑copyset下的故障丢失考虑故障部分修复后的可...
2018-11-14 11:17:03
706
原创 分布式系统副本强一致-(4)
副本副本一致性是分布式系统的基本问题之一。副本问题是组通信问题，达成副本一致有很多种方式，在介绍具体算法之前，先从更高的层面上看看通信模型。客户端发起请求，最后客户端收到回复，有两种常见的模式：同步：所有节点必须全部成功，才返回client异步：一个成功，立刻返回同步副本从组通信的角度，同步副本是一个N-to-N的模型。也就是说在客户端返回之前，所有的server必须事先完成处...
2018-11-12 21:58:32
667
原创 分布式系统时钟和有序-(3)
前言分布式系统本质上就是使用多机来解决单机的问题，为了保证它的通用性，必须能够保证如单机一样的order。所有你所关心的就是它确实像单机一样在执行操作。本章主要讲解分布式系统一个基本问题：时序问题。如果你还不了解分布式系统，那么欢迎戳它：分布式系统基本概念-(1)如果你想进一步了解分布式系统的基本特征以及consensus问题，那么欢迎戳它：分布式系统上下层概念抽象-(2)1. 全序和偏序...
2018-11-12 20:57:14
1509
原创 聊一聊分布式对象存储
1. 前言今天来聊聊我正在读的一本分布式对象存储的书籍。前天11月10号，想着京东有满200-100的活动，就买了一些书，准备沉淀一下。自己打算在分布式系统上搞几年，所以买的书基本上都是关于分布式存储的。本身也没想着买一些分布式系统的经典教材，就随便选了几本京东上销量比较高的，偏实用一些的书籍。权当心血来潮，未经过任何调研。当前看的这本是《分布式对象存储-原理，架构和go语言实现》。2. ...
2018-11-12 15:20:41
8104
原创 60秒 Linux性能分析
简介虽然很多人都有针对这个60秒性能分析的翻译，我依然要重写一遍，以加强记忆。10个命令列表上述的10个命令基本涵盖了cpu，内存，硬盘，网络以及内核错误等多个方面，能在短时间内快速评估系统以及进程的运行状态。这些命令需要安装sysstat包。如果你记不住命令，那么请采用下图的宏观模式来辅助记忆，此图摘自另外一个强人RiboseYim：1. uptimeuptime gives a...
2018-11-10 16:31:05
1673
原创 Linux
简介本文的定位是为了备忘，如果需要更增强的阅读，请参见brendangregg的博客。内存泄漏分析传统的内存泄漏分析工具有Valgrind memcheck，catch住全部的内存访问，但是速度降低20-30倍。libtcmalloc速度降低5倍。还有通过core-dump来反向分析。对于正在运行的程序，进行内存分析，归纳起来有四种方法：LInux：perf， eBPFlinux上的...
2018-11-08 20:59:05
487
原创 linux命令一百条
简介今天忙完开题报告，我又闲着无事想起了perf的事情，一直对perf情有独钟，奈何现在记忆力完全跟不上趟（因为熬夜吧），刚读完的书立刻就忘，甚是不爽，现先从linux命令一百条做起吧。本文是节选自linux perf master一书，我估计也看不完那么多东西，只能挑选一些感兴趣的歇一歇。关于方式目前打算使用执行命令，截图或者markdown呈现结果的方式，给人以直观的感受，每个命令都使用...
2018-11-06 21:37:51
436
原创 CouchDB及Append-only B+树
前言今天晚上在写分布式系统上下层概念抽象-(2)的时候，遇到了一致性相关的内容，简单搜索了一些CAP的文章，就无意中看到了博文CouchDB Eventually Consistency。它是一个分布式的key-value数据库，感觉里面的设计还挺有意思的，很多ideas虽然知道，但是并没有和实际的系统挂钩，现在把它的一些设计思路写一写，主为备忘，权当一乐。分布式系统分布式系统需要处理的最典...
2018-11-04 23:08:00
1667
原创 分布式系统上下层概念抽象-(2)
前情回顾在上一个博客中已经讨论了分布式系统的第一章节，主要涉及了分布式系统的基本概念，基本特性，设计目标，以及设计技巧。简言之，由于分布式系统的两个基本限制：信息的有限速度传播以及故障的独立性，导致分布式系统在为了达成可扩展性，高性能，高可用，低延迟，高容错的道路上，要付出很多额外的代价。对于这种现实世界的分布式系统设计问题可以抽象成通用的model来解决，从而能够在系统设计之初就可以有更好的理...
2018-11-03 16:15:36
819
原创 分布式系统基本概念-(1)
分布式系统概要昨天晚上看到了一本很有用的小册子，大约60多页，名字叫做Distributed systems for fun and profit，内容涉及了分布式系统的方方面面：有基本的分布式系统的概念，有复杂的分布式一致性协议，有关于分布式系统的扩展性，可用性，可靠性，高吞吐，低延迟的讨论。不出意外的话，准备有两天的时间，把它的全部内容付诸于这篇博客中。事实上，只要在搜索随便输入那本书的名字...
2018-11-03 12:44:20
691
原创 Redis
Redis简述简单说来，redis就是一个开源的基于内存的数据结构的存储器，它支持常见的各种各样的数据类型的存储，例如字符串，数组，集合，有序集合，hash等。它支持分布式的部署，平行扩容，master slave结构，可被用作缓存，或者数据库存储。实际应用中，你可以把它当成一个中心化的数据结构存储引擎，有命令行，java，c++以及python的库可以直接与Redis server进行通信。...
2018-11-02 22:02:38
343
原创 Apache Zookeeper
# ZooKeeperZookeeper是一个为分布式系统提供协调服务的多副本分布式系统。它提供如下能力：配置管理组管理ConsensusLeader选举集群探测分布式锁举例来说，假设在一个分布式系统中，会有一种配置需求，要将配置更新到一个分布式集群中的多台实例。对于这种情况，可以使用zookeeper来管理全局配置，zookeeper能够确保对配置的多个更新的一致性，当机器...
2018-11-02 22:00:54
1080
原创 Apache Spark
Apache SparkApache Spark现在已经成为一种统一化的大数据处理引擎，它通过数据共享抽象Resilient Distributed Datasets (RDDs)，来支持各种各样的数据处理工作，像SQL查询，batch处理，streaming，machine learning以及graph处理。Spark编程模型RDD抽象最关键的数据抽象是RDDs，它是一堆对象的集合，并...
2018-11-02 21:55:52
3576
原创 Apache Kafka
Apache Kafka实时的生产者消费者处理系统，类似于消息队列的感觉。它将生产者和消费者松耦合，从而使得生产和消费不会相互制约。它可用于收集各种各样的消息，例如用户行为，传感器数据，日志，metrics等，在kafka的后面再对接多种多样的分析工具进行消费。架构设计Kafka是一个分布式的，分区的，多副本的commit log服务。消息按照种类被划分为不同的topics，同一个topic...
2018-11-02 21:54:15
290
原创 Apache Flink
Apache Flink论文简读Apache Flink™: Stream and Batch Processing in a Single EngineFlink不同于Spark的batch processing，它着眼于data streaming processing。它的输入可被看做一条无穷的stream，将函数应用到stream上，再输出。Flink底层是流式处理，延迟更小，但是在某...
2018-11-02 21:39:36
2343
原创 C++迭代器实现原理（附带了Java）
前言只要用过C++的容器，相信大家对迭代器都不会陌生。它提供一种统一的接口形式来遍历相应的容器（例如数组，链表，map等）。例子1：迭代器的遍历 利用迭代器遍历数组vectorvector<int> vi{ 1, 3, 5, 7, 9 };for(auto it = vi.begin(); it != vi.end(); ++it) { cout<&l...
2018-05-11 17:15:29
10161
5
原创 基于51单片机的蓝牙小车手机端遥控的简单实现 （下篇）
这个是蓝牙小车的下篇，上篇的地址为：http://blog.youkuaiyun.com/lpstudy/article/details/78992038。源代码： https://github.com/lpstudy/bluetooth-car此帖子为昨天发的帖子http://bbs.elecfans.com/jishu_544143_1_1.html的后续版本，昨天已经实现了小车前进，后退，拐弯
2018-01-06 22:25:09
12597
4
数字图像处理研究生课件-冈萨雷斯(北大彭宇新)
2012-08-17
数字图像处理教材 美卡斯尔曼（Castleman，K.R.）
2012-08-17
冈萨雷斯的数字图像处理 答案
2012-08-17
冈萨雷斯的数字图像处理 相当经典
2012-08-17
数字图像处理 冈萨雷斯
2012-08-17
Cocoa基本原理指南
2012-08-17
识别“2*（3+5）-23/2#”c一个小程序
2010-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人