- 博客(495)
- 资源 (127)
- 收藏
- 关注
RSS订阅
原创 2020年总结与展望
简介今天是2021年的1月17日，周日，由于和同事约好周六周日分开上班，因此今天并没有去单位加班。昨晚上原本打算今天是要做如下的事情的： 做早饭 做午饭 阅读戒药笔记 阅读财务自由之路 三组臀桥 图书馆坐坐 使用maven下载spring boot2.1.4 继续进行2020年总结与展望的编写 刷鞋子结果由于昨晚和同学聚会去海底捞，吃了很多的肉，回到家里也比较晚，23:00到家，睡的时候估计24:00了，夜里还起了两次夜，睡得不好，早晨8:00多醒过来，玩手机玩了40分钟。之后打
2021-01-17 22:33:47
1211
15
原创 2019年总结和展望
属性信息文档名称2019年总结和展望版本号V1.0.0.0文档修改日志修改时间修改人修改描述版本号2020-01-07 22:21宋全恒2019年总结和展望，确定基本结构，填充简介部分V0.0.0.02020-01-09 20:43宋全恒添加阅读旅程V0.0.1.02020-01-10 20:45宋全恒添加周...
2020-01-12 23:06:29
2719
7
原创 Maven常用命令
下载sources和javadocmvn dependency:sources -DdownloadSources=true -DdownloadJavadocs=true
2019-06-07 17:39:27
360
原创 11-27 周三 Postman自动解析响应查询可用节点数量
在Postman中发出GET请求，然后在Postman console中分析请求响应查询当前可用节点。功能简单，不在赘述。
2024-12-04 10:23:40
389
原创 11-29 周五 Obsidian Templater通过交互确定文件名，并自动更新文件内容中文件名内容
想要通过交互的方式确定文件名，并且要在文件内容添加文件名内容。
2024-11-29 15:10:19
559
原创 11-29 周五 Obsidian Templator使用指定的模板格式生成文件
在Obsidian中使用指定的格式生成文件内容。演示了表格，居中，文件名的自动修改。
2024-11-29 15:05:56
393
原创 09-03 周二 ansible部署与使用指南
首先要找一个跳板机，来确保所有的机器都可以访问。然后我们围绕ansible来搭建环境，方便一键执行所有的命令，主要的任务是将这10个节点均挂载NAS服务器，添加我们的harbor服务器，是一个自动化的管理工具，可以管理多个节点，实现诸如命令执行，自动挂载，文件拷贝等命令。非常的方便管理集群的场景。常用的模块如下所示：ansible提供了大量的模块Ansible 提供了大量的模块来完成各种自动化任务。command 在目标主机上执行任意命令。shell 在目标主机上执行 shell 命令。
2024-09-04 14:00:41
1305
原创 09-03 周二 ansible部署和节点管理过程
首先要找一个跳板机，来确保所有的机器都可以访问。然后我们围绕ansible来搭建环境，方便一键执行所有的命令，主要的任务是将这10个节点均挂载NAS服务器，添加我们的harbor服务器，是一个自动化的管理工具，可以管理多个节点，实现诸如命令执行，自动挂载，文件拷贝等命令。非常的方便管理集群的场景。
2024-09-03 15:40:55
1379
原创 09-02 周一 elasticsearch使用指南
基本使用流程为创建索引添加文档检索分析通过以上操作，我们创建了一个存储学生成绩的索引，演示了增删改查的基本操作。这些步骤可以通过 Kibana 的 Dev Tools 或者直接使用命令行中的curl命令来执行。如果您有更多需求或问题，可以进一步探索 Elasticsearch 的其他功能，如聚合查询、全文搜索等。同时，本文也描述了全文检索，es非常擅长全文检索，本文也描述了es常用的操作子，并且对于elasticsearc中正排索引和倒排索引进行了描述。
2024-09-03 10:03:32
1310
原创 09-02 周一 Ubuntu上使用docker-compose部署elasticsearch和kibana服务
由于组里需要提供一个简易的环境来部署一套服务，可以通过接口进行数据的存储和检索，因此，直接部署一套ES服务来充当这样的功能，本文主要是负责记录整个环境的搭建过程。至此，我们就通过镜像，通过docker-compose容器编排引擎简单的完成了Elasticsearch+kibana的环境了，而且可以方便的移植到其他的地方。唯一需要的，只是完成docker的安装完成docker-compose的安装构建docker-compose.yml文件启动和验证。
2024-09-02 14:41:07
1080
原创 08-12 周一 搭建vllm0.5.0和lm-eval评测环境
本文档主要演示搭建vllm0.5.0的评测环境的过程。这个环境问题，真的很费劲。经过上述的镜像生成，之后，我们之后就可以一直使用源码安装的方式来进行环境的创建，生成镜像，复用镜像，并且在使用过程中，也演示了pip使用缓存的技巧，这是非常方便，非常有效的一种方式。源码安装vllm 0.5.0源码安装lm-evaluate-harness 用来评测大模型和量化大模型的精度。该文档详细描述了通过Docker镜像构建vllm框架的整体过程，并且输出成果物。
2024-08-15 14:05:50
1146
原创 07-15 周一 lmdeploy导出迁移因子到量化模型中
由于norm层的前后导致smoothquant执行量化不好融合，为了降低我事先的难度，所以就不再融合normalization的算子了，因为norm会有变化。因此，在推理执行时，Wv和Wo继续进行量化，Wq， Wk， Wv继续进行量化，但是需要导出迁移前度。不融合，是norm在前，Q K V在后，但是融合呢？根据这个查询出来的迁移因子，为但是，nn.Linear：输入特征的数量，即输入张量的最后一个维度的大小。：输出特征的数量，即输出张量的最后一个维度的大小。bias：是否使用偏置项。默认值为。
2024-07-24 14:40:28
1004
原创 07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
2024-07-10 09:57:43
4051
6
原创 07-02 周二 关于注意力机制和PyTorch API repeat，repeat_interleave、arange索引张量、matmul、unsqueeze、bmm
最近笔者一直在进行大模型量化方法smoothquant的理解，真的很痛苦，工作让自己很有压力，也很焦虑，因为在深度学习，pytorch等内容自己可以说是一片空白。在看《动手学深度学习》试图理解注意力机制的时候，基本上，连Pytorch的API都不知道是什么作用，尴尬。 上述函数就是打印形状和内容。 上述代码完成数据的准备。 上述代码输出为：torch.rand(n_train) 在 PyTorch 中，torch.rand() 函数用于生成一个服从均匀分布的随机张量。n_train 通常是一个整数
2024-07-02 14:59:18
477
原创 05-28 周二 TTFT， ITL， TGS 计算过程以及LLama2推理代码调试过程
本文主要用于求解大模型推理过程中的几个指标：主要是TTFT，ITL， TGS之前一直觉得大模型很神秘，其实大模型推理的驱动的主要逻辑还是使用的程序流程主要还是for循环，分支语句以及串行，笔者呢有多年的开发经验，理解起来还是比较简单的，但是大模型的结构，transformer的工作原理，这些确实是看了很多次都没有看懂的，压力很大。能够每天有所进步或许是最开心的事情吧，日日知非，日日有进步，我希望余生都可以这样。
2024-05-29 20:37:34
3381
1
原创 05-16 周四 vscode 搭建远程Python调试环境
参考了vscode上python进行debug大全 - 知乎。这个笔记记录了使用vscode调试远端服务器配置的过程，好记性不如烂笔头，还是多记录一些内容吧，我发现，当你遇到一个问题的时候，很有可能，你会重新遇到的。通过不断记忆，我们能够很好的建立联系这样就能比较自信的解决同样的问题。还能节省许多的实践。
2024-05-16 17:25:03
1373
1
原创 05-14 周二 PyTorch动态量化和静态量化理解
Pytorch动态量化量化网络意味着将其转换为使用降低精度的整数表示来表示权重和/或激活。从浮点数转换为整数时，基本上是将浮点数乘以某个比例系数，然后将结果四舍五入为整数。确定scale factor是各种量化方法的差异点。动态量化的关键思想是，对于激活来说，我们将会根据运行时观察到的数据范围来确定scale factor。这样可以确保 "调整 "比例因子，从而尽可能多地保留每个观测数据集的信号，而模型参数在模型转化过程中是已知的，他们提前转化并存储成INT8形式。
2024-05-14 16:30:18
3494
原创 05-13 周一 量化是什么
神经网络在运行时有较高的计算成本，而且随着大模型时代的到来，知识由一个巨大的LLM存储，为了获取知识，即使用模型进行推理或者以会话的方式获取想要搜索的答案，都变得简单。但深入到计算层面，就可以看到，这些推理的计算对于内存带宽和算力都有较高的要求，如何降低神经网络的功劳和latency，是一个非常热门的话题。量化概念量化： 量化实际上就是把高位宽表示的权值和激活值用更低位宽来表示。定点运算指令比浮点运算指令在单位时间内能处理更多数据，同时，量化后的模型可以减少存储空间。
2024-05-14 16:25:46
1099
原创 05-10 周五 推理是什么
最近要做推理时的动态量化，因此，需要认真理解一下推理的含义。概念：训练（Training）**训练是指通过将大量数据输入到模型中，调整模型参数，从而使得模型能够更好地适应特定任务的过程。**在训练过程中，通常需要将数据划分为训练集和验证集，然后使用训练集来调整模型参数，最后使用验证集来评估模型的性能。概念:推理(Inference)是指将经过训练的模型应用于新数据或新情境，以做出预测或决策。在推理过程中，通常需要将输入数据传递给模型，并生成相应的输出结果。
2024-05-13 11:19:22
985
原创 05-11 周六 一键完成FastBuild镜像部署功能的开发
注，需要提前完成从DockerService到FastBuild主机的免密，因为脚本使用了ssh命令。博客描述04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)-优快云博客👍👍👍👍记录了部署FastBuild的完整过程，基本流程,该文章主要描述自动化，即使用CI工具构建镜像，并部署服务部分。04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置-优快云博客记录了第一次优化的过程，完成配置文件移入数据库。
2024-05-11 23:54:48
909
原创 05-10 周五 FastBuild 容器启动引起超时问题定位与解决
博客描述04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)-优快云博客记录了部署FastBuild的完整过程，基本流程04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置-优快云博客记录了第一次优化的过程，完成配置文件移入数据库05-08 周三 FastBuild FastAPI 引入并发支持和全局捕获异常-优快云博客记录了并发支持和全局捕获异常。解决拉取和check解耦问题以及超时问题。
2024-05-11 22:41:48
1006
1
原创 05-09 周四 vLLM的部署和实践
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-优快云博客。
2024-05-09 19:51:16
2097
原创 05-08 周三 FastBuild FastAPI 引入并发支持和全局捕获异常
由于FastBuild之前花费了大概5天的时间优化，但最近重新部署，又发现了一些问题，就很痛苦，五一之后，自己又花了三天的时间系统的进行了优化。上一波优化位于05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示而这一波优化，则主要集中在Python的并发执行和全局捕获异常自己可真的是蔡格尼克效应的实在的表现。简直是有一件事情之后，自己一定要把它做完，才能放下他，不被它占据自己的注意力。
2024-05-08 21:45:31
1189
原创 05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示
【代码】05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示。
2024-05-07 22:53:11
370
原创 04-19 周五 GitHub actions-runner 程序解释
本文主要描述了actions-runner-linux-x64-2.315.0.tar.gz这个github actions CI所需要的客户端安装包的重要文件和内容信息。04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md04-18 周四 为LLM_inference项目配置GitHub CI过程记录.md04-19 周四 GitHub CI 方案设计和部署拓扑.md。
2024-05-06 20:48:15
741
1
原创 04-19 周四 GitHub CI 方案设计
由于大模型需要GPU，因此CI时需要使用GPU来运行，由于一台服务器有多个GPU卡，因此，保证灵活性的同时，需要为每个仓库的CI程序自定义需要的GPU。部署简单，能够实现一台服务器，如8C A100的，同时对4个仓库进行CI作业的运行，而不互相影响。04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md04-18 周四 为LLM_inference项目配置GitHub CI过程记录.md42CI服务器的详情团队代码仓库的标签划分部署拓扑结构。
2024-05-06 19:56:41
1118
原创 04-18 周四 为LLM_inference项目配置GitHub CI过程记录
04-15 周一 GitHub仓库CI服务器配置过程文档是托管与GitHub上的仓库，下载最新的客户端程序即可。self hosted runner是github支持的ci特性，可以参见官网，了解具体内容。是GitHub CI的工作流需要使用的步骤的仓库，Find tools to improve your workflow配置CI服务器中actions-runner客户端配置workflow工作流。
2024-05-06 19:45:02
1026
原创 04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置
由于04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)描述了重新部署一个FastBuild实例的过程，通过阅读这个，可以看到部署一个FastBuild的实例是非常复杂的，之前的两次部署，直接让我花费了将近10个小时，太痛苦了。因此优化就成了必须要进行的，因为我也是一个有完美主义倾向的程序猿。
2024-05-06 17:20:57
858
原创 04-28 周日 FastAPI Post请求同时传递文件和普通参数
由于在重构FastBuild的时候，为了支持TLS是否启用，在接口中需要同时传递文件参数和其他参数，遇到了这个问题。结果发现由于HTTP的限制，不能同时传递JSON和文件参数。当时花费了较多的实践，因此记录了如下的过程。
2024-05-06 14:27:30
2015
原创 05-06 周一 使用expect自动应答完成用户密码验证以及多种退出码的实践
演示了如下的内容：- 从位置参数中读取并设置到脚本变量- spawn 开启会话- expect子句- 多个退出方式。
2024-05-06 11:25:12
211
原创 05-06 周一 Shell工程目录划分和开发最佳实践
本文演示了在开发shell工程时的一些最佳实践，包括相对路径，配置文件处理和shell调用的过程。在shell调用的时候，使用了expect自动应答免交互的形式
2024-05-06 11:11:15
959
原创 04-23 周二 shell环境下读取使用jq 读取json文件
文章演示了使用jq工具包，在shell环境下读取json配置文件的完整过程
2024-05-06 10:26:51
1000
1
原创 04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)
本文主要描述了FastBuild在阿里云ECS上部署的完整过程，包括提供新的代码分支，配置，包括了TLS配置、而且包括了Jenkins部署，自定义辅助命令的过程
2024-05-06 10:18:24
981
原创 04-15 周一 GitHub仓库CI服务器actions-runner和workflow yaml配置文档解析
地址镜像介绍大模型应用ID=ubuntu建议定要使用和宿主机相同的自定义镜像来运行CI作业，不然可能会出现诸如GLIBC问题，即如果宿主机为Ubuntu 20.04，那么自定义镜像最好也是Ubuntu，并且版本是20.04这样稀奇古怪的问题遇到的会少许多。本文详细的记录了为一个GitHub配置一个self-hosted runner的过程，通过上述的过程，我们可以灵活的为仓库配置自定义的运行器，并且也可以使用自定义的容器进行仓库CI作业的执行，提升作业环境的封装性。
2024-04-17 10:40:26
1341
原创 04-12 周五基于VS code + Python实现优快云发布文章的自动生成
之前曾经说过，在撰写文章之后，需要，同样需要将外链的图像转换为的形式，因此，可以参考。
2024-04-12 22:51:27
494
原创 04-12 周五 基于VS Code + Python 实现单词的自动提取
在之前的文章中，我们03-11 周一 zotero文献阅读时生词提取步骤这个文章中，我们详细的介绍了我们通过如下的流程将阅读文献时的生词摘录出来，专门进行专项日常生词积累。那么该如何进行呢？我们怎么才能将枯燥的切换转换为程序的执行呢？这便是这个文章要记录的内容管理。最近状态还好吧，人还是要自律，最近自己对自己的手机使用屏幕时间限制，限制之后，再也不用担心因为手机放纵，看电子书，或者看短视频了，每天清净心不少。
2024-04-12 22:31:56
445
2
原创 10-24 周二 论文阅读 Containerisation for High Performance Computing Systems: Survey and Prospects
继续看文章了。容器在隔离的环境中封装了复杂的程序和它们的依赖，这使得应用更加的兼容和更可移植。HPC上的容器需要包含大量的库，导致尺寸较大。这些库针对硬件进行优化，这危害了容器的可移植性。与HPC相比，Cloud实际上通常整合复杂的容器编排机制。但在HPC上启用容器编排机制的方法已经提出了。本文给出综述和分类，关于HPC系统上的容器化和编排策略。强调Cloud和HPC的差异。其实这篇文章是自己从23年10月20日开始看的，结果啊，到了今天才完成了阅读，真的是非常惭愧。
2024-04-12 15:33:43
577
1
原创 04-03 周三 使用印象笔记API批量更新笔记标题
在阅读这篇博客之前，首先给大家案例一下印象笔记这个应用，楼主之前使用onenote来记录自己的生活的，也记录了许多的内容，但是，有一天自己的同事和自己说了印象笔记这个工具，然后在使用了之后，就发现确实是不错的，包括模板功能啊，大纲，XMind支持，以及剪藏功能，而且在多个终端可以非常方便的同步，而且每个笔记有300M的空间（超级用户），最新的印象笔记也上线了视图功能，让自己非常的方便。这样让自己的复盘非常的便利，因为自己已经基本养成了周盘、月盘、年盘的习惯了。
2024-04-03 11:16:53
1212
2
原创 03-28 周四 Linux 并行工具使用xargs和parallel
程序猿日常工作开发中，免不了要和linux服务器打交道的，如何高效的使用shell命令来实现我们的功能呢，比如说如下的场景： 诸如此类的场景，如果手动，一个一个ssh-scp，太枯燥了。因此，我们便需要高效的并行工具，启动多进程的方式来实现我们的目标。在Linux中，并发查询多个目录的磁盘占用可以通过多种方法实现。以下是一些可以提高效率的策略：使用与参数并行执行：命令可以将标准输入数据转换为命令行参数，并执行指定的命令。结合参数，可以指定并行进程的数量。在这个例子中，命令用于查找所有目录，和确保了文件
2024-03-28 10:08:20
1692
论文阅读 Containerisation for High Performance Computing Systems
2024-04-12
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
2024-03-25
Postman自动化测试.zip
2021-04-24
多线程多线程.zip
2020-11-07
多线程多线程.xmind
2020-11-07
word多级目录设置.zip
2020-07-11
优秀格式文档规范.docx
2020-07-11
克鲁斯卡尔算法.zip
2020-07-04
数据结构之普利姆算法思想和实践
2020-06-26
数据结构之图的表示、深度优先和广度优先遍历.zip
2020-06-21
Ubuntu使用active-backup模式进行网口绑定.zip
2020-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人