- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 自己动手从头开始编写LLM推理引擎
本文介绍了自研xLLM推理引擎的架构设计，从Demo版到生产级系统的演进过程。xLLM采用五层架构（客户端层、API层、Tokenizer管理器层、核心引擎层和模型层），针对CPU环境优化，支持多请求处理、缓存复用和高效调度。系统通过分层解耦实现高内聚低耦合，具备高性能（批处理、RadixCache）、可扩展性（支持多种模型）和可观测性（完善监控）。核心创新包括智能调度、内存优化和灵活采样策略，显著提升了推理效率和吞吐量。
2025-12-26 21:45:35
806
原创 自己动手从头开始编写LLM推理引擎
本文介绍如何从零开始编写一个LLM推理引擎，深入理解大型语言模型的工作原理。文章首先阐述了自建推理引擎的优势：深入理解内部机制、掌握核心组件、优化性能和提升灵活性。接着详细讲解了三个核心模块的实现：模型加载模块负责加载预训练模型和分词器；提示工程模块处理用户输入并应用不同任务模板；解码模块执行文本生成。通过构建这些基础组件，读者可以逐步掌握LLM推理的基本原理，为后续性能优化和功能扩展打下坚实基础。
2025-12-25 19:06:29
818
原创 Android全格式播放器开发(第六节 ffplay界面开发)
第六节ffplay界面开发作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/--------------------------------------------Android界面开发，属于android开发范畴，我这里没有太多可
2013-03-19 17:35:26
4134
1
原创 Android全格式播放器开发(第五节ffplay android移植)
第五节ffplay android移植作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/--------------------------------------------之前我们已经做了好了准备工作，现在还做ffplay的移植
2013-03-19 17:33:12
12402
2
原创 Android全格式播放器开发（第四节sdl android编译）
第四节sdl android编译作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/---------------------------------------------- 由于支持android平台的SDL版本必须是SDL-
2013-03-19 17:30:46
3374
1
原创 Android全格式播放器开发（第三节ffmpeg android编译）
第三节ffmpeg android编译作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/---------------------------------------------------- Ffmpeg android编译网上已经写
2013-03-19 17:27:15
3607
原创 Android全格式播放器开发（第二节 ffplay精简）
第二节ffplay精简作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/---------------------------------------------------由于ffplay有很多参数，在android移植起来不太必
2013-03-19 17:21:05
4981
原创 Android全格式播放器开发（第一节ffplay编译）
Android全格式播放器开发作者：xdongp@gmail.com博客：http://www.weibo.com/xdpan工程地址：http://code.google.com/p/kudou-player/ 引言开发Android播放器已经有一段时间了，从一个对视频知识完全不了解，到后来能够开发独立播放器，经过了一段时间的学习。为了把学习经验留下来，特写此文章。在
2013-03-19 17:08:03
4681
1
原创 图片搜索初探
最近，调研了一下基于内容的图片搜（CBIR）Wiki： http://en.wikipedia.org/wiki/List_of_CBIR_engines有来自各大公司的图片搜索，略过，主要看开源的。1，Fire，来自亚琛工业大学（德国），包括后台索引和web服务端，需要安装python,apache,ImageMagick折腾了好半天，终于搞好，效果如下：感觉效果
2012-12-05 17:00:26
1003
原创 Kubuntu samba安装
由于最近换到了Ubuntu环境，但是有些东西还需要使用window，用virtualbox 安装了xp,但是发现virutalbox的共享很慢(貌似NetBIOS协议需要做一些校验什么的)，所以决定使用samba共享安装方法：1，sudo apt-get install samba2, sudo apt-get install kdenetwork-filesharing3
2012-12-04 17:15:19
754
原创 Android SDL2.0 编译 --- ffplay android 移植过程
1，下载： wget http://www.libsdl.org/tmp/SDL-2.0.tar.gz2， 解压： tar -xvf SDL-2.0.tar.gz 3， cd SDL-2.0.0-6609/android-project/jni && mkdir SDL 4， cp ../../src/ SDL/ -R && cp ../../includ
2012-11-05 13:13:15
4184
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人