『大模型笔记』第1篇：高效请求排队：优化大语言模型（LLM）性能 为多个应用和用户同时提供大语言模型服务是一项挑战，因为它们需要争夺有限的 GPU 资源。本文是关于 LLM 性能系列的第一篇，内容基于我们在 TNG Technology Consulting GmbH 自建 LLM 服务的实践经验。本文将重点介绍请求排队对性能的影响，并探讨不同的调度策略（scheduling strategies）。

阅读 7

0赞

收藏 0
职场生存发展指南 | 边界 / 责任 / 社交 / 情绪 ……

阅读 1.5k

17赞

收藏 11
手写一个Spring：一、IOC容器 本文介绍了如何构建一个基于XML配置文件的简易IOC容器。首先通过Maven引入dom4j、servlet-api和lombok依赖，用于XML解析和代码简化。核心实现包括：1)读取XML配置文件获取bean定义；2)创建BeanDefinition保存bean信息；3)通过反射实例化bean并存储在容器中。测试案例验证了容器能成功注入并调用AServiceImpl实例。最后通过定义BeanFactory和Resource接口进行解耦，支持未来扩展。该容器实现了基础的依赖注入功能，为后续功能扩展奠定了基础。

阅读 432

23赞

收藏 4
Android DataBinding 与 MVVM DataBinding 是 Android Jetpack 的官方库，允许在布局文件中。

阅读 83

2赞

收藏 3
解决 Android 项目下载依赖缺失导致的问题 原始资源参见这里：https://developer.aliyun.com/mvn/view。

阅读 221

3赞

收藏 3
android下拉栏添加媒体音量调节 本文介绍了在Android 9系统下拉通知栏中实现媒体音量调节功能的开发过程。主要内容包括： 添加了新的布局文件quick_settings_media_volume_dialog.xml，包含音量图标和滑动条控件； 设计了媒体音量图标ic_media_stream.xml； 在QSPanel.java中通过AudioManager获取当前媒体音量值，并实现音量调节逻辑。该功能参考了系统亮度调节的实现方式，通过SeekBar控件和广播接收器来同步系统媒体音量状态。

阅读 99

5赞

收藏 0
树莓派5 ubuntu 24.04 docker配置镜像Docker pull时报错：https://registry-1.docker.io/v2/ 摘要：在树莓派上使用sudo docker pull osrf/ros:humble-desktop命令时出现网络连接错误，原因是Docker无法访问默认注册中心。解决方法包括：创建/etc/docker/daemon.json配置文件添加包含22个国内镜像源的配置（如阿里云、清华、中科大等）设置允许非安全注册中心重载并重启Docker服务重新执行pull命令即可成功下载镜像。这种方法通过替换国内镜像源解决了Docker Hub访问不稳定问题。

阅读 430

9赞

收藏 4
Flink CDC MySQL 表字段定义为 decimal 输出乱码问题优雅解决方式 Flink CDC MySQL decimal字段乱码问题解决方案 摘要：在使用Flink CDC 2.4.0捕获MySQL表数据时，decimal类型字段可能出现乱码问题。这是由于Debezium默认将decimal转为二进制格式，与Flink解析方式不兼容。解决方案是通过自定义JsonDebeziumDeserializationSchema，在配置中设置decimal.format为"numeric"，确保数值格式正确解析。实现步骤包括添加必要依赖、配置自定义转换规则.

阅读 209

4赞

收藏 0
深入讲解一下 Nomic AI 的 GPT4All 这个项目 简单来说，GPT4All 是一个开源生态系统，旨在让任何人都能在自己的普通消费级电脑 (笔记本、台式机) 上本地运行强大、开源的对话式大语言模型。它的核心理念是隐私、开放和易用。因为模型完全在你的电脑上运行，你的任何聊天数据、提问都不会发送到任何外部服务器。这对于处理敏感信息至关重要。不需要 GPU（虽然有 GPU 会更快），不需要互联网连接（下载模型时除外），在 CPU 上就能获得不错的性能。整个软件生态和它支持的大部分模型都是开源和免费的。它不仅仅是一个模型，更是一个包含了。

阅读 834

17赞

收藏 24
RK3576 Android14 DMIC调制 当然，除了这两类，麦克风还有各种各样的类型，诸如光学麦克风、铝带麦克风、碳粒麦克风等等，有兴趣者可以了解一下。鉴于保密原则，这里不展示具体实际的硬件原理图。由于采用纯PDM麦，不经过解码芯片而是直连主板CPU，那么我们直接使用RK自带的PCM编解码，声卡上使用默认声卡即可。当然，简单点的话也可以直接使用系统自带的录音机来试试看，正常配置成功的话使用是没有问题的。近期项目中有个DMIC调试的需求，搁置了较长时间，现今着手调试，遂作记录。至此，基本完成了这个DMIC的调试，后续有何问题，则继续补充。

阅读 999

7赞

收藏 25
Linux——Redis 是一组命令的集合，不保证原子性。将内存中的数据保存到磁盘中。

阅读 732

20赞

收藏 4
vue2 生命周期有哪些？发送请求在created还是mounted？ 创建阶段：beforeCreate → created挂载阶段：beforeMount → mounted更新阶段：beforeUpdate → updated销毁阶段：beforeDestroy → destroyed。

阅读 369

9赞

收藏 13
Socket编程预备 适合在第一次socket编程之前浏览学习

阅读 663

7赞

收藏 15
Linux 1. [单选题]以下关于Apache服务器，说法不正确的是（ ）。正确答案： DA. Apache服务器可以同时开启多个主页。B. Apache服务器是一个网站服务器。C. Apache服务器默认使用80端口。D. Apache服务器的网站允许http协议连接，不允许https协议连接。2. [以下关于Apache服务器，说法不正确的是（ ）。正确答案： DA. Apache服务器可以同时开启多个主页。B. Apache服务器是一个网站服务器。

阅读 330

5赞

收藏 13
k8s的pod服务一直是Terminating状态，怎么强制杀掉 在 Kubernetes (k8s) 中，如果一个 Pod 一直处于 Terminating 状态，这意味着 Kubernetes 正在尝试正常终止该 Pod，但由于某些原因（例如 Pod 内部进程未响应终止信号，或是资源锁定等）导致无法正常终止。首先，你可以获取当前 Pod 的 YAML 配置，然后修改它的元数据（例如，通过增加一个时间戳来确保 Kubernetes 认为这是一个新的对象），然后使用 kubectl apply 来创建新的 Pod。# 应用修改后的 YAML 文件来创建新的 Pod。

阅读 253

2赞

收藏 3
Android 开发问题：CardView 的阴影效果会受到父容器的裁切 Android 开发问题：CardView 的阴影效果会受到父容器的裁切

阅读 509

12赞

收藏 3
作者推荐
淼叔
资深架构师，PMP、OCP、CSM、HPE University讲师，EXIN DevOps Professional与DevOps Master认证讲师，曾担任HPE GD China DevOps & Agile Leader，帮助企业级客户提供DevOps咨询培训以及实施指导。熟悉通信和金融领域，有超过十年金融外汇行业的架构设计、开发、维护经验，在十几年的IT从业生涯中拥有了软件开发设计领域接近全生命周期的经验和知识积累，著有企业级DevOps技术与工具实战。
关注
Java技术栈
Java每天一篇干货，微信公众号：Java技术栈
关注
码莎拉蒂 .
TA很懒，还没有添加简介
关注
南淮北安
好好学习
关注
理想不闪火
研究开放环境下的深度学习算法、生成模型推理加速和医学图像。 欢迎订阅专栏！
关注
zhangphil
zhangphil@live.com
关注
简说Python
个人微信公众号：简说Python，送精选Python电子书。
关注
蔚1
TA很懒，还没有添加简介
关注
朱小厮
你知道的越多 你不知道的也就越多
关注
小雷FansUnion
懂商业的技术合伙人。个人微信：FansUnion 微信订阅号：XiaoLeiFansUnion。
关注