- 博客(120)
- 收藏
- 关注
RSS订阅原创 sqlalchemy
request_id: Mapped[str] = mapped_column(String(64), comment="请求id", server_default="")client_ip: Mapped[str] = mapped_column(String(64), comment="客户端ip", server_default="")
2025-04-15 13:49:40
80
原创 磁盘挂载命令
NFS (Network File System) 是一种网络文件系统协议，通过网络共享文件和目录，多个客户端可以通过 NFS 访问服务器上的文件，并可以像操作本地文件一样进行读取、写入和修改。s3fs-fuse 是一个开源的 FUSE（Filesystem in Userspace）模块，它使得 Amazon S3 存储能够像本地文件系统一样挂载并操作。Amazon S3 (Simple Storage Service) 是 Amazon Web Services (AWS) 提供的一个对象存储服务。
2025-02-26 13:46:44
167
原创 k8s优雅重启
使用kubernetes启动容器时，一般都会配置一些探针来保证pod的健康，并通过控制pod 在接收到终止信号后等待完成清理的最大时间。metadata:labels:spec:selector:template:metadata:labels:spec:ports:httpGet:port: 8080tcpSocket:port: 8080通过就绪探针和存活探针，使得容器启动就绪后才会有流量转发进来，容器故障后也能自动重启。
2025-01-23 18:55:49
849
原创 连接池偶现15分钟超时问题
RTO：RetransmissionTimeout（重传超时）。Linux2.6+的TCPRTO_MIN=200ms，RTO_MAX=120s，每次超时时间是增加1倍。每次超时时间为（秒）：0.2,0.4,0.8,1.6,3.2,6.4,12.8,25.6,51.2,102.4,120.0,120.0,……可以使用以下命令查看当前操作系统关于tcpkeepalive时长和重试的一些配置。
2025-01-20 13:09:16
506
原创 vLLM结构化输出（Guided Decoding）
语言模型的输出由模型的推理结果（logits）通过采样或其他策略生成。在结构化生成场景中，实例化一个bitmask，对模型的生成过程进行约束，确保输出符合预定义的语法规则（如 JSON 格式或特定语言的 EBNF 语法）。
2025-01-02 19:10:10
2207
原创 k8s调度策略
Binpacking策略（又称装箱问题）是一种优化算法，用于将物品有效地放入容器（或“箱子”）中，使得所使用的容器数量最少，Kubernetes等集群管理系统中，Binpacking确保容器尽可能地被分配到少数几个节点上，从而最大限度地利用节点的资源，避免资源浪费。
2024-12-11 16:39:59
604
原创 node-saas installl失败：npm ERR! Failed at the node-sass@4.14.1 postinstall script.
可以用这个地址测试下： https://www.npmmirror.com/mirrors/node-sass/v4.14.1/linux-x64-72_binding.node。也可以尝试配置在.npmrc文件中配置sass_binary_path参数（未验证）
2024-11-19 19:18:23
512
原创 JSON Schema
JSON Schema是一种用于描述 JSON 数据结构的规范，它提供了一种标准化的方式来定义JSON的数据格式、验证规则以及约束，使得开发者可以确保传递的数据符合预期的结构和格式。通常我们把它用来描述 OpenAPI 的入参和出参。相关文档：在 JSON Schema 中，你可以为每个属性添加 title 和 description。title：简要描述字段的名称或功能。：详细说明字段的含义、用途或额外信息。
2024-10-23 17:21:26
557
原创 Dubbo接口解析
使用注解进行服务定义@Service 注解从 3.0 版本开始就已经废弃，改用 @DubboService，以区别于 Spring 的 @Service 注解@Override使用@Service注解进行服务定义2.x版本可以使用 @Service 注解进行服务定义（注意不是spring的）@Service@Bean使用 API 启动 dubbo(DubboBootstrap.start) 时定义服务.start().await();
2024-10-17 17:16:27
481
原创 Would you like conda to send this report to the core maintainers? [y/N]:
有时候是在 Scanning installed packages，有时候是 Updating Python interpreter 操作。在遇到错误后，会提示你是否要将错误报告发送给 Conda 核心维护者。但是 PyCharm 在这里并不能处理交互。pycharm 打开项目后，底部的进度条可能会一直卡住，提示：Would you like conda to send this report to the core maintainers?禁用 conda 错误报告功能。
2024-10-17 16:03:45
946
原创 使用LlamaFactory进行模型微调
论文地址：https://arxiv.org/pdf/2403.13372仓库地址：https://github.com/hiyouga/LLaMA-Factory/tree/main。
2024-10-11 17:47:21
1690
原创 sqlalchemy时区问题
你可以用它来设置连接的初始状态，例如设置时区、字符集等。sqlalchemy查询时间字段时（包含timestamp），查询到python中使用datetime类型接收，不会进行时区类型转换，如果你的机器时区跟数据库时区不一致，就会导致比较时间时出问题。一般镜像默认的时区都是UTC，可以考虑将镜像时区和数据库连接时区都设置成UTC来解决这个问题。中获取，需要注意数据库的时区一定要跟服务器的时区一致，否则时间比较会出问题。可以利用这个方法，将时区转换成sql的时区格式(+08:00)
2024-09-27 09:52:43
760
原创 python运维
也可以用zkCli工具，先把值内容写入文件，再执行命令：./zkCli.sh -server 127.0.0.1:2181 set /your/znode/path “
2024-09-12 09:28:15
780
原创 PydanticSerializationError: Unable to serialize unknown type: ＜class ‘pydantic.fields.FieldInfo‘＞
当你定义模型的时候，如果某个属性多了个逗号，在将json反序列化成对象的时候，就会触发pydantic这个问题。目前该问题的复现步骤是：将json反序列化成对象，再把对象序列化成json。把field2行尾多余的逗号去掉。
2024-08-27 09:18:12
1203
原创 poetry
peotry可以进行依赖管理（支持锁定版本）、虚拟环境管理，可以处理复杂的依赖关系和版本冲突，简化构建和发布。相对pip的优势：能解决版本冲突，移除某个组件会把相关依赖都移除，pip只会移除本身，导致后续包冲突可能性较大。
2024-08-06 20:23:16
522
原创 git常用操作
如果你的代理网络不允许ssh协议，会导致你使用ssh地址clone github仓库时报错。github官方的https监听也代理了ssh协议，可以参考文档：https://docs.github.com/en/authentication/troubleshooting-ssh/using-ssh-over-the-https-port。如果你想克隆的代码库提交记录过多，或者你不关心该仓库的历史提交记录，可以使用浅克隆模式。假设远端tag为0.6.15。
2024-08-04 14:11:57
307
原创 Failed to activate conda environment
查看github上文件对应的源代码：python/python-sdk/src/com/jetbrains/python/packaging/CondaExecutablesLocator.kt。可以发现它默认是从sdk path去找conda的可执行文件，但是由于我这里环境修改了env_dirs的存储目录，使其跟conda的安装路径不一致了，所以它找不到conda的可执行文件。之后则去环境变量、用户的home目录找conda的可执行文件，windows是。，但是window是装在用户home目录下的。
2024-07-25 13:53:01
718
原创 Qwen-Agent
一个智能体用于理解包含百万字词的文档，使用了支持8k上下文的模型，但效果超过RAG和长序列原生模型。智能体包含三个复杂度级别，每一层都建立在前一层的基础上。官方介绍：https://qwenlm.github.io/zh/blog/qwen-agent-2405/代码库：https://github.com/QwenLM/Qwen-Agent。
2024-07-23 10:45:24
1096
原创 常用软件的docker compose安装
Docker Compose 是 Docker 的一个工具，用于定义和管理多容器 Docker 应用。通过使用一个单独的 YAML 文件，您可以定义应用所需的所有服务，然后使用一个简单的命令来启动和运行这些服务。Docker Compose 非常适合于微服务架构或任何需要在多个容器中运行的应用程序。Docker Compose的基本命令# 启动服务# 后台启动服务# 停止服务# 重启服务# 停止并移除所有服务、卷# 查看服务日志# 查看服务日志，并跟踪实时日志# 查看特定服务的日志。
2024-07-14 08:03:48
414
原创 ShardingSphere
分片相关概念：https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/
2024-07-08 17:55:32
514
原创 You‘re trying to push a manifest list/index which references multiple platform specific manifests,
当我们使用docker pull 去拉取一个支持多平台镜像，再把它推送到其他镜像仓库时，可能会报这个错误。由于平台镜像的manifest文件包含多个平台，而你pull默认只会拉取当前操作系统的平台，类似执行了：docker pull。去push的时候，由于manifest上定义的其它平台的镜像找不到，所以报错。
2024-07-08 15:32:47
928
原创 Flask无法Debug
注意主程序不要设置debug=True，不然会reload，然后新版本的pycharm又不能进断点了。Flask Debug的时候，可能会无法进入断点。我使用的是pycharm CE版本。
2024-06-26 16:22:46
708
原创 The repository x InRelease‘ is no longer signed Clearsigned file isn‘t valid, got ‘NOSPLIT‘ (does th
可能是由于你的办公网络vpn特殊的设置问题，导致ubuntu的某些源需要登录认证，一般情况下家用网络无此问题。可以考虑使用其它镜像源，例如清华的软件源。
2024-06-24 11:59:24
528
原创 路由表操作
路由表（Routing Table）是网络设备（如计算机、路由器、交换机等）用来确定数据包传输路径的数据库。每当网络设备收到一个数据包时，它会查找路由表，决定将数据包转发到哪个网络接口或网关。下面介绍路由表的基本组成、功能以及如何查看和管理路由表。
2024-06-24 11:32:01
578
原创 docker内apt-get update Waiting for headers 0%
不同的网络协议（如以太网、PPP、ATM等）都有各自的 MTU 限制。以太网通常使用的是 1500 字节的 MTU，而某些特定网络可能有更大或更小的 MTU。在进行跨网络通信时，需要考虑最小的 MTU 以避免数据包丢失或额外的分片和重组开销。MTU（Maximum Transmission Unit，最大传输单元）是网络通信中的一个重要概念，它指定了在网络上传输的最大数据包大小。这种问题一般是因为docker网卡的MTU比宿主机网卡的MTU大，某些硬件碰到大于自身MTU的数据包直接丢弃了。
2024-06-22 22:23:49
494
原创 vim选中内容进入visual模式
有的版本的vim，检测到xterm终端时，会启动鼠标全功能模式，鼠标选中一段文本后，自动进入visual模式，滚动滚轮可以修改选中的位置。如果想复制到系统剪贴板，使用visual模式还是很不方便的。
2024-06-22 14:04:24
578
原创 The following signatures couldn‘t be verified because the public key is not available
使用vpn后，debian下载软件可能会报签名错误：GPG error: https://download.docker.com/linux/debian bookworm InRelease: The following signatures couldn’t be verified because the public key is not available: NO_PUBKEY 7EA0A9C3F273FCD8
2024-06-21 21:26:33
1007
原创 bash: nvcc: command not found
执行nvidia-smi正常，但是执行nvcc -V报bash: nvcc: command not found，这会导致你需要进行编译代码时，由于找不到NVIDIA ® Cuda compiler driver而报错。如果你的镜像基于runtime，则只包含运行时环境，不包含cuda编译环境，如。如果你无法修改父镜像，可以在当前容器中安装cuda。，可以考虑把父镜像修改成。
2024-06-20 11:33:34
1777
原创 合并github未合并的PR
我想合并远端的一个PR: https://github.com/vllm-project/vllm/pull/4650。fork自仓库：https://github.com/vllm-project/vllm/pull/4650。我的仓库地址：https://github.com/liuzhenghua/vllm。有时候你急需某个PR解决问题，但是官方可能还未合并这个PR，你想合并到自己的分支。可以在具体的PR详情页面，查看别人的源仓库，将原仓库下载下来编译使用。
2024-06-20 10:34:22
570
原创 LLM function call
在大模型领域，尤其是在自然语言处理（NLP）和人工智能（AI）应用中，function call 是一种非常重要的技术手段。数据查询和处理 AI模型可以调用数据库查询函数，以获取所需的数据。例如，在客户服务应用中，模型可以调用函数从客户数据库中提取客户信息执行计算或分析 在需要复杂计算或数据分析的场景中，模型可以调用外部的计算函数。例如，金融分析系统中，模型可以调用函数进行风险评估或收益预测。第三方API集成 模型可以通过function call集成第三方API服务。
2024-06-19 11:53:44
1964
原创 vllm 使用FP8运行模型
vLLM 支持使用硬件加速在 GPU 上进行 FP8（8 位浮点）计算，例如 Nvidia H100 和 AMD MI300x。目前，仅支持 Hopper 和 Ada Lovelace GPU。使用 FP8 对模型进行量化可以将模型内存需求减少 2 倍，并在对准确性影响极小的情况下将吞吐量提高最多 1.6 倍。E4M3：由1个符号位、4个指数位和3个位的尾数组成。它可以存储的值范围是 +/-448 和 nan。E5M2：由1个符号位、5个指数位和2个位的尾数组成。
2024-06-12 19:48:29
1890
4
原创 Docker: failed to register layer: devmapper: Thin Pool has 98074 free data blocks which is less than
【代码】Docker: failed to register layer: devmapper: Thin Pool has 98074 free data blocks which is less than。
2024-06-12 14:33:32
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人