- 博客(70)
- 收藏
- 关注
RSS订阅原创 十一、基于大模型的在线搜索平台——prepare
为了解决大模型不够“聪明”的问题，业界出现了很多方法来让大模型更加满足我们特定需求，很多技术也都是围绕这方面展开的，比如Prompt、RAG、fine-tuning私有模型，这些技术都是从不同的角度去增加大模型的能力（满足企业或个人需求的能力）。随着大模型自身越来越强大，他本身的能力可以满足我们很多需求。个人见解，相对于预训练、微调等技术，Prompt调优和RAG增强搜索是其中最易操作且最易出现事半功倍效果的技术。
2025-03-25 09:42:11
768
原创 Shell高阶用法：基于命名管道与文件描述符的并发控制
理论上，你可以使用 3 到 9 之间的任何未使用的文件描述符。为什么不用 0、1、2？0：标准输入 (stdin)：通常用于从键盘或管道接收输入。1：标准输出 (stdout)：通常用于将程序的正常输出打印到终端或重定向到文件/管道。2：标准错误 (stderr)：通常用于将程序的错误信息打印到终端或重定向。在大多数 Unix/Linux 系统中，每个进程默认都会打开文件描述符 0、1 和 2。其他的（3 及以上）通常是未使用的，可供程序自由使用。选择 3 到 9 之间的数字是一种避免冲突的惯例。
2025-03-25 09:11:57
885
原创 Python import 机制与文件路径问题解析
今天在开发过程中，遇到一个路径文件，排查了一个多小时。。。import 的路径问题，尤其是在不同模块之间调用时，可能会因为 相对路径错误。
2025-03-01 17:48:35
474
原创 十、基于OpenAI大模型开发——Function calling之自动生成tool
前面章节我们介绍了如何使用Function calling功能使大模型调用外部工具（api），如果有很多工具需要大模型去调用，我们需要一个个去生成吗？事实上是不需要的，可以发现tools中的各个function格式是一样的，所以可以封装一个函数来帮我们生成tool里面function内容，减少工作量。定义function，一定要写好注释，如param、return，大模型会根据这个信息去识别tool获取天气的函数，该函数实现了如何获取天气信息。
2025-02-11 10:13:03
822
原创 九、基于OpenAI大模型开发——Function calling应用text2SQL
本文所演示的案例只是帮助大家更加深刻的了解Function calling能力，切记不可在生产环境进行操作验证！！切记不可在生产环境进行操作验证！！切记不可在生产环境进行操作验证！！模型在生成正确的 SQL 方面并不完全可靠，除了大模型本身的能力以外，如果投产使用还需要很多完善的点，比如提供数据字典、SQL校验、多数据库连接等。但是text2sql是一个比较好的基于大模型落地的应用场景，实现上相对简单，大家有需求可以自行研究研究，后续我也会带来一个比较完善的text2sql的案例。
2025-01-24 10:04:21
584
原创 八、基于OpenAI大模型开发——Function calling
用官方的解释，就一句话，“Enable models to fetch data and take actions.”，可以使大模型获取数据并采取行动。简单来说，外部系统的API或功能就像一个工具箱，提供了多种工具供大模型选择。大模型能够自主判断并选择最合适的工具来获取所需的数据，随后根据这些工具的结果进行下一步的操作和决策。这种灵活性不仅提升了大模型的智能水平，也使其在处理复杂任务时更加高效。
2025-01-24 09:54:06
1331
原创 七、基于OpenAI大模型开发——api调用
前面文章介绍了关于大模型和Prompt工程的内容，从本篇文章开始，我们开始编码实战。API使用的是OpenAI的API，模型为gpt-3.5-turbo与gpt-4o-mini。
2025-01-04 10:21:13
875
原创 六、Prompt工程——进阶迭代
这些都是业界总结出来的一些方法论，大家主要是学习其理念和方法。当我们要使用大模型去完成比较复杂任务的时候，可能提示词要复杂的多，我们要做的就是尝试各种办法让大模型返回我们想要的结果。提示词优化的过程就是不断迭代的过程。
2024-12-06 10:48:11
1084
原创 pip install报错：THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REOUIREMENTs FILE, If you have updated
最近正在学习大模型应用开发相关知识，想要在本地部署一个大模型，使用向量化模型，需要使用vllm包。
2024-12-06 10:10:58
402
原创 二、认识大模型
大模型是大规模语言模型（Large Language Model）的简称。语言模型是一种人工智能模型，他被训练成理解和生成人类语言。“大”在“大语言模型”中的意思是指模型的参数量非常大。比如ChatGPT，文心一言等
2024-09-24 10:42:43
1049
原创 一、初识AI（背景）
谈起人工智能（AI），我们并不陌生。从AlphaGo战胜围棋世界冠军，到如今广泛应用于图像识别和智能驾驶，再到2023年ChatGPT的全球爆红，AI技术在过去几十年中经历了显著的发展和变革。随着大模型时代的到来，AI的前景变得更加广阔。我们可以期待更智能、更具创造力的AI涌现，它们将在各个领域发挥重要作用，甚至可能改变人类的生活方式。大模型时代既是挑战也是机遇。虽然AI可以替代人类完成许多工作，但作为一项新技术，掌握它将大大增强我们的竞争力。
2024-08-28 09:50:06
1005
原创 K8s证书过期处理
本地有一个1master2worker的k8s集群，今天启动VMware虚拟机之后发现api-server没有起来，docker一直退出，这个集群是使用kubeadm安装的。于是kubectl logs查看了日志，发现证书过期了。
2024-05-28 10:16:17
776
原创 pip install mysqlclient报错：src/MySQLdb/_mysql.c:29:19: fatal error: mysql.h: No such file or director
pip3 install mysqlclient报错：src/MySQLdb/_mysql.c:29:19: fatal error: mysql.h: No such file or directory#include “mysql.h”^compilation terminated.error: command ‘/usr/bin/gcc’ failed with exit code 1报错信息里提示找不到mysql.h文件1.添加.h环境变量2.重新安装mysqlclient
2024-05-28 10:14:43
446
原创 pip install mysqlclient报错：Exception: Can not find valid pkg-config name.Specify MYSQLCLIENT_CFLAGS a
在云主机部署Django项目时，安装依赖，其中安装mysqlclient时报错: Exception: Can not find valid pkg-config name. Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGS env vars manually报错信息里提示了找不到 pkg-config如果是源码包安装，可能需要手动移动libmysqlclient.so和mysqlclient.pc这两个文件，yum安装不需要2.重新安装m
2024-04-15 10:38:41
1447
1
原创 Kubernetes那点事儿——k8s网络策略
将default命名空间携带app=web标签的Pod隔离，只允许default命名空间携带run=client标签的Pod访问80端口。default命名空间下所有pod可以互相访问，也可以访问其他命名空间Pod，但其他命名空间不能访问default命名空间Pod。网络策略（Network Policy），用于限制Pod出入流量，提供Pod级别和Namespace级别网络访问控制。
2024-04-15 10:24:36
649
原创 uwsgi启动报错：ModuleNotFoundError: No module named ‘django‘ 和 unable to load app 0 (mountpoint=‘‘)
使用uwsgi运行Django报错和运行命令配置如下查看uwsgi日志发现里面显示的python版本是3.6.8，与虚拟环境3.9.18不一致。
2024-03-04 10:10:17
882
1
原创 Kubernetes那点事儿——k8s安全认证
要允许这些插件组件以超级用户权限运行，需要将集群的 cluster-admin 权限授予 kube-system 名字空间中的 “ServiceAccount” 服务账户。Adminssion Control实际上是一个准入控制器插件列表，发送到API server的请求都需要经过这个列表中的每个准入控制器插件的检查，检查不通过，则拒绝请求。RBAC（Role-Based Access Control，基于角色的访问控制），允许通过Kubernetes API动态配置策略。
2024-03-04 09:42:27
1392
原创 Django部署到服务器后无法获取到静态元素 The requested resource was not found on this server
写了一个Django项目，部署到云主机后，访问发现图片无法访问，报错图片是一个词云图，根据爬虫爬取的信息生成的，根据爬取的信息会改变，所以没有把图片放在nginx中，而是直接获取Django的图片。
2024-02-01 16:54:16
2536
原创 pip install backports.zoneinfo报错：ERROR: Failed building wheel for backports.zoneinfo
pip 安装 backports.zoneinfo 包，报错。
2024-01-24 14:36:05
3328
1
原创 pip install uwsgi报错：ModuleNotFoundError: No module named ‘_ctypes‘
pip install uwsgi报错：ModuleNotFoundError: No module named ‘_ctypes‘
2024-01-13 00:36:36
671
原创 Kubernetes那点事儿——配置存储：ConfigMap、Secret
前面介绍过的各种存储主要都是做数据的持久化，本节介绍的ConfigMap和Secret主要用于配置文件存储，或者环境变量的配置。
2024-01-09 10:27:52
920
原创 Kubernetes那点事儿——statefulset控制器
statefulset控制器用于部署无状态应用，所谓无状态应用简单理解就是各个节点存在主从关系，如ZK集群存在leader、fllower，mysql集群的master和slave，他们各个独立有序运行，有单独的存储，这里存储就要用到前面咱们学习的PV/PVC。
2023-12-18 09:41:54
161
原创 Kubernetes那点事儿——存储之存储卷
在K8s中用Volume为容器提供了外部的存储能力。Pod需要设置卷来源（spec.volume）和挂载点（spec.containers.volumeMounts）两个信息后才可以使用相应的Volume。
2023-07-28 10:28:05
953
原创 Kubernetes那点事儿——暴露服务之Ingress
在 k8s 集群中，如果我们将服务暴露出来，提供访问，可以使用Nodeport方式，但是Nodeport也有缺点，比如端口号用尽，只能支持4层的负载均衡。为了弥补Nodeport的不足，Ingress应运而生。
2023-06-19 10:04:47
1580
原创 Kubernetes那点事儿——暴露服务之Service
K8s中，我们将应用跑在Pod里。多数情况下是一组Pod，用户如何访问这一组Pod，K8s提供了Service资源，来实现一组Pod的负载均衡。
2023-05-16 10:10:39
637
原创 Kubernetes那点事儿——调度策略
Kubernetes的强大之处离不开它的调度系统，它为Pod调度到某个Node上提供了多种方式来满足不同的需求。
2023-04-17 10:43:09
463
1
原创 Kubernetes那点事儿——健康检查
健康检查在K8s中以探针的形式来实现，包括3个探针，存活（Liveness）、就绪（Readiness）和启动（Startup）探针
2023-02-09 10:20:19
1087
原创 Kubernetes那点事儿——控制器Deployment
前言说到K8s程序的生命周期管理我们不得不提到k8s的控制器。其中Deployment是最为常用的controllers，其他控制器还有DaemonSet、StatefulSet、Cronjon等。本篇我们以deployment为例来展开研究，其他控制器我们会逐一研究。
2022-12-30 09:08:42
992
3
原创 Kubernetes那点事儿——日志管理
程序运行中输出的日志默认暂存在Pod中，当Pod销毁重建时，日志也会丢失。所以需要一些持久化的方法保存程序日志
2022-12-08 09:12:36
5689
原创 Kubernetes那点事儿——资源监控、弹性伸缩
HPA（Horizontal Pod Autoscaler）pod水平伸缩，可以基于cpu使用率、内存使用率自动扩缩 ReplicationController、Deployment和 StatefulSet 中的 Pod 数量，当然也可以基于其他监控程序的指标来执行扩缩容。
2022-11-01 11:34:56
237
原创 Kubernetes那点事儿——K8s网络插件calico
Kubernetes引入的网络模型提出了下列基本要求。只要满足了这些要求，即可成为一个K8s网络方案供应商。
2022-10-18 10:07:23
1635
python pip安装包
2023-10-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人