- 博客(368)
- 收藏
- 关注
原创 网文校对系统 - 校对模块
到这里,咱们这个AI应用开发的教程就该告一段落了。正如教程开头说的,CloudMan的目标是通过具体案例带大家体会一下AI应用的开发思路和过程,提升大家使用AI的信心。AI大模型大大降低了应用开发的门槛。只要有好的想法,稍微有些编程基础就能开发出优秀的应用。退一万步,即便对应用开发没兴趣,AI也能帮助我们探索新领域,发展自身潜能。以前学东西除了找到好的教程,更得有人指导。现在好了,AI就是那个能提供指导的人,它经验丰富、态度端正、而且24小时待命。
2025-03-28 05:39:20
886
原创 网文校对系统 - 存储实体和关系
上一节我们已经用大模型从文本中识别提取出实体和关系,接下来要考虑存储的问题。R1最初给我们的方案是向量化存储。但后来讨论到实体的动态属性特性时又提到可以使用NoSQL数据库,如MongoDB。也就是说实体存储现在至少有两种方案:向量数据库和NoSQL数据库。具体怎么权衡,听听R1怎么说。这个解释我觉得非常到位。特别是最后这张表,针对不同数据类型采用不同的存储方案。经过进一步探索,我决定用MongoDB存储实体数据,用图数据库Neo4j存储关系数据。
2025-03-26 05:32:11
407
原创 网文校对系统 - 新方案
还好,证明这个方案是靠谱的,大家都是这么做的。比如实体“萧炎”类型“人物”属性有“身份-斗帝”,“功法-焚决”,“伴侣-彩鳞”,“职业”等。每个分块几百字,这种粒度是比较粗的。在跟R1的后续对话中,我了解到“实体”和“关系”是最重要的信息。知识图谱是一种结构化的信息表示方法,它将知识以节点和边的形式组织起来,节点表示实体,边表示实体之间的关系。也就是说,按照目前的技术能力,即便没有上下文窗口的限制,厂商的知识库也不是最优方案。知识库肯定是有用的,特别是对于问答系统,只是不适合网文校对的场景。
2025-03-21 05:39:44
914
原创 网文校对系统 - 知识库
如标题所示,我们要开发的第二个AI应用是“网文校对系统”。如果开发“拍照查卡路里APP”的过程是风平浪静的话,那么开发这个“网文校对系统”则可谓一波三折。对我而言这是一个奇妙的旅程,我不但收获了新知更学会了如何跟AI沟通和协作,可能有些夸张,但我现在确实迫不及待地想把整个过程与大家分享。话不多说,下面正式开始。看网络小说是CloudMan的一大业余爱好。我特别佩服网络小说作者丰富的想象力和生产力。网络小说的篇幅一般都是以百万字为单位,而且基本都是日更4,5千。
2025-03-19 05:30:50
427
原创 拍照查卡路里APP - 智能体
拍照查卡路里的教程到此就结束了,下面回顾一下要点。AI应用的能力主要取决于大模型的能力。大模型的飞速发展使得我们有能力实现前所未有的功能。即便有些功能现在无法实现,我们也可以乐观地期待大模型进步。替换后台模型非常简单。AI辅助编程非常强大。流程简单、直接:我们提需求,AI负责实现;我们提改进意见,AI负责优化;我们指出bug,AI负责修复。开发门槛大大降低,编码已不再是障碍。AI帮我完成了80%的具体编码工作。好的点子和洞察用户需求将更为重要。智能体(AI Agent)很可能会成为主流。
2025-03-12 06:00:14
798
原创 拍照查卡路里APP - 开发2
上一节调用“图像内容理解-提交请求”,API返回了一个task_id,本节需要调用“图像内容理解-获取结果”API获取最终结果。代码实现过程如下:result。
2025-03-10 05:28:59
139
原创 拍照查卡路里APP - 开发1
技术方案已经确定,马上正式开发。说到开发手机APP,这可真是进入了CloudMan的知识盲区。20年前开发过Web应用,但对于移动端开发完全没有概念。前面AI推荐了React Native 或 Flutter。做了些调研,了解到它们的开发语言分别是 JavaScript 和 Dart。由于对JavaScript还算熟悉,所以我果断选择了Flutter。原因无他,就是想看看AI辅助编程的能力,看看能不能让我这样一个小白也能从零开发出像样的APP?
2025-03-07 06:03:00
254
原创 拍照查卡路里APP - 技术方案调研
最近国外有一款APP在健身圈火了。功能很简单:自动识别照片中的食物并计算卡路里。团队开发加市场也就两三个人,主要用大模型实现。我就想可以把它当作教程案例,原因如下:功能单一,初学者容易上手。别人已经走通,现有大模型能实现。这里先介绍一下 CloudMan 的开发背景,便于大家对照。我工作头几年用Java开发过Web应用,不过已经是二十多年前的事了。后来一直做服务和实施,有时会编写一些Shell和Ansible脚本。总结起来就是:有一定开发经验,但欠缺最新的开发技术。
2025-03-05 05:19:52
619
原创 新开一个 AI 应用开发的教程
最近看了一下公众号后台,距离上一篇文章都快7年了。回看过去的几年,云计算已日趋成熟,容器技术也从互联网大厂落地到主流企业。希望 OpenStack、Docker 和 Kubernetes 这几个教程也为技术普及和推广发挥了或多或少的作用。这几年虽然没更新公众号,CloudMan 也没闲着,始终保持着对新技术的好奇心。众所周知,人工智能是近几年最引人注目的新技术。2022年底 chatGPT 和 Midjourney 刚出来的时候,大部分人(包括我自己)还只是把 AI 当作新颖的聊天或画画工具。
2025-03-03 05:30:34
570
原创 Kubernetes 集群日志管理 - 每天5分钟玩转 Docker 容器技术(180)
Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elasticsearch 是一个搜索引擎,负责存储日志并提供查询接口;Fluentd 负责从 Kubernetes 搜集日志并发送给 Elasticsearch;Kibana 提供了一个 Web GUI,用户可以浏览和搜索存储...
2018-06-13 07:28:30
2209
原创 部署 Prometheus Operator - 每天5分钟玩转 Docker 容器技术(179)
本节在实践时使用的是 Prometheus Operator 版本 v0.14.0。由于项目开发迭代速度很快,部署方法可能会更新,必要时请参考官方文档。下载最新源码git clone https://github.com/coreos/prometheus-operator.gitcd prometheus-operator为方便管理,创建一个单独的 Namespace monitoring,Pr...
2018-06-11 06:58:20
1047
原创 Prometheus Operator 架构 - 每天5分钟玩转 Docker 容器技术(178)
本节讨论 Prometheus Operator 的架构。因为 Prometheus Operator 是基于 Prometheus 的,我们需要先了解一下 Prometheus。Prometheus 架构Prometheus 是一个非常优秀的监控工具。准确的说,应该是监控方案。Prometheus 提供了数据搜集、存储、处理、可视化和告警一套完整的解决方案。Prometheus 的架构如下图所示...
2018-06-08 07:23:49
853
原创 Prometheus Operator - 每天5分钟玩转 Docker 容器技术(177)
前面我们介绍了 Kubernetes 的两种监控方案 Weave Scope 和 Heapster,它们主要的监控对象是 Node 和 Pod。这些数据对 Kubernetes 运维人员是必须的,但还不够。我们通常还希望监控集群本身的运行状态,比如 Kubernetes 的 API Server、Scheduler、Controller Manager 等管理组件是否正常工作,负荷是否过大等?本节...
2018-06-06 06:51:03
980
原创 用 Heapster 监控集群 - 每天5分钟玩转 Docker 容器技术(176)
Heapster 是 Kubernetes 原生的集群监控方案。Heapster 以 Pod 的形式运行,它会自动发现集群节点、从节点上的 Kubelet 获取监控数据。Kubelet 则是从节点上的 cAdvisor 收集数据。Heapster 将数据按照 Pod 进行分组,将它们存储到预先配置的 backend 并进行可视化展示。Heapster 当前支持的 backend 有 InfluxD...
2018-06-04 07:40:27
918
原创 用 Weave Scope 监控集群 - 每天5分钟玩转 Docker 容器技术(175)
创建 Kubernetes 集群并部署容器化应用只是第一步。一旦集群运行起来,我们需要确保一起正常,所有必要组件就位并各司其职,有足够的资源满足应用的需求。Kubernetes 是一个复杂系统,运维团队需要有一套工具帮助他们获知集群的实时状态,并为故障排查提供及时和准确的数据支持。本章重点讨论 Kubernetes 常用的监控方案,下一章会讨论日志管理。Weave ScopeWeave Scope...
2018-06-01 07:01:47
1836
原创 使用 Dashboard - 每天5分钟玩转 Docker 容器技术(174)
上一节我们完成了 Kubernetes Dashboard 的安装,本节就来实践一下。Dashboard 界面结构Dashboard 的界面很简洁,分为三个大的区域。顶部操作区在这里用户可以搜索集群中的资源、创建资源或退出。左边导航菜单通过导航菜单可以查看和管理集群中的各种资源。菜单项按照资源的层级分为两类:Cluster 级别的资源 Namespace 级别的资源 默认显示的是 defaul...
2018-05-30 07:03:08
962
原创 实践 Network Policy - 每天5分钟玩转 Docker 容器技术(172)
为了演示 Network Policy,我们先部署一个 httpd 应用,其配置文件 httpd.yaml 为:httpd 有三个副本,通过 NodePort 类型的 Service 对外提供服务。部署应用:当前没有定义任何 Network Policy,验证应用可以被访问:启动一个 busybox Pod,可以访问 Service,也可以 Ping 到副本 Pod。集群节点可以访问 Servic...
2018-05-25 06:27:44
689
原创 Network Policy - 每天5分钟玩转 Docker 容器技术(171)
Network Policy 是 Kubernetes 的一种资源。Network Policy 通过 Label 选择 Pod,并指定其他 Pod 或外界如何与这些 Pod 通信。默认情况下,所有 Pod 是非隔离的,即任何来源的网络流量都能够访问 Pod,没有任何限制。当为 Pod 定义了 Network Policy,只有 Policy 允许的流量才能访问 Pod。不过,不是所有的 Kube...
2018-05-23 06:43:15
709
原创 k8s 各种网络方案 - 每天5分钟玩转 Docker 容器技术(170)
网络模型有了,如何实现呢?为了保证网络方案的标准化、扩展性和灵活性,Kubernetes 采用了 Container Networking Interface(CNI)规范。CNI 是由 CoreOS 提出的容器网络规范,它使用了插件(Plugin)模型创建容器的网络栈。CNI 的优点是支持多种容器 runtime,不仅仅是 Docker。CNI 的插件模型支持不同组织和公司开发的第三方插件,这对...
2018-05-21 06:15:54
927
原创 网络模型 - 每天5分钟玩转 Docker 容器技术(169)
本节我们讨论 Kubernetes 网络这个重要主题。Kubernetes 作为编排引擎管理着分布在不同节点上的容器和 Pod。Pod、Service、外部组件之间需要一种可靠的方式找到彼此并进行通信,Kubernetes 网络则负责提供这个保障。本章包括如下内容:Kubernetes 网络模型各种网络方案Network PolicyKubernetes 网络模型Kubernetes 采用的是基于...
2018-05-17 20:34:17
572
原创 管理和安装 chart - 每天5分钟玩转 Docker 容器技术(168)
安装 chart当我们觉得准备就绪,就可以安装 chart,Helm 支持四种安装方法:安装仓库中的 chart,例如:helm install stable/nginx通过 tar 包安装,例如:helm install ./nginx-1.2.3.tgz通过 chart 本地目录安装,例如:helm install ./nginx通过 URL 安装,例如:helm install https:...
2018-05-16 07:06:42
688
原创 开发自己的 chart - 每天5分钟玩转 Docker 容器技术(167)
Kubernetes 给我们提供了大量官方 chart,不过要部署微服务应用,还是需要开发自己的 chart,下面就来实践这个主题。创建 chart执行 helm create mychart 的命令创建 chart mychart:Helm 会帮我们创建目录 mychart,并生成了各类 chart 文件。这样我们就可以在此基础上开发自己的 chart 了。新建的 chart 默认包含一个 ng...
2018-05-14 06:18:24
630
原创 再次实践 MySQL chart - 每天5分钟玩转 Docker 容器技术(166)
学习了 chart 结构和模板的知识后,现在重新实践一次 MySQL chart,相信会有更多收获。
2018-05-11 06:32:50
623
原创 chart 模板 - 每天5分钟玩转 Docker 容器技术(165)
Helm 通过模板创建 Kubernetes 能够理解的 YAML 格式的资源配置文件,我们将通过例子来学习如何使用模板。
2018-05-09 06:44:39
888
原创 chart 目录结构 - 每天5分钟玩转 Docker 容器技术(164)
chart 由一系列文件组成,这些文件描述了 Kubernetes 部署应用时所需要的资源,比如 Service、Deployment、PersistentVolumeClaim、Secret、ConfigMap 等。
2018-05-07 06:23:31
725
原创 使用 Helm - 每天5分钟玩转 Docker 容器技术(163)
Helm 的使用方法像极了 apt 和 yum,用 Helm 来管理 Kubernetes 应用非常方便。
2018-05-04 07:27:04
760
原创 用 ConfigMap 管理配置 - 每天5分钟玩转 Docker 容器技术(159)
本文讨论如何用 ConfigMap 管理应用的配置信息。
2018-04-25 05:08:33
1713
1
原创 volume 方式使用 Secret - 每天5分钟玩转 Docker 容器技术(157)
本节讨论如何以 volume 方式使用 secret。
2018-04-20 05:04:35
532
原创 查看 Secret - 每天5分钟玩转 Docker 容器技术(156)
可以通过 kubectl get secret 查看存在的 secret。
2018-04-18 06:21:36
973
原创 MySQL 如何使用 PV 和 PVC?- 每天5分钟玩转 Docker 容器技术(154)
本节演示如何为 MySQL 数据库提供持久化存储,步骤为:创建 PV 和 PVC。部署 MySQL。向 MySQL 添加数据。模拟节点宕机故障,Kubernetes 将 MySQL 自动迁移到其他节点。验证数据一致性。首先创建 PV 和 PVC,配置如下:mysql-pv.ymlmysql-pvc.yml创建 mysql-pv 和 mysql-pvc:接下来部署 MySQL,配置文件如下:PVC ...
2018-04-13 07:16:40
1012
原创 NFS PersistentVolume - 每天5分钟玩转 Docker 容器技术(151)
上一节我们介绍了 PV 和 PVC,本节通过 NFS 实践。
2018-04-06 05:25:07
735
原创 PV & PVC - 每天5分钟玩转 Docker 容器技术(150)
与普通 K8s Volume 相比,PersistentVolume 和 PersistentVolumeClaim 提供了更好的可管理性。
2018-04-04 05:37:17
1856
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人