- 博客(155)
- 收藏
- 关注
原创 计算图与自动微分
目前主流的 AI 框架都选择使用计算图来抽象神经网络计算表达,通过通用的数据结构(张量)来理解、表达和执行神经网络模型,通过计算图可以把 AI 系统化的问题形象地表示出来。神经网络的训练流程主要包括一下五个过程:1)前向计算、2)计算损失、3)自动求导、4)反向传播、5)更新模型参数。在基于计算图的 AI 框架中,这五个阶段统一表示为由基本算子构成的计算图,算子是数据流图中的一个节点,由后端进行高效实现。
2025-04-02 20:36:03
508
原创 grpc详解与项目架构
/ 1. 定义数据结构// 2. 定义 RPC 服务接口和的序列化代码的客户端和服务端代码(包含GetUser方法)作用:查找./proto目录及其子目录(最多3层)下的所有.proto文件输出示例。
2025-04-02 19:50:20
846
原创 计算机微分方法
自动微分与可微编程的概念自动微分的未来趋势是可微编程,即将自动微分技术深度融入语言设计、编译器、解释器和IDE等工具链中,让微分成为高级编程语言的核心特性。可微编程是一种编程范式,在这种范式下,数值计算程序能够始终利用自动微分来计算导数,进而实现对程序中参数的基于梯度的优化,常用的方法有梯度下降等基于高阶微分信息的学习方法。该编程范式在科学计算和AI等多个领域都有应用。可微编程框架的工作方式与分类大多数可微编程框架通过构建包含程序控制流和数据结构的图来运行。
2025-03-26 16:53:41
1179
原创 AI框架的作用
AI 框架最核心的作用是提供开发者构建神经网络的接口(数学操作),自动对神经网络训练(进行反向求导,逼近地求解最优值),得到一个神经网络模型(逼近函数)用于解决分类、回归、拟合的问题。前端(面向用户):如何灵活的表达一个神经网络模型?算子(执行计算):如何保证每个算子的执行性能和泛化性?微分(更新参数):如何自动、高效地提供求导运算?后端(系统相关):如何将同一个算子跑在不同的加速设备上?运行时:如何自动地优化和调度网络模型进行计算?
2025-03-26 16:48:06
288
原创 神经网络的简单数学基础
AI 框架最核心的作用是提供开发者构建神经网络的接口(数学操作),自动对神经网络训练(进行反向求导,逼近地求解最优值),得到一个神经网络模型(逼近函数)用于解决分类、回归、拟合的问题。
2025-03-25 15:29:39
1009
原创 k8s之Minikube基本使用指南
命令,可打开 Minikube 的 Dashboard 界面,通过该界面能以可视化方式管理集群。此命令最好在新终端中运行并保持开启状态。Minikube 提供了一组内置插件,可按需启用、禁用和查看。消息,请等待一段时间后重试。
2025-03-24 17:50:22
372
原创 k8s之在windows系统中搭建单节点k8集群:安装minikube、k9s、helm
Helm 是 Kubernetes 的包管理工具,可帮助你更轻松地管理 Kubernetes 应用程序的部署。安装完成后,你就可以使用 Helm 来管理 Kubernetes 应用程序的部署和配置了。虽然启动过程提示成功,但你可以进一步确认集群组件是否正常运行。此命令会列出所有命名空间下的 Pod 信息,若 Pod 的状态为。然后就可以搜索和安装各种 Helm Chart 了。如果成功安装,该命令会显示 Helm 的版本信息。脚本会自动下载并安装最新版本的 Helm。,就表明它们已正常运行。
2025-03-24 17:46:18
985
原创 AI芯片需要的特性(内附大量知识点)
AI芯片需具备对多样神经网络模型架构的灵活支持和高效执行特有计算逻辑的能力,以适应不同的应用需求。AI芯片应支持模型压缩算法,如量化和剪枝,以提高模型在终端部署时的推理性能,并实现软件算法与硬件执行的高效协同。AI芯片设计应考虑轻量化网络结构,支持更复杂的卷积运算和数据逻辑,以适应算力和带宽受限的场景。AI芯片需支持大模型的分布式并行策略,包括高效的片上网络接口和总线设计,以及大内存容量和高速互联带宽,以应对多芯片堆叠提高性能的需求。
2025-03-22 18:44:22
1111
原创 AI系统概述
这一层给用户提供AI编程要用的语言、接口和工具。目标是让用户能轻松表达任务和算法,不用操心底层实现。但抽象过度会没灵活性,尤其模型迭代快时,还得兼顾灵活和可调试。
2025-03-22 18:38:40
699
原创 k8s之fieldsV1 简单介绍
fieldsV1是 Kubernetes 的的一部分,用于记录字段的所有权信息。默认情况下,kubectl会隐藏,但通过查询时会包含它。你可以通过移除来生成与kubectl一致的 YAML 输出。
2025-03-21 17:30:47
271
原创 计算机网络——IP相关技术
DHCP基于UDP协议,工作在客户端/服务器模式下,主要用于为网络中的设备自动分配IP地址、子网掩码、默认网关、DNS服务器地址等网络配置信息,大大简化了网络管理员对大量设备进行IP地址分配和管理的工作,提高了网络配置的效率和准确性,增强了网络的可扩展性和灵活性。
2025-03-12 16:57:08
1010
1
原创 计算机网络——网络层IP
定义:子网掩码是一个32位的二进制数(在IPv4中),通常用点分十进制表示,如255.255.255.0。它与IP地址进行按位逻辑“与”运算,从而确定IP地址的网络部分和主机部分。通过子网掩码,可以将一个大的网络划分为多个子网,提高网络的管理和安全性。作用网络标识:子网掩码能够明确IP地址中哪些位代表网络地址,哪些位代表主机地址。
2025-03-11 13:52:40
835
1
原创 k8s之Kubebuilder最佳实践
在 Kubernetes 中,是一种用于建立资源之间父子关系的机制。它允许一个资源(子资源)明确指定另一个资源(所有者资源)作为其拥有者。通过这种方式,Kubernetes 能够理解资源之间的依赖关系,并基于这些关系执行一些操作,比如级联删除和事件触发。例如,当你使用 Deployment 创建 Pod 时,Deployment 会先创建一个 ReplicaSet,然后 ReplicaSet 再创建 Pod。在这个过程中,Pod 的字段会指向 ReplicaSet,而 ReplicaSet 的。
2025-03-06 15:22:40
715
原创 k8s之Kubebuilder安装与初步体验
使用Kubernetes的自定义资源定义语言(CRD),定义一个自定义资源来描述您的应用程序。除了必备的TypeMeta、ObjectMeta,CRD中还应包含 资源规范Spec 和 资源状态Status 字段。使用 kubectl 或 编写yaml 创建CR的实例使用 kubectl 或 其他kubernetes客户端工具 管理CR。
2025-03-05 18:31:12
1180
原创 k8s之Controller三机制
Kubernetes控制器通过声明式管理控制循环和事件驱动三种机制,确保集群的实际状态与用户期望状态一致。声明式管理提供了用户友好的资源定义方式,控制循环确保了系统的最终一致性,而事件驱动则提高了系统的实时性和响应速度。这三种机制相互配合,构成了Kubernetes强大的自动化管理能力。
2025-03-05 18:16:46
922
原创 Docker 网络模式
新建的容器和已经存在的一个容器共享一个网络 ip 配置而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。当 Docker 启动一个容器时会根据 Docker 网桥的网段分配给容器一个 IP 地址,称为。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的。容器将不会虚拟出自己的网卡而是使用宿主机的 IP 和端口。(代表网卡一,网卡二,网卡三。
2025-03-04 17:21:34
437
原创 k8s之List & Watch机制
List 操作是指从 API Server 获取某种类型资源的当前状态的完整列表。这个操作通常用于初始化资源的状态,以便后续的监控和管理。List 操作可以获取集群中某种类型的所有资源对象,比如所有的 Pods、Services、ConfigMaps 等。List 操作的特点全量获取:List 操作会返回指定资源类型的所有实例,包括每个实例的详细状态信息。这对于初始化和全面了解资源状态非常有用。一次性操作。
2025-03-04 15:54:25
439
原创 k8s之kubebuilder基础
Kubebuilder 是一个用于构建 Kubernetes API 的框架,专注于通过自定义资源定义(CRD)扩展 Kubernetes 的功能。它类似于 Web 开发中的 Rails 或 Spring Boot,能够显著减少 Kubernetes API 开发的复杂性,帮助开发者遵循最佳实践。
2025-03-04 15:48:43
778
原创 Go 数组、切片与map
对切片进行修改非常方便,可以通过索引进行赋值或修改现有元素的值。此外,还可以使用切片作为参数传递给某个函数,并在函数内部对切片进行修改。len()函数返回切片中实际存储的元素个数,而cap()函数返回切片底层数组的大小。切片的长度是不固定的,可以追加元素,在追加时可能使切片的容量增大。map是无序的,每次打印出来的map都会不一样,它不能通过index获取,而必须通过key获取。copy()函数用于将一个切片的内容复制到另一个切片中。用于向切片中添加元素,可以一次添加一个或多个元素。
2025-02-24 22:40:55
852
原创 容器——Cgroup简介
Cgroup 是 Linux 内核的一个特性,用于对进程组的资源(如 CPU、内存、磁盘 I/O 等)进行限制、监控和管理。每个 cgroup 是一个进程组,可以包含多个进程,该进程组有很多属性(这些属性需要通过关联子系统的方式附加上去(挂载),挂载完成后就得到了很多cgroup文件),用于限制、监控和管理该进程组的资源。
2025-02-24 21:39:27
1110
原创 容器——Docker 实现的基本原理
联合文件系统可以将多个目录(称为分支)挂载到同一个虚拟文件系统下。只读(readonly):不能修改。读写(readwrite):可以修改。白名单(whiteout-able):可以删除或隐藏文件。核心思想是分层存储,通过将多个只读层和一个可写层叠加在一起,形成一个完整的文件系统视图。
2025-02-22 21:37:52
1125
原创 Go 语言简介、编程规范与零散知识点
规范的语法:不需要符号表来解析。垃圾回收:独有垃圾回收机制。无头文件。明确的依赖。无循环依赖。常量只能是数字。int 和 int32 是两种类型。字母大小写设置可见性。任何类型都有方法。没有子类型继承。包级别初始化以及明确的初始化顺序。文件被编译到一个包里。没有数值类型转换。接口隐式实现。嵌入:不会提升到超类。方法按照函数声明。方法即函数。接口只有方法。方法通过名字匹配。没有构造函数和析构函数。postincrement(如 ++i)是状态。
2025-02-21 13:35:59
929
原创 k8s之GateKeeper简介
Gatekeeper是Kubernetes社区精心维护的开源项目,本质上是一款基于约束的政策管理工具。在Kubernetes集群管理领域,它扮演着至关重要的角色。用户借助Gatekeeper,能够自定义一组严谨的政策规则,以此对Kubernetes集群内资源的创建和修改过程进行全方位的限制与管控。它通过与Kubernetes的API Server深度集成,达成了对集群资源变化的实时监控。一旦有资源状态发生改变,Gatekeeper便会依据事先设定好的政策规则,即刻展开验证与合规性检查。
2025-02-21 10:13:55
918
原创 k8s之Endpoint详解
Endpoint是Kubernetes中的一种资源,用于描述Service的实际访问点。它包含了提供服务的Pod的IP地址和端口信息。这些信息是Kubernetes实现服务发现和流量分发的关键依据,通过记录具体Pod的网络信息,让外部请求能够准确找到提供服务的实例。
2025-02-20 20:10:45
786
原创 产品背景知识:大模型的参数
在人工智能的前沿领域,大模型正以其强大的能力重塑着我们对智能的认知。而大模型参数,作为模型的“内部零件”,则是理解这一强大技术的关键所在。这些参数各有独特用途,共同支撑起大模型的智能架构。
2025-02-20 18:34:25
1062
原创 k8s之Admission Controller
Admission Controller 是 Kubernetes 中一个强大的扩展机制,允许用户在 API 请求被处理之前对请求进行验证、修改或拒绝。通过准入控制器,用户可以实现各种自定义的业务逻辑,例如资源配额控制、安全策略检查、自动化配置注入等。Kubernetes 提供了两种主要的准入控制器实现方式:Server-Side Admission 和 Webhook Admission。以下是这两种方式的详细介绍、实现细节、优缺点以及适用场景。
2025-02-20 10:55:11
1048
原创 产品背景知识:离在线混部
类型排它(特指离线)支持共享(特指离线)是否绑核(特指CPU)是否独占(特指CPU)备注说明exclusive离线不可用不支持绑核独占排它独占,仅自己能用reserved离线可用支持允许绑核独占不排它独占,自己和离线可用、其它在线不可用shared离线可用支持不绑核不独占不排它共享,自己和其它在线shared、离线均可用none离线可用支持不绑核不独占不排它共享,离线使用,与reserved、shared共用。
2025-02-19 21:43:55
726
原创 k8s 之静态 Pod(Static Pod)详解
静态 Pod 是由 kubelet 直接管理的 Pod,其配置文件通常存于节点特定目录。kubelet 定时扫描这些配置文件,依其内容创建、更新或删除 Pod。与经 API 服务器管理的 Pod(如 Deployment、DaemonSet 等)不同,静态 Pod 不受 Kubernetes 控制面直接管控。
2025-02-19 10:57:50
685
原创 产品背景知识:网关
南北向流量关注的是内外互通与用户体验,需要保障安全性和延迟。东西向流量侧重于内部高效协同,需要优化带宽和实时性。两者共同保障了现代分布式系统的性能与可靠性。传统网关:分为流量网关和业务网关,分别处理全局策略和业务域策略。适用于单体架构或简单分布式架构。微服务网关:在分布式架构中提供统一入口、跨域、日志、认证和限流功能,适用于微服务架构。云原生网关:如Higress,将流量网关、微服务网关和安全网关集成,简化运维并提升性能。适用于容器化和Kubernetes主导的云原生架构。
2025-02-18 21:49:37
1025
orbslam3在ros节点运行报错
2024-05-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人