weixin_42795092的博客

原创 大语言模型应用和训练（人工智能）

原创 TensorFlow

TensorFlow 最初是为了满足 Google 内部大规模机器学习需求而研发，后于 2015 年开源。它提供了一个强大且灵活的生态系统，支持从简单的机器学习算法到复杂的深度学习模型的开发和训练。其核心优势在于能够高效处理大规模数据和复杂计算，并且可以在多种硬件平台上运行，如 CPU、GPU、TPU 等。

原创 CentOs系统部署DNS服务

指定了允许哪些 IP 地址进行 DNS 查询，这里配置为允许任何 IP 地址查询。以上步骤完成后，你就在 CentOS 系统上成功部署了 DNS 服务。正向查找区域用于将域名解析为 IP 地址。反向查找区域用于将 IP 地址解析为域名。指定了监听的 IP 地址和端口，，你可以使用文本编辑器（如。Bind 的主配置文件是。添加如下内容（假设域名为。目录下创建反向区域文件。

原创 DNS部署

DNS 解析：DNS（Domain Name System）解析是一个分布式的域名解析系统，通过多级域名服务器的协作，将域名转换为对应的 IP 地址。它是互联网基础设施的重要组成部分，全球范围内的网站访问大多依赖 DNS 系统来实现域名到 IP 的转换。Hosts 文件：Hosts 是一个本地计算机上的文本文件，用于手动配置域名和 IP 地址的映射关系。它存在于各个操作系统中，作为一种简单的域名解析方式，优先级高于 DNS 解析。

原创 Web Service技术

Web Service 是一种通过互联网协议（如 HTTP）提供服务的软件组件，它使用标准的 XML 格式来封装数据和消息，以实现不同平台、不同编程语言之间的互操作性。简单来说，它允许不同的应用程序像调用本地方法一样调用远程的服务接口，而无需关心服务的具体实现细节和底层技术。

原创 SOA 架构

原创 你从大数据源码中读到了哪些东西

原创 开源线下大数据平台的数据如何上云

根据具体的开源大数据平台和云服务的特点，编写自定义的脚本或程序来实现数据上云。例如，对于一个基于 Hadoop 和 Spark 的线下大数据平台，要将数据上传到华为云的对象存储服务（OBS）中，可以编写一个 Spark 程序。在程序中，首先使用 Spark 的textFile等方法从 Hadoop 的 HDFS 中读取数据，然后通过 OBS 的 Java SDK 将数据写入到 OBS 中。通过这种方式，可以根据实际需求对数据进行灵活的处理和上传，同时可以更好地控制数据上云的过程。

原创 云平台等保级别分别对应哪些要求

原创 大模型推理优化

原创 云架构设计与规划

原创 计算机怎么用0和1怎么表达一个单词或一个汉字

计算机使用特定的编码标准，将 0 和 1 组合起来表达单词或汉字，以下为你详细介绍常见编码规则及表达过程。

原创 dockerfile构建镜像方式

在 Docker 中，可使用命令依据 Dockerfile 构建镜像。下面为你详细介绍构建镜像的具体方式。

原创 spring cloud代码如何上云

将 Spring Cloud 代码上云，一般要先对代码进行配置和打包，然后依据云平台的特性选择合适的部署方式。

原创 如何做管理

原创 mysql数据实时全量+增量迁移

将mysql数据全量+增量的进行迁移

原创 什么是统一身份认证服务

IAM统一身份认证服务

原创 容器上云方案

docker 容器

原创 vpc网络之间的关系

vpc网络

原创 vpc网络的原理

一、VPC的基本概念和功能VPC是一个专有的云上私有网络，允许用户在公共云上配置和管理一个逻辑隔离的网络区域。用户可以自定义IP地址范围、创建子网、配置路由表和网络网关。VPC提供了类似于传统数据中心的安全和可配置的私有网络空间，同时又具备云计算的弹性和可扩展性‌。

原创 机器人的硬件设备的寄存器或其他控制接口能识别的程序

机器人大脑，会思考的机器人

原创 用人工智能程序驱动机器人工作

给机器人安装上大脑

原创 驱动电机系统工作的语言

电机，硬件驱动编程

原创 液压系统和气压系统都有哪些语言来控制

介绍一下顺序功能流程图（Sequential Function Chart，SFC）语言。梯形图语言（LD）和功能块图语言（FBD）有什么相似之处？编写液压或气压系统控制程序时，如何选择合适的编程语言？

原创 电脑怎么控制机器人工作

软硬件怎么结合

原创 IT团队管理协作该怎么做

IT团队管理，IT团队协作

原创 IT运维管理要具备哪些能力

IT运维，云计算，大数据

原创 GPU运维常用命令

这些命令涵盖了GPU运维中的监控、管理、调试等常见任务，帮助运维人员有效管理和优化GPU资源。`nvidia-smi` 是NVIDIA提供的命令行工具，用于监控和管理GPU状态。显示系统中所有GPU的使用情况（需安装`gpustat`工具）。显示GPU的详细信息，包括温度、风扇速度、电源使用等。重置指定GPU（`<GPU_ID>`为GPU编号）。### 1. **NVIDIA-smi 命令**### 5. **Docker 相关命令**### 2. **CUDA 相关命令**

原创 GPU大规模集群运维

CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的通用并行计算平台和程序模型，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA架构编写程序，所编写出的程序可以在支持CUDA的处理器上以超高性能运行。CUDA官方文档CUDA的软件环境允许开发者使用C++等高级编程语言开发程序。

原创 GPU的运维与管理

当应用程序遭遇到 GPU 显存硬件错误时,NVIDIA 自纠错机制会将错误的内存区域 retire 或者 remap,retirement 和 remapped 信息需要记录到 infoROM 中才能永久生效。当应用程序遭遇到 GPU 不可纠正的显存 ECC 错误时,NVIDIA 错误抑制机制会尝试将错误抑制在踩到硬件故障的应用程序,而不会让错误导致 GPU 上的所有应用程序受到影响。除了一些物理的方法，从纯软件层考虑，可以直接将温度超过阈值的 GPU 上面的应用程序杀掉，使其更换到其他的 GPU 上。

原创 mariadb数据库的安装与部署

5、修改mariadb数据访问形势，哪些ip是可以访问我们的数据库的，这里放通了所有主机都可以访问。执行命令：mysql_secure_installation。4、修改mariadb数据库默认密码，数据库默认密码为空。1、通过yum源安装mariadb数据库。3、配置mariadb数据库全局环境变量。2、启动mariadb数据库服务。

原创 wordpress部署nginx版的

并赋予wordpress权限chmod -R 777 wordpress。并将安装包放在/usr/share/nginx/html 目录下。下载wordpress-5.4.5-zh_CN.zip。进入wordpress目录。在nginx配置文件加入以下配置。4、下载wordpress安装包。通过yum源安装php相关软件。1、用yum源安装nginx。3、编辑nginx配置文件。2、安装php相关软件。

原创 hadoop集群的安装与部署

关于文件-块-DataNode关系的元数据保存到内存中HA（High Availablity）高可用，一主一从，从节点不断给主节点发送心跳信息，重试几次依然没有收到主节点返回的信息，就认为主节点死掉了，从节点变为主节点。两个主节点同时存在问题是脑裂，从节点发出请求强制关闭主节点。fsimageedits日志文件1、Map 阶段每个节点单独处理一个文件切片（缺省就是一块）处理后的结果文件先排序存储在100M内存中，如果达到80%，则转存到本地硬盘，一个分区一个文件map任务。

原创 Hive的安装与部署

加载分区表数据：hive> load data local inpath '/home/hadoop/input/hive/partitions/file1' into table logs partition (dt='2001-01-01',country='GB');启动远程服务（端口10000） hive --service hiveserver2 & hive --service hiveserver 10000>/dev/null 2>/dev/null &

原创 HBase的原理

HBase是一个分布式，版本化，面向列的数据库，依赖Hadoop和Zookeeper（1）HBase的优点提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统(2) HBase 表的特性Region包含多行列族包含多个列Region Server管理一定数量的Region如果一个Region Server宕机了，Master节点会重新将其负责的Region分配给其他Region Server。

原创 k8s的ip地址分别都是从哪里来的

服务 IP 地址的来源在 Kubernetes 中，服务 IP（Cluster - IP）是由集群内部的网络插件和 Kubernetes 控制平面共同分配的。它来自于一个预定义的服务 IP 网段。这个网段通常是在集群初始化阶段确定的，并且是专门用于服务发现和内部通信的虚拟 IP 地址。例如，在很多 Kubernetes 集群中，默认的服务 IP 网段是。当创建一个服务时，Kubernetes 会从这个网段中选择一个未使用的 IP 地址分配给该服务。

原创 如何使用Spark Streaming

updateStateByKey可以实现对一个Key到现在为止所有的value进行聚合(1)对于每个batch，Spark都会为所有已经存在的key去应用一次state更新函数，无论这个key在batch中是否有新的数据。如果state更新函数返回none，那么key对应的state就会被删除。(2)需要设置检查点目录：ssc.checkpoint("file:///c:/wordcount_checkpoint")

原创 如何使用SparkSql

用户自定义聚合函数。

原创 SparkStreaming集群调优

（1）输入数据：默认情况下，接收到的输入数据，是存储在Executor的内存中的，使用的持久化级别是StorageLevel.MEMORY_AND_DISK_SER_2。（1）使用Kryo序列化机制来序列化task，可以减小task的大小，从而减少发送这些task到各个Worker节点上的Executor的时间。（3）使用Kryo时，一定要考虑注册自定义的类，并且禁用对应引用的tracking（spark.kryo.referenceTracking）（3）DStream的持久化。

原创 Spark的原理以及使用

/ spark-submmit 集群上提交时，需要注释该行。# 各个节点都存在 /usr/local/spark-wordcount-scala.jar。3、使用jps和8080端口可以检查集群是否启动成功 http://node1:8080/node1是Master，node1/node2/node3启动Worker进程。（1）transformation：转换，根据已有的RDD创建一个新的RDD。creation：创建，两种方式创建RDD，一是集合，二是外部文件。