KeepSeek-优快云博客

原创大数据技术之elasticsearch(3)

6、引名包含estest，对第三列进行排序。5、统计索引名包含estest的数量。4、查看集群所有索引信息。7、查看es集群健康状况。3、查看单个索引信息。

2025-04-13 21:46:54 65

原创大数据技术之kafka(2)

*查看单个topic对应的schema。**topic消费之后重置偏移量。**查看单个topic。**查看所有topic。**topic生产命令。**topic消费命令。

2025-04-13 21:28:04 310

hdfs dfs -getmerger /warehouse/tmp /tmp/tmp.csv //从hdfs下载文件。hdfs dfs -get /warehouse/tmp /tmp/tmp //从hdfs下载文件夹。hdfs dfs -put /tmp/1.csv /warehouse/tmp //上传到hdfs。hdfs dfsadmin -report //hdfs存储规模。parquet:列式存储，可以只读取需要的列数据，提高查询性能。

2025-04-13 20:37:12 50

原创大数据技术之linux进阶(1)

iptables-save > /etc/iptables.rules //将当前规则保存在ipta文件bles.rules。s/new2/old2/g' 1.txt,2.txt //多个文件替换多个内容。sed -i 's/new/old/g' 1.txt //1.txt文件中old替换成new。:5,10s/old/new/g //5-10行内替换old为new。:%s/old/new/g //全局替换old为new。

2025-04-13 20:37:00 150

原创大数据技术之linux基础(2)

只能进行像同步时间等操作，而无法修改服务器配置或者发送 trap 消息。//-- 增加内容如下（让硬件时间与系统时间一起同步）当该节点丢失网络时间，依然采用本地时间作为时间服务器。三台机器时钟同步192.168.1.1-3。1、主节点操作(修改两个文件)

2025-04-13 17:27:51 83

原创大数据技术之linux基础(1)

ssh-copy-id -i id_rsa.pub 10.58.11.1 //将公钥发送到其他节点。/dev/sdb磁盘1T要分为两个平均大小分区/dev/sdb1、/dev/sd。cat /etc/*release //详细操作系统信息。ssh-keygen -t rsa //生成公钥和私钥。cd ~/.ssh //进入.ssh文件。free -h //内存信息。df -h // 磁盘信息。p //分区。

2025-04-13 16:36:23 214

原创 springboot+vue(1)

4、在maven的conf目录下的settings.xml文件里的settings里添加jdk的信息。vue引入axios：npm install vue-axios --save(进行http请求)2、在解压后的node.js文件里，新建node_cache和node_global文件夹。npm install -g pnpm //下载pnpm,用pnpm下载比npm快。//删除指定npm缓存文件的存放路径的配置。//查看node.js和npm版本。//指定npm缓存文件的存放路径。

2025-03-18 21:03:25 262

原创 pytorch基础(2)

PyTorch 提供了类似于 NumPy 的张量操作，这些操作可以在 CPU 和 GPU 上执行，从而加速计算过程。： PyTorch 的计算图是动态的，这意味着它们在运行时构建，并且可以随时改变。这为实验和调试提供了极大的灵活性，因为开发者可以逐行执行代码，查看中间结果。： PyTorch 虽然以 Python 为主要接口，但也提供了 C++ 接口，允许更底层的集成和控制。： PyTorch 提供了大量的预定义层、损失函数和优化算法，这些都是构建深度学习模型的常用组件。1、pytorch简介。

2025-03-03 22:52:32 344

原创 Pytorch安装(1)

下载完是zip压缩包，解压在C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7。ctrl+shift+p打开命令面板输入:Python: Select Interpreter。创建虚拟环境:conda create -n pytorch python=3.12。查看所有安装环境:conda info --envs。5、在anaconda prompt验证。下载完是exe文件，安装完设置环境变量。在cmd验证CUDA安装。4、下载pytorch。

2025-02-19 22:43:43 271

原创大数据技术之windows虚拟机部署kerberos

4、hosts文件中加入ip和主机名的映射(这里是你要访问的linux集群节点ip、主机名)，windows系统下hosts文件在：C:\Windows\System32\drivers\etc下。3、将集群中kdc节点的/etc/krb.conf文件拷贝到C:\Program Files\MIT\Kerberos\路径下面，改名为krb.ini。在非安全网络环境下，windows客户端要访问集群的服务(yarn界面、hdfs界面等)，集群要认证你是否是它的客户端，身份验证。7、火狐浏览器相关配置。

2025-02-17 22:41:46 312

weixin_55207444的博客