- 博客(319)
- 收藏
- 关注
RSS订阅原创 华为ensp模拟器
https://blog.youkuaiyun.com/weixin_45019523/article/details/121079957https://blog.youkuaiyun.com/weixin_43113691/article/details/124847964
2023-12-08 18:07:21
221
转载 openssl、x509、crt、cer、key、csr、ssl、tls这些都是什么鬼？
openssl、x509、crt、cer、key、csr、ssl、tls这些都是什么鬼？
2022-06-28 15:42:59
729
原创 ubuntu20.04搭建paddleOCR
ubuntu20.04搭建paddle ocr环境，过程曲折，主要是ubuntu操作系统版本有点混乱，除了主要版本，居然会有版本代号....，造成不同的代号版本的安装包资源不一致，尤其对于c++环境，不同版本代号有较大的差别。但是鉴于centos到期的情况，以后不得不转向ubuntu，所以，慢慢适应吧。...
2022-06-05 00:48:08
2918
原创 containerd配置下载镜像
导出镜像： ctr image export --all-platforms nginx.tar.gz docker.io/library/nginx:alpine导入镜像：[root@node2 ~]# ctr images lsREF TYPE DIGEST
2022-05-27 11:01:46
8876
转载 journal查看日志相关
注：只针对RHEL7系列系统 ~Systemd 统一管理所有 Unit 的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。日志的配置文件是/etc/systemd/journald.conf。平常我们查看启动日志只能查看本次启动的日志，上一次的无法查看就是这里需要修改，下面会简单介绍一下。journalctl功能强大，用法非常多。查看所有日志（默认情况下 ，只保存本次启动的日志）journalctl查看内核日志（不显示应用日志）journal
2022-05-26 20:39:58
4066
原创 ceph容灾验证
验证剧本ceph环境搭建，需要搭建14版本的ceph集群，提供三种数据接口，1.对象存储 2.块设备 3.文件系统数据导入，将原来的ceph数据（对象存储）导入到新的ceph集群中osd节点灾备恢复，分别对三种数据接口，进行osd节点摘除，按照三副本进行：情形一：按照一个文件的分布，按照摘除1个osd结论：摘除一个节点后，可以继续进行文件的读写；三个副本恢复后，仍然可以进行读写情形二：摘除2个osd节点结论：摘除两个节点后，不能继续对文件进行读写，只能读取数据，三个副本恢复后，可以正常进行读
2022-05-10 11:17:22
1011
转载 ceph讲稿
优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统Ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展Ceph 俨然已经发展为一整套存储解决方案，上层能够提供对象存储(RGW)、块存储(RBD)和CephFS，可以说是一套适合各种场景，非常灵活，非常有可发挥空间的存储解决方案组件基本组件Monitor：一个 Ceph 集群需要多个 Monitor 组成的小集群，它们通过 Paxos 同步数据，用来保存 OSD 的元数据。OSD：全称 Object Sto.
2022-04-21 14:24:51
538
原创 使用cephadm搭建ceph（octopus）过程
在学会搭建之前，先要学会卸载卸载过程：重命名命令alias ceph='cephadm shell -- ceph'#找到fsid[root@master1 ~]# ceph -sInferring fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6Inferring config /var/lib/ceph/008a0d2e-b163-11ec-ba7a-5254004c51c6/mon.master1/configUsing recent ceph imag
2022-04-01 11:27:55
2403
原创 安装ansible
安装ansible[root@centos7 ~]# yum install -y ansible已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.bfsu.edu.cn * extras: mirrors.bfsu.edu.cn * updates: mirrors.neusoft.edu.cnbase
2022-02-17 16:06:21
617
原创 centos7.9上面搭建superset开发环境
装anaconda环境下载anaconda进入到anaconda官网下载linux版本：https://www.anaconda.com/download/#linux安装anaconda#按照漫长的提示，完成安装anaconda[cyxinda@centos7 superset]$ bash Anaconda3-2021.05-Linux-x86_64.sh# 加载环境变量[cyxinda@centos7 superset]$ source ~/.bashrc [cyxinda@cent.
2021-10-15 15:54:15
1032
2
原创 centos7.9上面编译openjdk
centos7.9上面编译openjdk下载openjdk下载mercurial下载地址：[wget https://www.mercurial-scm.org/release/mercurial-5.9.2.tar.gz --no-check-certificate](wget https://www.mercurial-scm.org/release/mercurial-5.9.2.tar.gz --no-check-certificate)
2021-10-15 14:07:27
575
原创 spark3.1.2环境搭建
Spark环境搭建Spark环境搭建下载spark配置过程复制spark到各个节点启动spark启动timelineserver服务在yarn-site.xml中添加如下配置：重启yarn服务启动timelineserver服务验证spark-shellspark on hive配置通过spark-sql连接使用thriftserver服务，利用beeline连接代码方式（暂略）设定Spark动态资源分配配置过程修改yarn配置增加Spark配置启动shtiftserver服务任务执行Spark环境搭建
2021-08-26 20:55:43
2449
原创 使用spark导入sqlserver表数据（sqoop替代方案）
spark导入sqlserver表数据背景代码启动spark任务验证背景随着sqoop的停止更新，spark支持jdbc数据源，数据导入工具已经开始转移到了spark原生导入，本文基于该功能做些实践。代码java代码如下：import lombok.extern.slf4j.Slf4j;import org.apache.spark.sql.SaveMode;import org.apache.spark.sql.SparkSession;import java.io.File;impo
2021-08-26 16:56:55
1665
8
原创 spark sql 操作hive表（java）
spark sql操作hive表spark sql操作hive表创建数据集spark脚本打包上传jar查看运行结果spark sql操作hive表参考spark官网实例：http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html官网实例是有问题的，本文在这个实例基础上进行改进创建数据集将kv1.txt文本放入hdfs:///demo/input/hive/kv1.txt[hadoop@node3 ~]$ hdfs d
2021-08-24 16:29:19
2485
原创 hadoop3.3.1搭建过程(HA)
本文总结自：https://blog.youkuaiyun.com/Akari0216/article/details/107861974centos版本为7.9，java版本是自带的openjdk1.8.0，hadoop版本为3.2.1查看操作系统版本安装redhat_lsbyum install redhat-lsb-core -y查看系统版本[hadoop@master2 dfs]$ lsb_release -aLSB Version: :core-4.1-amd64:core-4
2021-08-13 10:25:40
1436
3
原创 linux下建分区
新建分区命令：fdisk /dev/vda //进入硬盘分区表n //新加分区，一直回车之后w //保存保存partprobe #强制刷新分区表mkfs -t ext4 /dev/vda2 #格式化分区mount /dev/vda2 /data #挂载建好分区后，加入启动项： vim /etc/fstab blkid /dev/vda2 #获取uuid和type# 然后添加/etc/fstab一行 UUID=f41e390f-835b-4223-a9bb-9b459
2021-08-10 17:37:49
434
原创 jmh环境搭建
安装maven插件mvn install:install-file “-DgroupId=org.apache.maven.archetypes” “-DartifactId=maven-archetype-quickstart” “-Dversion=1.1” “-Dpackaging=jar” “-Dfile=D:\tools\apache-maven-3.6.3\lib\maven-archetype-quickstart-1.1.jar” --settings D:\tools\apache-m
2021-08-04 09:54:28
246
原创 linux7.6.1810使用firefox截屏（网页快照screenshot snapshot）
linux 网页快照查看linux版本安装Firefox安装字体设置中文显示执行命令获取截屏如下是低版本的安装过程下载到本地查看图片查看linux版本yum -y install redhat-lsb(base) [root@nlu-ca-1 firefox]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1
2021-07-28 11:20:47
1211
原创 mysql一些小技巧
查询数据库隔离级别select @@tx_isolation;分析慢sql主要是查看这三个字段的信息：long_query_time：sql执行多久才算慢sql，默认是10s；slow_query_log：慢日志是否开启，默认是OFF；slow_query_log_file：慢日志存放的位置索引索引统计基数show index from raw_pdp_data;触发基数统计analyze table raw_pdp_data;分析查询使用索引explain select...
2021-07-21 18:02:42
120
原创 mysql数据库锁
全局锁：Flush tables with read lock (FTWRL)全局锁，是指对整个数据库加锁。使用场景是全库逻辑备份。官方自带的逻辑备份工具是 mysqldump。当 mysqldump 使用参数–single-transaction 的时候，导数据之前就会启动一个事务，来确保拿到一致性视图。而由于 MVCC 的支持，这个过程中数据是可以正常更新的。（支持事务的引擎才能用这个参数）mysqldump -h127.0.0.1 -uroot -p123456 --single-transa
2021-07-19 14:10:29
463
原创 使用easyexcel编辑公式
参考：https://blog.youkuaiyun.com/weixin_39723544/article/details/112778366填充公式主要是通过CellWriteHandler来实现的 @Test public void customHandlerWrite() { String fileName = TestFileUtil.getPath() + "customHandlerWrite" + System.currentTimeMillis() + ".xlsx"
2021-06-18 16:28:03
6197
4
原创 spark初探
第一次使用spark进行大数据处理，记录下过程：使用python准备工作安装pip：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython3 get-pip.py安装pyspark模块：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark编写wordcount.py程序from pyspark.sql import SparkSessionap
2021-06-09 12:02:54
218
3
原创 记一次jvm堆栈分析
使用jstack导出线程堆栈使用jmap导出堆内存jmap -dump:format=b,file=HeapDump.hprof 使用VisualVM在jdk的bin目录下，打开自带的jvisualVm工具点击打开按钮根据线程堆栈中在内存堆栈中，查找对象
2021-06-02 14:56:03
164
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人