- 博客(60)
- 收藏
- 关注
RSS订阅原创 Centos7安装cloudreve+onlyoffice
2.2 (在cloudreve的管理面板-参数设置-图像预览的文件预览地址配置中将配置修改成onlyoffice的地址)//回调地址，一定要保证docserver可以请求到，否则开不开文件。2.1 docker安装cloudreve。1.4 修改default.json文件。1.1 安装onlyoffice镜像。1.2 编辑view.html文件。1.3 拷贝页面到docker下。修改文件预览大小限制以及超时。//编辑模式 edit。
2023-07-26 16:15:24
1013
1
原创 Hive使用(3.1.3)
1.hive shell常用命令2.hive常用数据类型3.hive常用文件格式总结： 以上压缩格式中 ORC 和 Parquet 的综合性能突出，使用较为广泛，推荐使用这两种格式。指定存储格式，通常在导入ORC 和 Parquet之前先创建Text File临时表，然后通过insert into select来导入到ORC 和 Parquet格式表中；4.hive表类型6.hive元信息表描述...
2022-06-09 15:55:24
868
1
原创 Hive安装(3.1.3)
HBase安装(2.4.9)1.下载&解压安装包#下载解压hbasewget https://www.apache.org/dyn/closer.lua/hbase/2.4.9/hbase-2.4.9-bin.tar.gztar -zxvf hbase-2.4.9-bin.tar.gz
2022-06-01 11:19:13
942
原创 Centos配置DNS
Centos配置DNS修改NetworkManager.conf 配置文件vi /etc/NetworkManager/NetworkManager.conf#在[main]中添加dns=no修改resolv.conf配置文件vim /etc/resolv.conf#添加dnsnameserver 114.114.114.114
2022-04-09 17:49:56
10523
原创 修改Centos最大连接数
修改Centos最大连接数#查看当前最大连接数ulimit -n1024#编辑最大连接数vi /etc/systemd/system.conf#DefaultLimitCORE=#DefaultLimitRSS=DefaultLimitNOFILE=1024000#DefaultLimitAS=DefaultLimitNPROC=1024000#DefaultLimitMEMLOCK=#DefaultLimitLOCKS=#DefaultLimitSIGPENDING=#Def
2022-04-09 16:00:48
1316
原创 minio部署
minio部署1. 安装minio#下载miniohttps://dl.min.io/server/minio/release/linux-amd64/#添加可执行权限chmod +x minio#下载prometheus监控https://prometheus.io/download/#解压tar -zxvf prometheus-2.33.3.linux-amd64.tar.gz#编辑prometheus.yml文件，添加监控如下scrape_configs:- job_nam
2022-02-14 16:56:53
3121
原创 HBase性能调优
HBase性能调优1.列族设置生存时间（TTL-单位为秒） create 'user', {NAME => 'info', TTL => '18000'}当系统在某些场景下需要删除历史数据时，可以通过配置TTL来设置数据的存放时间，过期的数据会在大合并的时候被真正删除；版本数 create 'user', {NAME => 'info', VERSIONS => 3}在0.96版本之前默认每个列族有3个version，0.96之后默认每个列族有一个版本，在
2022-02-06 14:47:40
1692
原创 深入HBase
深入HBase1.HBase架构分析zookeeper：1.为HBase集群提供协调服务；2.管理HMaster和HRegionServer的状态；3.在HRegionServer宕机时通知HMaster；HMaster：Hmaster为HBase集群的主节点，集群支持多个HMaster主节点（根据zookeeper选主），以此实现HA；主要职责：1 管理HRegionServer，实现负载均衡；2 管理和分配Region；3 管理namespace和Table的元数据（存储
2022-02-05 15:51:59
1301
原创 HBase安装(2.4.9)
HBase安装(2.4.9)1.下载&解压安装包wget https://www.apache.org/dyn/closer.lua/hbase/2.4.9/hbase-2.4.9-bin.tar.gztar -zxvf hbase-2.4.9-bin.tar.gz
2022-02-04 17:03:56
1887
原创 Zookeeper安装(3.6.3)
Zookeeper安装(3.6.3)1.下载&解压安装包#下载解压zookeeperwget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz#解压zookeepertar -zxvf apache-zookeeper-3.6.3.tar.gz 2.修改配置文件cp zoo_sample.cfg zoo.cfg#编辑zoo.cfg文件d
2022-02-04 16:11:36
1501
原创 YARN分析
YARN分析1.YARN描述YARN作为一个公共的资源管理平台，实现hadoop集群的资源共享，任何满足规则的计算引擎都可以在上面执行，YARN不仅仅支持MapReduce，还支持Spark、Flink等计算引擎；2.YARN架构分析YARN分为2个部分，ResourceManager、NodeManager；YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点不限制；...
2022-02-02 15:13:20
653
原创 vmware设置固定ip
vmware设置固定ip1.编辑虚拟网络编辑器2.本地网络设置3.虚拟机设置vi /etc/sysconfig/network-scripts/ifcfg-eth33`BOOTPROTO="static"IPADDR="192.168.73.100"NETMASK="255.255.255.0"GATEWAY="192.168.73.1"4.dns设置vi /etc/resolv.confnameserver 8.8.8.8nameserver 8.8.4.4
2022-01-28 15:48:19
2341
原创 Mongodb安装
Mongodb安装1.docker单节点安装docker run --name mongodb \-m 1024M \--restart=always \-v /home/dev/mongodb/datadir:/data/db -p 27017:27017 \-e MONGO_INITDB_ROOT_USERNAME=admin\-e MONGO_INITDB_ROOT_PASSWORD=123456 \-d mongo:4.4.11-rc1-focal
2021-12-28 14:33:51
665
原创 shuffle过程分析
shuffle过程分析1.Shuffle的作用范围数据从Map阶段输出到Reduce阶段的过程称之为shuffle；2.Shuffle图解如上图所示，shuffle并不是hadoop的一个组件，而是map阶段产生数据输出到reduce阶段取得数据作为输入之前的一个过程；3.Shuffle的执行阶段流程1.首先根据split，每个split会产生一个map task任务，map task的作用就是将<k1,v1>作为输入，输出为<k2,v2>；2.输出的<k2,v
2021-12-10 15:14:02
406
原创 HDFS深入分析
HDFS深入分析# 查看当前路径文件信息bash hdfs dfs -ls /#将test.txt文件上传到根目录bash hdfs dfs -put test.txt /#查看test.txt内容bash hdfs dfs -cat /test.txt#下载test.txt文件到当前目录bash hdfs dfs -get /test.txt .#创建a文件夹bash hdfs dfs -mkdir /a#删除文件bash hdfs dfs -rm /test.txt#删除文件夹
2021-12-09 14:48:39
1705
原创 HDFS常用shell操作
HDFS常用shell操作# 查看当前路径文件信息bash hdfs dfs -ls /#将test.txt文件上传到根目录bash hdfs dfs -put test.txt /#查看test.txt内容bash hdfs dfs -cat /test.txt#下载test.txt文件到当前目录bash hdfs dfs -get /test.txt .#创建a文件夹bash hdfs dfs -mkdir /a#删除文件bash hdfs dfs -rm /test.txt#
2021-12-08 17:02:19
1129
原创 Hadoop安装(3.3.1)
Hadoop安装1.设置主机名hostname hadoop01 #设置临时主机名vi /etc/hostname #设置永久主机名2.设置hostsvi /etc/hosts192.168.136.103 hadoop01192.168.136.104 hadoop02192.168.136.105 hadoop031.下载hadoop安装包wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
2021-12-08 15:29:18
1691
原创 Linux常用命令
Linux常用命令1.grep命令#|表示管道，用于表示将前面命令的输出当做后面命令的输入#查找ssh进程ps -ef|grep sshd#查找ssh进程,排除掉grep本身ps -ef|grep sshd|grep -v grep#查看字符串所在文本中的行数grep -n 'hello' a.txt2.find命令#.表示当前目录，ls表示展示详细信息#查找当前目录(包括子目录)下符合*.txt格式的文件，并展示详细信息find . -name '*.txt' -ls#查
2021-12-02 18:13:47
155
原创 seata-server安装(nacos)
seata安装1.下载seata-serverhttps://github.com/seata/seata/releases2.创建seata-server数据库及表https://github.com/seata/seata/tree/1.4.0/script/server/db3.修改seata-server的registry.conf文件#修改为如下配置registry { # file 、nacos 、eureka、redis、zk、consul、etcd3、sofa ty
2021-11-30 17:09:20
1775
原创 FastDFS安装
FastDFS安装1.安装编译环境yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y2.使用的系统软件名称说明centos7.xlibfastcommonFastDFS分离出的一些公用函数包FastDFSFastDFS本体fastdfs-nginx-moduleFastDF
2021-11-24 11:47:49
164
原创 常用docker软件安装
安装mysql5.7(docker)1.安装mysqldocker run --name mysql -p 3307:3306 -v /home/dev/mysql_data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.362.sql_mode解决 only_full_group_by问题#查看当前sql_modeSELECT @@sql_mode#将docker mysqld.cnf拷贝到容器外docker cp m
2021-11-15 10:43:57
1109
原创 安装k8s-dashboard(helm)
安装k8s-dashboard(helm)# 生成证书openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout k8s_dashboard.key -out k8s_dashboard.crt -subj "/CN=k8s-dashboard.com/O=k8s-dashboard.com"# 生成secretkubectl create secret tls kubernetes-dashboard-certs -n kube-sy
2021-10-22 11:17:21
293
原创 安装coredns(helm)
安装coredns(helm)# 添加仓库资源helm repo add coredns https://coredns.github.io/helm# 安装helm install coredns coredns/coredns \--namespace kube-system \--set image.repository=coredns/coredns \--set image.tag="1.8.4" \--set service.clusterIP="10.255.0.2"
2021-10-20 15:13:25
462
原创 安装ingress(helm)
安装ingress(helm)1.拉取ingress chart# 添加仓库资源helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx# 更新仓库helm repo update# 检索charthelm search repo ingress-nginx# 拉取charthelm pull ingress-nginx/ingress-nginx2.编辑values.yaml# 添加仓库资源
2021-10-20 15:04:01
1338
原创 安装helm
搭建helmwget https://get.helm.sh/helm-v3.7.1-linux-amd64.tar.gztar -zxvf helm-v3.7.1-linux-amd64.tar.gzcp linux-amd64/helm /usr/local/bin/helmhelm version
2021-10-18 15:26:55
64
原创 搭建mysql(k8s)
搭建mysql(k8s)1.创建mysql-pvapiVersion: v1kind: PersistentVolumemetadata: name: mysql-pvspec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: nfs nfs: path: /home/public
2021-09-13 18:13:24
231
原创 搭建NFS
搭建NFS1.检查是否已安装rpm -qa nfs-utils rpcbind#rpcbind-0.2.0-12.el6.x86_64#nfs-utils-1.2.3-70.el6_8.2.x86_642.安装nfs-utils rpcbindyum install -y nfs-utils rpcbind3.启动服务#先启动rpc服务systemctl start rpcbind#设置开机启动systemctl enable rpcbind#启动nfs-serversyste
2021-09-02 20:54:23
63
原创 工具POD(busybox)
工具POD(busybox)1.yaml文件apiVersion: v1kind: Podmetadata: name: busyboxspec: containers: - image: busybox command: - sleep - "3600" imagePullPolicy: IfNotPresent name: busybox
2021-07-23 16:17:39
615
原创 filebeat部署(EFK)
filebeat部署(EFK)1.下载filebeat yaml文件wget https://raw.githubusercontent.com/elastic/beats/6.8/deploy/kubernetes/filebeat-kubernetes.yaml2.修改配置# 1.调整索引名格式# 2.DaemonSet的apiVersion改为apps/v1，添加selector标签# 3.修改es配置...
2021-03-23 15:29:04
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人