shy_snow的专栏

接口文档https://docs.apipost.cn (不是最新, 以前端代码为准)

使用docker部署xwiki。 git clone https://github.com/xwiki/xwiki-docker.git cd xwiki-docker/16.4/mysql-tomcat ls -a docker-compose up -d.env修改mysql数据库密码。

xwiki是基于java的开源知识库，可以替代Confluence。有多种部署方式，本文使用war方式部署在tomca下，需要提供jdbc驱动jar包，修改WEB-INF/hibernate.cfg.xml，解压xip包，按向导一步步部署即可。xwiki会自动建表。

Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式 AI 应用。Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

大模型配置config.toml中的大模型配置，一个是全局的一个是特殊的，可以使用同一个。可以使用硅基流动的deepseek大模型，自己修改相关配置。内容如下python main.py直接启动命令行对话，没有页面。

1：安装 WSL：wsl --install2：安装 CentOS 7，下载CentOS7 ZIP并解压运行 CentOS7.exewsl -d CentOS73：更改yum 源wget http://mirrors.aliyun.com/repo/Centos-7.repo4：安装 Docker，wget http://mirrors.aliyun.com/docker-ce/linux/static/stable/x86_64/docker-20.10.24.tgz

parted /dev/sdbmklabel gptmkpart primary 2048s 100%align-check optimal 1quitmkfs.xfs -f /dev/sdbmount /dev/sdb /srv/BigData/hadoop/data1echo "/dev/sdb /srv/BigData/hadoop/data1 xfs defaults,noatime,nodiratime 1 0" >>/etc/fstab

Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置，这是不方便的地方。

为了让内网使用pip下载安装,需要在内网中创建pip源,类似离线仓库。使用pypiserver可以指定离线仓库目录， 将安装包放到离线仓库目录即可，只要有人上传一次后，其他人需要该模块，就不用再花时间去外网找了。不必一次同步全量的离线包，毕竟全量镜像可能有3T多。一、服务器安装 pypiserver#安装or。

根据操作系统选择安装包,可以在这找下https://packages.microsoft.com/config我选择是先在一台有网的机器上下载好rpm安装包之后再传到内网机器上安装。

zookeeper3.6安全漏洞CVE-2022-2048和CVE-2021-28169, 替换zookeeper的lib目录下的7个jetty为9.4.47版本jar包后重启zookeeper,即可。jetty9.4.47下载地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/

通过curlftpfs将远程ftp某个共享目录映射到本地目录,以达到多台机器共享同一目录的效果。首先安装ftp服务yum -y install epel-release;yum install vsftpd,然后 yum install curlftpfs在各节点安装curlftpfs并挂载远程ftp共享目录到本地即可在本地操作远程ftp共享目录curlftpfs -o codepage=utf8 ftp://username:password@yourip /home/share。

hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。

修改product/12.1.0/dbhome_1/network/admin/sqlnet.ora增加SQLNET.ALLOWED_LOGON_VERSION_SERVER=8SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8重启数据库及监听;sqlplus / as sysdba;shutdown immediatestartuplsnrctl stoplsnrctl start;修改用户密码;alter user 用户名 identified by 新密码;

yum安装 yum install postgresql postgresql-server 创建数据库,修改密码,放开远程访问限制,重启

bin/false 限制不使用ssh, ChrootDirectory限制sftp根目录(该目录必须为root用户root属组,权限要是755,可以在该目录创建子目录并修改子目录属组来给其他用户操作)

​ 离线环境下如果没有ntp服务器,可以选择一台机器作为时间服务器,其他机器作为客户端向该机器获取时间。所有机器上都要安装ntp, 配置时间服务器时服务器和客户端的配置不同,服务器配置server 127.127.1.1,客户端要配置服务端的真实ip。

apt-get clickhouse*.deb安装。配置组网信息metrika.xml。config.xml放开本地访问限制,放开注释，引用组网信息 /etc/metrika.xml。连接客户端测试建分布式表语句clickhouse-client --password 123

进入CygWin环境之后使用split命令切分文件,在linux只要使用cat命令合并写入一个文件即可。window没有split命令需要安装CygWin。-b是按大小切分, -l是按行数切分。

报错: Domain requires KVM, but it is not available. Check that virtualization is enabled in the host BIOS, and host configuration is setup to load the kvm modules.解决:重启物理机,在启动时按F2进入BIOS设置页面查找VirtualizationTechnology或者Virtualization选项设置开启后,按F10保存并退出。...

1.安装deb文件dpkg -i *.deb安装过程中会要求你设置的mysql的root密码2.修改/etc/my.cnfdatadir = /data01/MPP/mysql/databind-address=0.0.0.03.重启mysqlsystemctl stop mysql.servicesystemctl start mysql.service4.查看状态systemctl status mysqld5.创建远程访问用户并赋权限

使用一个小demo模拟jvm进程,并开启jmx端口8077下载并启动jmx_export组件下载https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar本文使用0.3.1版本,因为grafana里现成的面板模板很多都是基于老版本的，新版本修改了标签名称会无法在grafana里显示出来。两种启动方式,两种jar...

在 amd 和 arm 架构下构建的镜像很有可能不能互通。解决办法：针对不同的硬件架构构建不同的镜像，或者构建跨架构（multi-arch）的镜像。

先在有网机器上下载安装包并复制到离线机器上。然后,借助createrepo将离线安装包目录发布为本地软件源并yum makecache。最后，在离线机器上使用yum安装软件。yum install -y --downloadonly --downloaddir=/tmp/ceph ceph-deploy createrepo /tmp/ceph yum makecache 其他软件也是类似的做法。......

因为需要复用机器部署另外一套tidb集群,端口冲突了,修改topology.yaml指定端口总是错误,无奈使用tiupclusteredit-configtidb,然后复制出来修改端口号。

1. 下载 pushgateway-1.4.3.linux-amd64.tar.gz解压缩到指定目录2. # 后台运行 pushgateway nohup /usr/local/pushgateway/pushgateway > run.log 2>&1 &3. # 配置prometheus.yml 后重载prometheus

sed -i 's/6379/7000/' redis.conf sed -i 's/daemonize no/daemonize yes/'/opt/MPP/redis/src/redis-cli --cluster create 192.168.26.15:7000 192.168.26.15:7001 192.168.26.16:7002 192.168.26.16:7003 192.168.26.17:7004 192.168.26.17:7005 --cluster-replicas 1

tiup cluster edit-config tidb-dev修改配置文件后重启集群发现pd组件无法启动:查看错误提示中的debugger日志发现其通过ssh远程启动pd服务后一直无法检测到pd的端口,2分钟后超时报错。将日志中命令： systemctl start pd-2379.service查看pd-2379.service的内容:复制出来执行,发现报错为pd.toml中有不识别的配置,直接修改pd.toml,然后启动成功......

Kafka使用JAAS（Java认证和授权服务）进行SASL(基于网络连接的安全认证机制)配置。通过三个步骤即可实现JAAS安全认证:(1) 配置jaas相关信息(2) 开启SASL/Kerberos认证(3) 通过脚本将配置信息传递给java虚拟机,这样java的JAAS服务才能根据配置进行认证和授权服务。不论是zookeeper集群还是kafka集群都是如此。.........

clickhouse集群是表级别的，在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的，所以永远只能连接到clickhouse的单节点上。可以类比redis，有点像是积木，可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。

redis是c写的,需要进行编译。redis集群一般至少要6个节点（三主三从）配置启动好各节点后,使用redis-trib.rb工具构建集群即可（先不要设置密码，等集群构建完成后再分别通过客户端设置密码后写入config配置文件）。安装依赖sudo yum -y install gcc gcc-c++ tcl zlib zlib-devel ruby ruby-devel rubygems rpm-build下载 redis-*.gem然后本地安装#下载地址 https://rubygems.o

redis高版本使用ruby实现了集群，所以需要ruby环境，安装ruby环境和redis的gem接口后，就可以使用redis的redis-trib.rb脚本创建集群。先列一下大的步骤。1.修改配置文件，启动多个redis实例。2.安装ruby、rubygems、redis ruby接口。安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.............

kafka集群只要解压后修改各节点的broker.id,配置zookeeper连接后分别启动各节点kafka即可。前提:jdk和zookeeper安装参考jdk安装和zookeeper集群安装下载并解压wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgztar -zxvf kafka_2.11-2.1.1.tgz修改配置文件各节点的broker.idcd kafka_2.11-2.1.1vi conf/

zookeeper依赖jdk,先安装jdk,然后解压安装包,修改每个节点上的id即可,因为集群会选举超过半数节点投票的节点为主节点,所以集群一般为奇数个节点,避免"势均力敌"的情况。下载并解压wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gztar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 修改配置文件zoo.cfgcd apa

sudo ls -l /opt/MPPcd /opt/MPPsudo mkdir -p /opt/MPPsudo chown -R tydic:tydic /opt/MPPsudo chomd -R 751 /opt/MPP#下载jdk1.8.0_192.tar.gzcd /opt/MPP/tar -zxvf jdk1.8.0_192.tar.gzsudo ln -s /opt/MPP/jdk1.8.0_192 /usr/local/share/applications/jdks

主mysql开启binlog日志,创建同步用户；从机上配置同步用户并指定同步主机的binlog文件及起始位置即可使用同步用户同步主mysql的binlog日志，配置组成mysql主备集群。主备集群上主机可以读写，但是从机只能读不能写，因为是单向同步。一般主从集群只会使用主Mysql，从机实际上只起到备份数据的作用，如果有读写分离可以分担一部分读的压力。下面使用两台机器做一主一从的mysql主从集群搭建示例：一、先分别安装mysql## 创建部署目录sudo mkdir -p /opt/MPPsu

把hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下即可从flink-sql客户端读写hudi表。下面是完全参考hudi官网的示例一、下载安装flink本地集群，并将hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下。1.解压tar -zxvf flink-1.13.3-bin-scala_2.12.tgz mv flink-1.13.3-bin-scala_2.12 flin.

KMS是hadoop自2.6.0版本开始自带的一个密钥管理web服务,提供了一系列API来创建，获取和维护密钥。kms与hadoop结合，可以实现hdfs客户端数据加密传输以及细粒度的权限控制。本文使用Hadoop 2.6.0-cdh5.13.3为例进行kms服务配置启动及hdfs文件加密传输示例。配置kms密钥仓库的文件位置和操作密码 1. kms-site.xml （一般默认的就可以了不修改也行） <property> <name>hadoop...

jdk8u171开始增加了jceks.key.serialFilter属性限制证书序列化的类,增强安全性,不在这个属性中的类将会被拒绝Rejected, 从而导致kms服务重启后需要从keystore中反序列化加载SecretKeyEntry加密密钥时失败从而无法recover还原密钥信息。只要将被Rejected的类加入jre/lib/security/java.security中的jceks.key.serialFilter中就可以了。jceks.key.serialFilter = java.l

上传离线安装包并配置集群初始化配置文件topology.yaml之后,使用tiup cluster deploy命令即可自动按照metrika.xml的配置机器上安装指定组件组成TiDB集群。官方离线安装文档##下载离线安装包,上传后解压官网下载地址https://pingcap.com/zh/product/#SelectProduct包很大有1.5G要提前上传好,sudo rpm -ivh sshpass-1.06-2.el7.x86_64.rpm tar -xzvf tidb-com