- 博客(42)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Redis6 集群单机安装
Redis6 集群单机安装官网下载https://download.redis.io/releases/redis-6.2.6.tar.gzhttp://download.redis.io/redis-stable.tar.gz文档参考https://redis.io/documentation解压编译#安装编译需要的tclyum -y install gcc tclrm -rf /data/redismkdir -p /data/redis/binmkdir -p /data
2022-01-18 14:53:58
253
原创 Ambari2.7.5+HDP3.1.5安装包百度云 以及安装说明
安装文档去他博客https://www.cnblogs.com/shook/p/12409759.html这里面包含了博主的版本以及ambari2.6.4版本链接：https://pan.baidu.com/s/16vDLrx1FFDsZyihmfDTBLw提取码：h4vb吞链接了可以私聊我链接：https://pan.baidu.com/s/16vDLrx1FFDsZyihmfDTBLw提取码：h4vb...
2021-12-29 20:11:21
595
1
原创 不良 : 当从 Java 进程查看时该主机的主机名称和规范名称不一致。CDH6.1
因为使用的是华为云服务器，最好是更改一下主机名再使用，不要和华为自己分配的主机名一致。hostnamectl set-hostname node001
2021-09-01 17:28:50
1507
原创 Docker安装
Docker安装卸载旧版本sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logr
2021-06-09 14:27:49
133
原创 Doris编译安装 0.14.0
Doris安装文档环境准备硬件参数数量1台内核CentOS Linux release 7.6.1810 (Core)CPU8核 2925.986Mhz架构x86_64内存128M硬盘sda 50G / sdb 200G /data关闭防火墙# systemctl disable firewalld.service# systemctl stop firewalld安装jdk并配置到环境变量# vi ~/
2021-06-07 19:58:04
691
原创 ES集群优化
ES集群ES集群优化每个分片20G~40G。50G往下，不能再高了。一台节点一个分片。因为在ES去进行搜索的时候，是搜集每个分片的结果，然后汇总合并然后再返回的。在7.4使用kibana查询依旧有type,默认type为_doc,而且查询的时候加上type等于_doc条件和不加查询出来的结果是一样的7.8不太需要安装中文分词插件了，原生的效果已经很好了假如机器有64G的内存，那就是31G堆内存，剩下的给segment。假设你有个机器有 128 GB 的内存，你可以创建两个节点
2021-05-24 19:47:50
520
原创 docker-pulsar
docker-pulsar官方文档地址： http://pulsar.apache.org/docs/zh-CN/standalone-docker/检查端口是否冲突netstat -nlt | grep 8080 netstat -nlt | grep 6650在 Docker 中运行 Pulsardocker run --name pulsar -d --restart=always -it -p 6650:6650 -p 8080:8080 apachepulsar/
2021-05-24 16:07:28
675
原创 docker-mysql
docker-mysql自己部署mysql 5.7docker run -p 3306:3306 --restart=always --name edc-mysql \-e MYSQL_ROOT_PASSWORD=12345678 \-d mysql:5.7docker exec -it edc-mysql bashmysql -uroot -p12345678create database test;grant all privileges on *.* to root@'%' i
2021-05-24 15:48:34
94
原创 docker-zk-kafka
docker-zk-kafka官方的Github地址 https://github.com/wurstmeister/kafka-docker最新的kafka版本是2.13docker-compose.ymlversion: '2'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka:2.13
2021-05-24 15:42:19
99
原创 排序算法 | 珠排序(bead sort)详解 Python实现
01 什么是bead sort(珠排序)？这是一种自然排序算法，类似于算盘纵向平行柱上面的珠子，纵向平行柱的数量代表待排序数字的最大值，每根柱子上面的柱子数量代表待排序数个数（如待排序数组L = [1, 5, 3, 2, 7, 4]，则需要纵向平行柱m=7，每根柱子珠子数量n=6），然后珠子会在重力作用下自由降落。然而这个算法在真实实现时性能比较『拉夸』，最好情况下时间复杂度为O(n^2)，而且只能对正整数进行排序。02 算法流程待排数组[6 2 4 1 5 9]（图A），让所有珠子在重力作用下
2021-04-26 17:31:23
842
2
原创 找出每一行第一个不为零的列名
练习题目1、找出每一行第一个不为零的列名添加到最后一列，没有找到则把空添加到最后一列。用python解决。遍历每一行找到不为零的下标根据下标获取列名为datafame增加一列# pip install pandas numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.comimport pandas as pddef find(line): for i, v in enumerate(line
2021-04-26 17:17:17
775
原创 部署项目到nexus私服
部署一个项目到私服在父项目中的pom.xml加入 <distributionManagement> <repository> <id>releases</id> <url>http://119.333.102.151:8081/repository/maven-releases/</url> </repository> &
2021-04-19 14:05:15
133
原创 jar包运行相关脚本
运行jar包脚本start.sh#!/bin/bash APP_WORKDIR=`pwd` APP_NAME=`find ${APP_WORKDIR} -name *.jar` mkdir -p ${APP_WORKDIR}/logs echo "" >> ${APP_WORKDIR}/logs/minivisionlog.file #使用说明，用来提示输入参数 usage() { echo "Usage: sh 脚本名.sh [start|stop|restar
2021-04-15 16:46:27
165
原创 shell脚本练习
标题统计指定单词出现次数#!/bin/bash# statistic_words.shif [ $# -lt 1 ]; then echo "Usage: basename $0 FILE WORDS ...." exit -1fiFILE=$1((WORDS_NUM=$#-1))for n in $(seq $WORDS_NUM)do shift cat $FILE | sed -e "s/[^a-zA-Z]/\n/g" \ | gre
2021-04-13 17:04:53
138
原创 docker批量停止命令
批量停止容器docker container stop $(docker container ls -a -q)批量删除容器：docker container rm $(docker container ls -a -q)批量删除镜像：docker image rm $(docker image ls -a -q)docker pull yandex/clickhouse-clientdocker pull yandex/clic
2021-02-23 10:30:55
637
原创 maven配置
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf></mirror><mirror> <i
2021-01-28 10:10:28
189
原创 docker测试运行clickhouse
直接用封装好的image。镜像地址docker run -d --name my-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 yandex/clickhouse-server跑起来了[root@node104 clickhouse-server]# docker psCONTAINER ID IMAGE COMMA
2021-01-27 18:25:48
289
原创 thrift 学习
http://archive.apache.org/dist/thrift/http://archive.apache.org/dist/thrift/
2020-09-26 22:50:45
148
原创 pom 配置编译插件
pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org
2020-09-26 22:50:21
414
原创 yolov5 权重
https://gitee.com/edclol/yolov5.git1.源码地址：https://github.com/ultralytics/yolov5https://github.com/ultralytics/yolov32.yolo所有权重文件：链接：https://pan.baidu.com/s/1Zk2Ksfl_v-apbRBQ_mqc6w提取码：00mp3.在mx150笔记本测试，v5速度优势不是很大，但是比tiny精度好得多，v5最大的亮点应该是移植到移动设备。感谢u大佬的
2020-09-26 22:48:32
8436
2
原创 ES集群优化
ES集群优化每个分片20G~40G。50G往下，不能再高了。一台节点一个分片。因为在ES去进行搜索的时候，是搜集每个分片的结果，然后汇总合并然后再返回的。在7.4使用kibana查询依旧有type,默认type为_doc,而且查询的时候加上type等于_doc条件和不加查询出来的结果是一样的7.8不太需要安装中文分词插件了，原生的效果已经很好了假如机器有64G的内存，那就是31G堆内存，剩下的给segment。假设你有个机器有 128 GB 的内存，你可以创建两个节点，每个节点
2020-09-20 21:18:26
422
原创 docker命令
docker命令portainer.ioManage a LINUX Swarm cluster with Portainer Server and the Portainer Agentcurl -L https://downloads.portainer.io/portainer-agent-stack.yml -o portainer-agent-stack.ymldocker stack deploy --compose-file=portainer-agent-stack.yml po
2020-08-31 10:45:53
103
原创 Alink
Alink环境安装安装pip install pyalink-flink-1.10 --user -i https://mirrors.aliyun.com/pypi/simple检查安装pip search pyalink如下则是安装成功pyalink (1.2.0) - Alink Python APIpyalink-flink-1.9 (1.2.0) - Alink Python APIpyalink-flink-1.10 (1.2.0) - Ali
2020-08-31 10:44:17
567
原创 MINIO
MINIO1. 单机版本docker run -p 9000:9000 --name minio1 \ -e "MINIO_ACCESS_KEY=AKIAIOSFODNN7EXAMPLE" \ -e "MINIO_SECRET_KEY=wJalrXUtnFEMIGK7MDENGFFbPxRfiCYEXAMPLEKEY" \ -v /mnt/data:/data \ -v /mnt/config:/root/.minio \ minio/minio server /datadock
2020-08-31 10:41:06
217
原创 Arch命令记录
Arch命令记录换国内源vim /etc/pacman.d/mirrorlist# 清华大学Server = https://mirrors.tuna.tsinghua.edu.cn/archlinux/$repo/os/$arch## 163Server = http://mirrors.163.com/archlinux/$repo/os/$arch## aliyunServer = http://mirrors.aliyun.com/archlinux/$repo/os/$arch
2020-08-31 10:38:34
218
原创 arch安装
arch安装输入法tested on Arch Linux 5.2.5 gnomesudo vim /etc/pacman.d/mirrorlistServer = http://mirrors.163.com/archlinux/$repo/os/$arch sudo vim /etc/pacman.conf[archlinuxcn]Server = https://cdn.repo.archlinuxcn.org/$archsudo pacman -Sysudo pacman -S
2020-08-31 10:38:02
155
原创 系统目录扩容
系统目录扩容前提：机器的之前就是在LVM上创建的系统。如果不是的话，就不能进行动态扩容，可采用挂载到指定目录的方式。若想移除，则考虑新加一块硬盘进行数据迁移，确保数据安全迁移之后再进行移除。查看初始磁盘状态(base) [root@automlgpu1 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 223G 0 disk ├─sda1
2020-08-31 10:37:12
365
原创 为项目添加log4j
测试log4jpublic class log4jTest { private static Logger logger = Logger.getLogger(Utils.class); public static void main(String[] args) { for(int i=0;i<3;i++){ // 记录trace级别的信息 logger.trace("log4j2日志输出：This is tr
2020-08-18 18:01:23
172
原创 为项目添加lo4j2
public class log4j2Test { private static Logger logger= LogManager.getLogger(log4j2Test.class); public static void main(String[] args) { for(int i=0;i<3;i++){ // 记录trace级别的信息 logger.trace("log4j2日志输出：This is t
2020-08-14 14:03:39
142
原创 创建github仓库 自动build镜像
建立github仓库，用来存dockerfile和所需要的文件拉取，然后添加文件到仓库，然后push到仓库git clone git@github.com:edclol/yao-tensorflow.gitcd yao-tensorflowcp ~/YAO-Dockerfiles/tensorflow/2.2.0-gpu/* ./git add .git commit -m "add file" git push创建镜像仓库与github关联设置dockerfile位..
2020-07-29 17:39:40
788
原创 如何把一个新的本地项目发布到github gitignore
如何把一个新的本地项目发布到github用idea自带的ignore插件设置ignore。这是我的gitignore文件# git ls-files --others --exclude-from=.git/info/exclude# Lines that start with '#' are comments.# For a project mostly in C, the following would be a good set of# exclude patterns (u
2020-07-23 16:11:54
138
原创 arch kernel 5.7.7 gnome 3.36.4 搜狗拼音输入法
优先参考Fcitx WIKIWIKI搜狗输入法的AUR请大家习惯AUR，习惯yay，这样才能感受到arch巨大的魔力！安装Fctix和输入法yay -S fcitx fcitx-gtk2 fcitx-gtk3 fcitx-qt4 fcitx-qt5yay -S fcitx-configtool yay -S fcitx-sogoupinyin我的fctix启动没有被禁止cat /etc/xdg/autostart/fcitx-autostart.desktop复制的时候注意乱码[Desk
2020-07-21 16:44:18
364
原创 spark源码分析
RDD之前之前的分区为3个，然后每个分区都要取出60个样例数据，不足60的全部取出，总共取出180个数据，然后这180个数据进行排序，然后用这个180个数据再均匀分出3个分区，然后开始遍历数据分别进入不同的分区，然后再分区内排序 /** * Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def persist(): this.type = persist(StorageLevel.MEMORY_ONL
2020-05-30 18:02:33
230
原创 jvm参数调优
jvm参数调优元空间设置大小虚拟机栈元空间设置大小一般设置的时候最小和最大设置为一样，防止内存抖动（防止内存忽大忽小，浪费性能）。元空间可以考虑设置为物理内存的32分之一。一定要为系统运行保留20%-30%的剩余，保持系统核心程序的运行。初始是20.75M，上限是integer最大值虚拟机栈虚拟机栈默认1M 堆内存最大默认物理内存4分之一，最小64分之一。调成一样大。操作数栈和局部变量表在编译时就确定了空间大小，占用了几个slot。...
2020-05-20 22:42:12
181
原创 为什么移除永久代改为元空间
为什么移除永久代改为元空间1. 业务方面2. 计算机硬件的升级1. 业务方面java现在在web方面大放异彩，java跑的程序越来越大，永久代是在jvm里面的，由jvm来管理，扩容什么的不方便。所以干脆直接放在了直接内存，也就是元空间。默认20.75M，上线是Integer的最大值。2. 计算机硬件的升级计算机之前是32位系统，最大内存是2的32次方，也就是4G.现在是64位系统，有16位是保留为，剩下48位，也就是2的48次方，这个看似和32位操作系统差别不大，实际相差很大。...
2020-05-20 17:13:07
583
原创 Flink DataStream API没有
Spark DStream有mapPartition API,而Flink DataStream API没有.是否有人可以帮助解释原因.我想要做的是在Flink上实现类似于Spark reduceByKey的API.Flink的流处理模型与以迷你批次为中心的Spark Streaming截然不同.在Spark Streaming中,每个迷你批处理都像有限数据集上的常规批处理程序一样执行,而Fli...
2020-03-28 10:51:34
153
原创 常用SQL语句的优化建议
有关于优化SQL的建议1. 查询SQL尽量不要使用select *，而是select具体字段。反例子：SELECT * FROM employee;正例子：SELECT id， NAME FROM employee;理由：只取需要的字段，节省资源、减少网络开销。select * 进行查询时，很可能就不会使用到覆盖索引了，- 就会造成回表查询。2.如果知道查询结...
2020-03-25 16:57:04
7588
原创 centos7和centos6的区别
CentOS7和CentOS6的区别启动引导[CentOS6] GRUB Legacy (+efibootmgr)[CentOS7] GRUB26设置200M就行，7的boot设置为最少1024M。boot内存大点，是为了后续升级需要。启动技术[CentOS6] Upstart[CentOS7] systemd6启动采用Upstart技术sysvinit7是用sys...
2020-02-24 10:04:20
322
ffmpeg.win32.exe
2020-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人