- 博客(120)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 docker 常用服务安装（有机会就补充）
docker 服务安装1. mysql2. redis3. rabbitmq4. clickhouse5. Elasticsearch 单，多集群6. zookeeper 7. nsq 8. etcd 9. mongo 10. Promethues
2020-07-19 23:29:52
493
原创 看一看Rust，记录笔记：所有权
第六章第六章：所有权系统通用概念栈内存和堆内存值语义与引用语义复制语义 与 移动语义所有权机制变量绑定所有权转移变量赋值向函数传递值向函数传递字符串参数时转移所有权向HashMap 的方法传递&str 类型参数时不转移所有权向HashMap的方法传递String类型参数是转移所有权向HashMap 的方法传递String类型参数的引用时不转移所有权从函数返回值浅复制与深复制引用和借用引用和可变引用借用规则借用示例1：切片1. 切片定义2. 切片作为函数参数3. 可变切片借用示例2：迭代器转移所有权I
2021-12-07 18:38:11
533
原创 看一看Rust，记录笔记：类型系统
文章目录第五章：类型系统泛型泛型与容器泛型与结构体泛型与枚举泛型与函数泛型与方法trait系统trait 定义与实现trait 作为参数impl Traittrait 约束返回实现trait 的类型标准版常用trait格式化输出Debug 和Display等值比较Eq与PartialEq次序比较Ord 与 PartialOrd复制值 Clone 与 Copy默认值Default类型转换原生类型间的转换数字与String 类型间的转换&str 与 String 类型间转换第五章：类型系统Rus
2021-11-27 16:58:11
639
原创 go-zero的日志源码学习
文章目录go-zero的日志处理学习开始setupWithConsole 控制台启动setupWithFilessetupWithVolume 在 setupWithFiles 的保存文件的基础上，增加了 主机名称和服务名称记录Error 日志打印info 和 servere 同理停止go-zero的日志处理学习开始读取配置文件// MustSetup sets up logging with given config c. It exits on error.func MustSetup(
2021-11-09 10:28:51
1623
原创 hive-sql学习及笔记
hive 笔记hive-site.xml 配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!--配置mysql 连接--> <property> <name>javax.jdo.option.Con
2021-11-05 19:47:18
1534
原创 SQL问题：错觉之SQL
获取分组的排序数据逻辑，但是结果却不同踩坑ing逻辑-1逻辑-2逻辑-3逻辑-4踩坑ing逻辑-1肯定会认为，先分组，后排序，乃是正常流程，要相信mysql 能得到想要的数据select * from table where .... group by column_name order by id DESC;以上会发现，返回数据是从小到大的数据，不符合自己的预期，pass逻辑-2再上面的逻辑尝试了下，并不能达到结果尝试下一种逻辑：使用子查询，达到先排序，后分组的逻辑，要相信mys
2021-08-03 16:01:55
234
原创 GoLand 选用最正确的proto 语法插件
GoLand选用最正确的proto插件推荐一波 ；注意一波；推荐一波 ；如果你GoLand 或 idea 都还有没有安装过protocol 语法插件，那么它会默认为你提供下载量最多的插件那么你看他的介绍，发现是非常完全的提供所需要的需求，但是对比下另外一个插件会发现下面这个插件提供library 和SDK 的自动导入，这是官方插件的所不能提供的。因为 即使你的proto 编写正确的，但是你依然会忍受不了全是错误的文件。注意一波；使用一点需要注意的是，proto 里面的option 的
2021-07-29 15:50:35
3068
原创 gRPC 和proto-buffers 简单学习（无代码）
看着官网文档学的gRPC概述：使用协议缓冲区协议缓冲区版本核心改变、架构和生命周期概述服务定义同步与异步RPC生命周期Unary RPCServer streaming RPCClient streaming RPCBidirectional streaming RPC截止日期/超时RPC 终止元数据频道protocol-buffers定义消息类型指定字段类型分配字段编号指定字段规则添加更多消息类型注释保留字段可选字段和默认值枚举使用其他消息类型导入定义使用proto3 消息类型嵌套类型团体更新消息类型扩展
2021-07-24 13:40:12
470
原创 Prometheus 简单学习
Prometheus 简单学习Prometheusinitinstall从二进制包安装使用容器安装Node Exporter 采用主机运行数据安装Node Exporter使用PromQL 查询监控数据使用Grafana 创建可视化Dashboard安装任务和实例Prometheus 核心组件Prometheus 组件Prometheus ServerExportersAlertManagerPushGateway探索PromQL理解时间序列Metric 类型Counter : 只增不减的计数器Gauge
2021-07-16 15:08:10
505
2
原创 使用drone——10分钟搞定的内网自动部署
文章目录10分钟搞定的内网自动部署获取`gitlab`的权限(Create an OAuth Application)创建一个`gitlab`与`drone`的共享秘钥docker 启动安装runnerdocker-runnerssh-runner如何使用10分钟搞定的内网自动部署获取gitlab的权限(Create an OAuth Application)重定向的URL必须是drone 安装的机器路径可以是IP地址例如： 192.168.29.11/login创建一个gitlab与dron
2021-06-23 15:27:23
4674
2
原创 gitlab-ci基本概念以及运行
使用GitLab CI前提条件是： runner 能够成功跑通安装请点击最终目标，快速，漂亮的.gitlab-ci.yml文件基础概念文档位置> clicked语法太多，用什么看什么吧！！！以下是常用概念PipeLine一次Pipeline 相当于一次构建任务，里面包含多个流程，如安装依赖、运行测试、编译、部署测试服务器，部署生产服务器等流程任何提交或者Merge Request 的合并 都可以出发PipeLineStagesStages 表示构建阶段，就是P
2021-03-11 15:36:47
359
原创 gitlab-runner 搭建(翻译官方文档为主)
gitlab-runner 搭建，，既然简单，就不要出错为自己的项目搭建gitlab-runner，开启CI尽量不要将 gitlab 服务器 安装 gitlab-runner 服务，因为gitlab -runner 会占用很大的资源以下文字，大部分都是翻译官方的文档，还有一些自己躺过的坑安装 GitLab Runner可以在GNU/Linux , macOS,FreeBSD 和 Windows 上安装和使用GitLabe Runner你可以安装在：一个容器中通过手动下载二.
2021-03-10 20:05:45
410
原创 k8s_温故而知新
k8s_基础学习k8sk8s 功能组件master1. apiserver 组件2. scheduler3. controller-manager4. etcdnode1. kubeelet2. kube-proxyk8s 核心概念podcontrollerservice搭建kubernetes集群平台规划硬件要求masternode安装方式kubeadm 安装二进制安装kind 安装 （单机master集群）minikube 安装（单机master集群）kubectl ——k8s集群命令行工具语法格式基础
2021-03-10 09:13:24
247
原创 Python常用数据库封装方法
Python连接db——连接池封装方法mysql，mongo，redis 连接池方法字符串相似度匹配日志打印mysql，mongo，redis 连接池方法import pymysqlimport redisfrom aliyun.log import LogClientfrom dbutils.persistent_db import PersistentDBfrom dbutils.pooled_db import PooledDBfrom pymongo import MongoClien
2020-11-20 13:49:51
1136
原创 hadoop3.3.0版本搭建
文章目录hadoop——3.2.1 版本默认的端口伪分布式设置配置文件分布式操作配置文件启动命令关闭命令，相反即可注:hadoop——3.2.1 版本默认的端口namenode ： 9870resourceManager : 8088mapreduce jobhistory server : 19888伪分布式设置配置文件core-site.xml （记得设置hadoop-env.sh 的java环境）<configuration> <propert
2020-09-16 09:29:40
807
原创 集群时间同步-用于hadoop集群
集群时间同步-用于hadoop集群时间同步方式： 找一个机器，作为时间服务器，所有机器与这条集群时间进行定时的同步，比如每隔10分钟，同步一次时间配置时间同步具体实操：时间服务器配置（必须是root用户）检查ntp是否安装rpm -qa | grep ntp修改ntp配置文件vim /etc/net.conf 下面是参考配置a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）#restrict 192.168.1.
2020-09-16 09:17:01
145
原创 双击下载当日bing壁纸
...语言 go直接贴代码语言 go其实python 更加方便，但是不好打包，，不说，go就是香直接贴代码原本以为，还要一些其他的东西，但是发现直接赢刚就是完事，，代码简单，这里不再赘述，直接go bulid -o picture . 就可以了package mainimport ( "encoding/json" "flag" "fmt" "io/ioutil" "net/http" "net/url" "strings" "time")/*@Time :
2020-09-14 20:10:48
185
原创 go-rpc demo学习
文章目录使用框架客户端编写代码服务： 我这里是以数据库中的表，拆开的服务proto运行截图使用框架客户端使用iris数据库使用mysql服务注册使用zookeeper使用rpc ：“github.com/smallnest/rpcx/client”客户端编写代码这里只粘贴了api接口的handler，负责接收请求，这里调用zookeeper注册的服务。var ( zkAddr = flag.String("zkAddr", "192.168.20.190:2181", "zoo
2020-08-07 20:55:19
261
原创 模仿yaag中间件生成swagger.json文件
模仿yaag中间件写一个siwagsiwag中间件特点：1. 每次请求都能够记录参数和响应（虽然参数类型有的获取不到例如 query的参数）2. 能够根据前后参数对比，发现参数是否是必须的要求3. 启动web后，会自动扫描自己添加的struct能够生成definitions，（能省自己一步是一步）缺点：1. query 因为后端得到的都是字符串，我这里没有尝试格式化得到类型。（还没有完善）2. struct 构造导致body参数与query 参数 的type 出现问题（body参数 没有type 键）3.
2020-07-16 23:44:21
335
原创 linux 的python 虚拟环境配置及workon
python 虚拟环境配置下载配置workon命令注意事项下载pip install virtualenvwrapperpip install virtualenvwrapper-win #Windows使用该命令配置workon命令将下面的三行配置写入到**.bashrc**文件下VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3export WORKON_HOME=$HOME/.virtualenvssource /usr/local/bin/virt
2020-07-09 13:58:58
661
原创 mysql修改create_at、update_at等时间
mysql修改create_at、update_at等时间修改gorm 自动迁移mysql，创建字段的问题，手动修改字段修改gorm 自动迁移mysql，创建字段的问题，手动修改字段ALTER TABLE `okzm`.`home_banners` MODIFY COLUMN `created_at` timestamp(0) NULL DEFAULT CURRENT_TIMESTAMP(0) AFTER `id`,MODIFY COLUMN `updated_at` timestamp(0) NU
2020-06-28 10:25:20
895
原创 python-内存泄露-方法调用笔记
关于一个内存泄露的惨痛教训关于python 的引用传递的惨痛def data_iterator(datas): """ 遍历数据，删除不合格项，返回正常数据 :param datas: :return: """ valid_data = {} invalid_data = [] for data in datas: # 进行详细地址判断 if "_id" in data: data.
2020-06-03 20:30:14
347
原创 ELK集群搭建（docker or 宿主机）
由于是内网，没有设置密码和启动x-pack先搭建测试环境1. 关闭防火墙2. 同步每个节点的配置文件(只标注改动部分)配置文件容器docker需要物理网卡地址，映射，所以添加network.publish_hostcluster.name: bigdatanode.master: truenode.data: truenode.name: node184network.host: 0.0.0.0network.publish_host: 192.168.20.184# 每个节点
2020-06-03 16:37:06
590
原创 基于iris-xorm-casbin-jwt 的权限管理项目2
编写路由及中间件上面一篇主要介绍到 orm的设计这一篇说到路由及中间件的设计1. 先贴出main的代码2. 路由设计3. 贴出login 和logout 的代码，供参考1. login4. logout4. casbin通过上述直接贴代码的方法，能更好的作为我学习笔记吧注意事项上面一篇主要介绍到 orm的设计这一篇说到路由及中间件的设计所使用的中间件有 yaag，jwt，casbin，logger1. 先贴出main的代码app := iris.New() app.Logger().SetLev
2020-05-31 00:20:29
704
原创 mongo单表大量数据的读取
mongo单表大量数据的读取重要提示：建议不要直接使用find方法下面是读取方法笔记：（python 语言 为主）1. 使用batch_size 方法2. 使用索引切片的方法3. 使用mongo工具，将单表导出json文件或者csv文件重要提示：建议不要直接使用find方法下面是读取方法笔记：（python 语言 为主）1. 使用batch_size 方法可以在不大于16M的情况下，批量返回数据**但是**在数据超过几千万的情况下，加载会导致游标超时，栈溢出等问题建议千万级别在考虑服务器性能的情
2020-05-30 08:22:21
1580
原创 基于iris-xorm-casbin-jwt 的权限管理项目1
GO 的权限管理项目项目介绍采用框架相关文档编写项目orm工具类编写1. 配置文件编写-.env格式2. models 的结构体编写3. UserDao 类4.最后测试文件编写--测试dao里面的方法具体的项目代码后面博客会贴出下个博客记录iris 的学习项目介绍采用框架web框架-irisorm框架-xorm权限管理框架-casbin用户验证-jwt相关文档iris中文文档casbin文档xorm文档jwt 文档在 iris中文文档中所介绍，这里不再给出编写项目orm工具类编
2020-05-28 23:57:01
573
原创 mongodb 的安装和配置脚本
mongodb 的安装首先去官网卸载后缀名为tgz的压缩文件官网链接地址尽量在虚拟机或者linux系统中下载尽可能避免windows我的使用路径是/opt/module/mongodb/将压缩文件解压到文件夹中，如果你的显示权限问题，先用root创建然后通过命令更改用户、用户组chown lan xxxchgrp lan xxx当解压完成后编写配置文件#数据库路径dbp...
2020-04-21 11:05:15
240
原创 Spring 事务的笔记
spring 事务事务简介事务管理 是 用来确保数据的完整性和一致性事务就是一系列的动作，他们被当做一个单独的工作单元，这些动作要么全部完成，要么全部不起作用事务的四个关键属性ACIDAtomicity 原子性 ： 事务是一个原子操作，保证全部完成和全部不完成Consistency 一致性 ; 一旦所有事务动作完成，事务就会被提交，数据和资源就处于一种满足业务规则的一致性状态中...
2020-02-29 23:54:18
145
原创 spring切面AOP笔记及配置方式
文章目录spring 切面笔记切面AOP切面术语spring AOP 使用的都是AspectJ（两种模式注解或配置文件）注解注解支持注解声明切面xml配置文件补充切入点表达式可以通过操作符&& || ！ 结合起来，更加的灵活引入通知spring 切面笔记切面AOP使用AOP 的好处 :每个事物逻辑位于一个位置，代码不分散，便于维护和升级业务模块更简洁，只包含核心业务代码...
2020-02-27 00:21:43
365
原创 mybatis的缓存笔记
文章目录mybatis 的缓存一级缓存解释：一级缓存失效情况 ： 最后还是要向数据库发出查询二级缓存解释 ：工作机制使用有关的设置/属性第三方缓存整合（ehcache）ehcache 的xml文件的属性解释mybatis 的缓存mybatis 自身带有两级缓存，并且还有接口可以于其他缓存框架合并一级缓存解释：（本地缓存）:SqlSession级别的缓存，一级缓存是一直开启的与数据库同...
2020-02-24 21:00:28
154
原创 mybatis 参数处理方法笔记
单个参数：mybatis不会做特殊处理{参数名}：取出参数值多个参数 : mybatis会做特殊处理。多个参数会被封装成一个mapkey: param1…paramN,或者参数的索引也可以value: 传入的参数#{}就是从map中获取指定的值//Caused by: org.apache.ibatis.binding.BindingException: P...
2020-02-23 20:11:40
189
原创 存储高性能的知识点总结
文章目录学习笔记第四章： 存储高性能4.1 关系数据库Mysql4.1.1 读写分离基本实现：**主从集群**与主备集群的区别主从复制的缺点：解决复制延迟的几种常见的方法：分库分表业务分库出现问题分表垂直分表水平分表垂直分表水平分表问题实现方法程序代码封装中间件封装4.2 非关系数据库NoSql4.2.1 K-V存储缺点 ：4.2.2 文档数据库优点：缺点：4.2.3 列式数据库4.2.4 全文搜...
2020-02-20 16:30:12
507
1
原创 集群时间同步
时间同步方式： 找一个机器，作为时间服务器，所有机器与这条集群时间进行定时的同步，比如每隔10分钟，同步一次时间配置时间同步具体实操：时间服务器配置（必须是root用户）检查ntp是否安装rpm -qa | grep ntp修改ntp配置文件vim /etc/net.conf 下面是参考配置a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机...
2020-02-19 17:52:39
183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人