抓不到老鼠的汤姆-优快云博客

原创 kubeedge+edgemesh安装笔记

说明KubeEdge 是一个开源的系统，可将本机容器化应用编排和管理扩展到边缘端设备。它基于Kubernetes构建，为网络和应用程序提供核心基础架构支持，并在云端和边缘端部署应用，同步元数据。KubeEdge 还支持 MQTT 协议，允许开发人员编写客户逻辑，并在边缘端启用设备通信的资源约束。KubeEdge 包含云端和边缘端两部分。云端主要通过cloudcore启动，边缘端通过edgecore启动,两边都需要有完整的docker环境，要能支持docker运行。kubernetes安装k

2021-11-30 17:50:32 2909

原创 yapi插件开发及安装的一些备注

yapi官方文档有些缺失，这里做一下补充，官方文档地址：https://hellosean1025.github.io/yapi/documents/redev.html插件开发需要调试，这个需要先搭建二次开发环境，主要是拉取yapi源码下来，然后配置mongodb，安装依赖包，上面官方文档已经写得很清楚了，这里不做介绍。1.为了使用yapi及ykit命令需要全局安装两个依赖包：npm i...

2020-03-05 12:31:08 4088

原创 postman自定义脚本请求

postman是常用的接口请求工具，这里记录自定义脚本进行接口认证的方法：首先配置一些环境变量：可以看到上面是键值对格式的，可以在value中写脚本。然后就可以使用这些全局变量的：使用变量的方式是{{keyname}}这样就可以，在pre-request script中可以运行脚本，这里直接引用变量来运行对应的脚本。这里也是可以写脚本的：var CryptoJ...

2020-02-21 21:22:52 1208

原创 yapi接口测试--自定义脚本编写（高级mock）

使用yapi做接口管理/测试很方便，基础的用法不再介绍，这里记录自定义脚本的编写方法，主要参考官方文档：yapi 文档地址：https://hellosean1025.github.io/yapi/documents/project.html#token首先yapi可以输入自定义脚本的地方有这么几个：1.接口级别的2.项目级别的脚本设置，可以用来处理请求参数，进行身份认证这里主...

2020-02-21 21:02:43 14513

原创 Python调用C扩展尝鲜

写了快一年的Python了，还没写过与C混合编程，最近在用zookeeper做服务发现，刚好就写点代码调用zookeeper的动态链接库咯。首先了解一下动态链接库，使用 nm libzookeeper_mt.so 查看动态链接库里面包含了哪些函数调用，结果示例如下：00000000000101c0 T zoo_set_debug_level000000000000ffb0 T zoo_set...

2019-01-03 16:36:33 1083

原创 zookeeper安装及简单使用

zookeeper解压即可安装使用，不再赘述 ------------zookeeper设置访问控制：-------------ZK的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写)注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作...

2019-01-03 14:23:49 344

原创 Linux vim插件安装

在写Python的过程中经常会遇到依赖包在Linux可以轻松安装却在Windows上安装不了的情况，除了在Linux桌面发行版上开，还可以在Linux下搭建一个编辑器，下面就记录一下给vim安装依赖插件的过程。首先安装git 和 vim,git 其中是用来下载插件包的，使用 apt install -y vim git来安装（Ubuntu），yum install -y vim git（ce...

2019-01-02 23:59:04 2674

原创 hbase 试用记录

1.hbase的安装使用现成的docker镜像安装在远程服务器上，此处推荐一个大神的docker仓库，下面的GitHub仓库里面有各种大数据组件的dockerfile，拉取代码库后再到docker store 查看对应的镜像就可以启动各种大数据组件了。GitHub链接：https://github.com/HariSekhon/Dockerfiles下面拉取hbase ：docker pull ...

2018-12-02 22:59:14 445

原创 redis集群搭建及简单使用

最近项目需要配置redis集群以提高项目可靠性，网上很多教程，主要参考这个在这里就当做个笔记吧1.下载redis安装包，下载ruby安装包（虽然可以用yum install ruby直接安装，但是经常会出现安装的版本太低还是需要手动安装的情况），然后就是编译安装这两个安装包了解压进入安装包，./configure ,make && make install 之后安装yum ...

2018-11-29 20:55:15 1699

原创 git使用中遇到的几个问题解决

今天在新的机器上配置git时遇到了点问题，记录一下git init 初始化项目并拉取后一切顺利，git push -u origin master要推送代码时发现推送了但是远程分支并没有代码（sourcetree），用命令行查看发现没有对应的权限，报错：Please make sure you have the correct access rights and the repositor...

2018-10-31 22:11:48 732

原创 pyspark 读取kafka简单入门

1.安装环境spark使用docker拉取镜像启动，docker pull bde2020/spark-master ，镜像说明，kafka根据网上的教程安装，之前的文档写过了不再赘述。2.简单代码#encoding=utf8from pyspark import SparkContextfrom pyspark import SparkConffrom pyspark.str...

2018-10-31 22:11:24 7035 2

原创 airflow入坑指南

1.安装默认的安装目录是在~/airflow目录下，为了安装到制定目录需要配置环境变量vi /root/.bashrc # vi /etc/profile 没起作用>> export AIRFLOW_HOME=/data/airflow #修改默认安装目录source /root/.bashrc # source /etc/profile #使配置生效sudo pi...

2018-10-31 22:10:34 2112

原创 Linux常用操作总结

最常用的cp、mv、ls、ll 就不写了，写一些实用频率一般的命令，tar -xzvf *.tar.gz #解压缩命令tar -cvf *.tar ***(文件夹)#打包不压缩ssh -i redis.pem centos@172.168.*.* #使用公钥登录服务器 sudo tail -f /var/log/cron #查看crontab任务执行情况sudo ...

2018-10-31 22:09:45 141

原创 kafka python简单使用

producer = topic.get_producer()producer.produce(['test message ' + str(i ** 2) for i in range(4)])nohup bash kafka-server-start.sh ../config/server.properties >>kafka2.log &ls -lrt /etc...

2018-10-31 22:07:02 710

原创 python beautifulsoup解析器与xpath解析器对比

item = BeautifulSoup(page,'lxml')# parser = etree.HTML(page)# li = parser.xpath('//ul[@id="s-results-list-atf"]//li//@data-asin')# for l in li:# print(l)div = item.find('div',id='centerMi...

2018-10-31 22:06:49 682

原创 aws emr简单使用

最近在做数据的分析处理，刚开始是自己试着搭了个三台服务器的hive小集群，发现还挺麻烦的，快要弄完了才知道aws有现成的emr服务可以用，直接就放弃了自己搞的想法。使用aws的emr可以很快就启动一个配置好的集群，而且可扩展性好，需要几台就开几台，再高的配置都可以开，32核120G内存的机器开上几台，用完可以直接关掉集群，需要再开，完全没有持有集群的高昂成本，爽爆了有木有。流程大致就是把原始数...

2018-10-31 22:06:00 5417

原创 elasticsearch初体验

1. 安装配置安装比较简单，以下内容是针对Linux系统的设置，从官网下载压缩包解压，配置一下Java环境变量就能启动（需要安装Java jdk），一个很重要的点是elasticsearch的安全机制是很简单的，所有的操作都可以通过restful API进行，要删除一个索引只需要发送一个delete请求就行，而且还支持通配符，这就很可怕了，要在内网里面使用，不要让外网访问到，不然...

2018-10-31 22:05:02 158

u013496080的博客