scc诚诚-优快云博客

原创对比比较两个文件（url list）差异脚本

对比比较两个文件（url list）差异脚本 extract_prefix.py #!/usr/bin/python import os import sys memory_list = [] def load(path): if not os.path.exists(path): print "not found %s" % path exit(-1) with open(path, 'r') as f: for line in f:

2020-12-18 11:10:28 458

原创 Rabbitmq收发消息示例

rabbitmq收发消息基本功能示例 yum install python uum install python-pip python -m pip install pika -upgrade pip install --upgrade pip 确保python环境和pip环境 import pika credentials = pika.PlainCredentials('root', 'Scc123456!') Parameter = pika.ConnectionParameters('10.0.

2020-12-16 17:10:04 265

原创 Redis持久化——RDB与AOF区别

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。 Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。由于Red

2020-12-16 16:31:51 216

原创 HDFS基本操作+权限问题处理

https://www.linuxidc.com/Linux/2012-12/75751.htm 默认hdfs路径：/user/ 操作过程中首次报错 DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. put: in': No such file or directory:hdfs://ambariagent.ksc.com:8020/user.

2020-12-16 16:26:15 821

原创 Elasticsearch跨集群数据迁移方案+代码操作

主流的ES迁移有三套方案 1、logstash数据同步 2、ES dump 3、ES snapshot迁移 1、logstash数据同步 1. 指定索引index全量迁移配置文档：当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。 input { elasticsearch { hosts => [“120.92.155.44:9200”] index => “map” docinfo => true } } output { elasticsearch {

2020-12-16 16:06:58 983

原创使用logstash传输处理日志输出到ES，再通过Kibana做分析

目前发现网上找到了大部分kibana操作都是旧版本，已不适用于新版本的kibana操作和使用（且发现部分数据处理过程中跟现有部分日志内容脱节）本文重点是传输日志+处理数据+kibana操作（对于ES+kibana搭建以及logstash原理不多做介绍）重点内容传输日志=logstash使用以及基本的操作规范，sincedb_path意义和常见问题。数据处理=logstash导入输出的过程中有2个要点必须明确 1、filter grok正则，把数据导入过程中分不同的类，用于kibana数据分类处理

2020-12-16 15:53:08 1302

原创 kafka python client收发消息示例

Python 发送消息 python有成熟的kafka python client github以及官文都有示例，这边做个简单&快速的总结： 1. 首先需要更新pip pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple pip install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simple Python代码示例 https://help.ali

2020-12-16 15:18:54 502

原创 kafka单机安装教程

kafka单机安装-快速使用教程首先得明确kafka目前大部分都是多个broker的集群版本，且需要搭配zookeeper共同使用现阶段kafka官网有现成版可直接运行，不需要编译，非常简便。官网下载kafka版本 http://kafka.apache.org/downloads linux安装升级java yum install java -y yum update java -y 解压并运行zookeeper tar -zxvf kafka_2.12-2.6.0.tgz cd kafka_2

2020-12-15 17:50:46 1300

原创 Kafka跨集群迁移—MirrorMaker操作

mirrormaker（kafka迁移操作）虽目前请按照以下步骤系统性了解kafka迁移的操作指南。 mirrormaker定义 kafka基本操作 mirrormaker操作效果在kafka迁移操作之前，首先得搞清楚kafka-mirrormaker是什么

2020-12-15 17:37:55 3383

shichengcheng_scc的博客