- 博客(23)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 python代码抒写开kerberos安全的kafka生产者消费
艰辛三天的时间，终于走通了。前提说明：针对kafka server开启了 kerberos认证，协议使用的GSSAPI协议。经常用java代码写消费者，java代码支持GSSAPI协议，可以通过代码去登陆用户。python也支持gssapi协议，但是需要通过kerberos客户端去登陆用户。阅读源码--conn.py，发现是支持 GSSAPI的。操作系统：Ce...
2019-12-15 16:25:37
887
原创 HDFS的快照
HDFS的快照一个snapshot（快照）是一个全部文件系统、或者某个目录在某一时刻的镜像 快照应用在如下场景中： 防止用户的错误操作 备份 试验/测试 灾难恢复 HDFS的快照操作 开启快照 hdfs dfsadmin -allowSnapshot /input 创建快照 hdfs dfs -createSnapshot /input backu...
2019-10-08 14:09:27
202
转载 Linux集群的NTP服务器时间同步
局域网内ntp服务器ntp客户端同时服务端和客户端都把 外网时间同步服务器注释各节点之间可以是用ntpdate -u 192.168.200.81（该ip为server或client，即使ntpdate没有启动）ntp 是逐渐的校准时间，ntpdate是直接调整时间我们搭建集群环境的时候，时间必须是要统一的，才能保证集群数据的一致性。一...
2019-10-08 10:51:17
290
转载 Kafka 运维纪实 -- 一次磁盘故障后消费者无法消费
Kafka 自从某个版本加入 isr 等机制后真是越来越复杂了，再也不是原来那个单纯的 The log 了，碰上网络有个什么风吹草动经常耍点小脾气，不过小脾气就是小脾气，过会儿一般自己就好了，最多重启一下 Broker 也能自动恢复。不过这次好像真的生气了，大年初二一大早就看到 RCA 群里热闹非凡，有8台 Broker 嗝屁了。额，shit ，大年初二诶，还让人过年不了。由于过年回老家...
2019-09-25 17:31:14
1326
2
转载 人工智能常见算法简介
人工智能的三大基石—算法、数据和计算能力，算法作为其中之一，是非常重要的，那么人工智能都会涉及哪些算法呢？不同算法适用于哪些场景呢？一、按照模型训练方式不同可以分为监督学习（Supervised Learning），无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）四...
2019-06-20 15:15:18
21909
转载 本地主机客户端访问不了VMware虚拟机里的服务器
环境：1、虚拟机中安装了CentOS，虚拟机使用NAT的方式2、在CentOS中安装了APACHE 并且使用 http://127.0.0.1可以正常访问，通过ifconfig查到IP地址是 192.168.43.128，能在WINDOWS中PING通192.168.43.128 并且使用SSH Secure Shell Client也能连上虚拟机中的CentOS3、外部系统是win8...
2019-06-04 15:23:56
5151
转载 Eclipse Memory Analyzer安装
1.下载地址：Eclipse Memory Analyzer Open Source Project2.点击进入下载页面，下载适合自己的版本3.选择一个离你较近的镜像站点进行下载4.下载结果是一个zip包，解压之后直接运行即可注：MAT其实有两种形式，一种是我这里介绍的独立的MAT（Stand-alone Memory Analyzer），另一种就是以插件的形式...
2018-10-17 14:20:51
3666
转载 elasticsearch 配置详解
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 配置es的集群名称，默认是elastics...
2018-02-26 16:50:33
2530
转载 什么是倒排索引？
见其名知其意，有倒排索引，对应肯定，有正向索引。 正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。 在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现...
2018-02-26 16:45:26
406
原创 Mysql数据迁移出现用户没有指定
mysql创建用户：CREATE USER 'itsm_451'@'%' IDENTIFIED BY '123456';赋值权限grant all privileges on *.* to itsm_451@"%" identified by "123456";刷新flush privileges;
2018-02-26 16:16:26
232
转载 ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
在实现的路上遇到了各种坑，再次验证官方文档只能产考不能全信！ElasticSearch安装就不说了上一篇有说！安装logstash官方：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html1.下载公共密钥rpm --import https://artifacts.elastic.co/GPG-KEY-e...
2018-02-26 10:07:42
201
转载 详解web容器 - Jetty与Tomcat孰强孰弱
详解web容器 - Jetty与Tomcat孰强孰弱Jetty基本架构体系结构启动过程接受请求基于 HTTP 协议工作基于 AJP 工作基于 NIO 方式工作处理请求与 Jboss 集成 与 Tomcat 的比较架构比较性能比较特性比较总结 Jetty基本架构Jetty目前的是一个比较被看好的 Servlet 引擎，它的架构比较简单，也是一个可扩展性和非常灵活的应用服务器。它有一个基本数据模型，...
2018-02-23 16:03:55
862
原创 Storm理论知识之filed
对Filed字段的理解。（相当于数据库表的字段名称）1、设定两列数据的列名：declarer.declare(new Fields("species"),("con"));2、emit提交的数据 new values("水果","西瓜")、new values("水果","苹果")、new values("生活用品","纸巾");3、后面的bolt接收数据，input.getStrin
2018-01-16 14:10:34
263
转载 关于Kafka日志留存策略的讨论
关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个方面分别介绍留存策略：留存策略类型留存机制及其工作原理一、留存策略类型
2018-01-05 17:51:45
6192
原创 kafka的学习记录——kafka消费组
1、kafka消费实例的工作过程，从启动开始。(待补充)2、auto.offset.reset属性：默认值为 latestearliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
2018-01-05 16:57:30
6030
转载 Alpha、Beta、RC、GA版本的区别
Alpha：是内部测试版,一般不向外部发布,会有很多Bug.一般只有测试人员使用。Beta：也是测试版，这个阶段的版本会一直加入新的功能。在Alpha版之后推出。RC：(Release Candidate) 顾名思义么 ! 用在软件上就是候选版本。系统平台上就是发行候选版本。RC版不会再加入新的功能了，主要着重于除错。GA:General Availability,正式
2017-10-16 11:26:02
480
转载 JVM 垃圾回收机制与GC性能调优
一、GC概要：JVM堆相关知识 为什么先说JVM堆? JVM的堆是Java对象的活动空间，程序中的类的对象从中分配空间，其存储着正在运行着的应用程序用到的所有对象。这些对象的建立方式就是那些new一类的操作，当对象无用后，是GC来负责这个无用的对象(地球人都知道)。JVM堆 (1) 新域：存储所有新成生的对象 (2) 旧域：新域中的对象，经过了一
2017-10-13 15:24:04
205
转载 Elasticsearch 分片交互过程分析
摘要: 文章主要来源于官方文档的叙述，同时结合我自己的理解整合而成。叙述了Elasticsearch primary shard 与 replica shard 在工作过程中数据交互的全过程。一、Elasticseach如何将数据存储到分片中问题：当我们要在ES中存储数据的时候，数据应该存储在主分片和复制分片中的哪一个中去；当我们在ES中检索数据的时候，又是怎么判断要查询的数据是属
2017-10-12 16:40:19
262
转载 ElasticSearch 2 (12) - Shard数调优（ElasticSearch性能）
摘要当创建一个索引的时候，我们经常会面对一个问题：要为索引分配多少个shard？多少个replica？对于这个问题，仍然没有明确的统一答案，但是本文会给出一些引导，方便在实施ElasticSearch时给出合适的Shard和Replica数。版本elasticsearch版本: elasticsearch-2.x内容什么是一个Shard？Shar
2017-10-12 16:00:40
3349
原创 unity3D-----------socket客户端、服务器（简单）
客户端：using UnityEngine;using System.Collections;using System.Text;using System.Net;using System.Net.Sockets;using System.IO;public class client : MonoBehaviour {void Start () {
2015-09-08 21:25:11
5809
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人