<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DP库珀的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/FormatWindowsXP</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; FormatWindowsXP]]></copyright><item><title><![CDATA[关于SpringBoot配置文件  加载多个外部自定义配置文件]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108660521</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108660521</guid><author>FormatWindowsXP</author><pubDate>Fri, 18 Sep 2020 11:37:47 +0800</pubDate><description><![CDATA[Spring Boot项目最终我们会发布为一个jar或war文件部署到生产环境，这十分方便，但在生产环境中我们会遇到一个问题：

Spring Boot在打包时，将项目下所有文件全部压缩到了jar文件内，这使得我们在生产环境下每需要修改某个配置文件属性都需要将项目重新发布，相当反人类。

那么要解决这个问题，我们就需要让项目引用外部配置文件，那么在实际开发环境下，可能我们会存在多个配置文件（我很排斥使用Spring Boot的 Application.Properties作为我项目的配置文件，可能是某种精神]]></description><category></category></item><item><title><![CDATA[springboot项目发布后执行报错 “没有主清单属性”]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108625309</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108625309</guid><author>FormatWindowsXP</author><pubDate>Wed, 16 Sep 2020 16:44:42 +0800</pubDate><description><![CDATA[这是由于普通发布未将项目发布为可执行jar文件，需要在项目中添加 spring-boot-maven-plugin 引用，它可以将springboot项目发布为一个可执行的jar或war文件。



打开项目中的pom.xml,在其中添加以下内容



红框中的内容：


&lt;!-- spring boot 构建插件，解决没有主属性清单的问题 --&gt;
    &lt;build&gt;
        &lt;plugins&gt;
            &lt;plugin&g...]]></description><category></category></item><item><title><![CDATA[springboot项目发布 Maven Install报错No compiler is provided in this environment.......]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108625056</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108625056</guid><author>FormatWindowsXP</author><pubDate>Wed, 16 Sep 2020 16:35:59 +0800</pubDate><description><![CDATA[springboot 项目发布是，执行Maven install时发生以下错误:



这是因为IDE环境可能使用了jre而不是jdk



把jdk路径添加进来应用再重新尝试发布即可解决这个问题





发布成功
]]></description><category></category></item><item><title><![CDATA[进击的大数据（十三）数据工厂模块开发——java下的elasticsearch操作]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108442509</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108442509</guid><author>FormatWindowsXP</author><pubDate>Mon, 07 Sep 2020 10:58:40 +0800</pubDate><description><![CDATA[项目我上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。

github代码地址：https://github.com/sjctt/spartacus

数据工厂模块主要功能是：将接收模块缓存到redis中的数据，进行基础分析后生成elasticsearch索引。

模块命名：spartacus_datafactory

关于springboot项目的创建，可以参考之前的文章：https://blog.youkuaiyun.com/FormatWindowsXP/article/details]]></description><category></category></item><item><title><![CDATA[进击的大数据（十二）数据工厂模块的设计]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108401914</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108401914</guid><author>FormatWindowsXP</author><pubDate>Mon, 07 Sep 2020 10:14:47 +0800</pubDate><description><![CDATA[项目我已上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。

github代码地址：https://github.com/sjctt/spartacus

在前面几篇文章里完成了数据采集模块的设计研发，主要功能就是通过syslog接收信息后缓存到redis中等待处理。

涉及到一些技术点如：UDP网络通信，非阻断式接收、多线程处理、队列任务的使用、java操作redis数据库等。

今天开始来做数据工厂部分，即从redis中拿出缓存数据后将数据经过解析后放入elasticsearc]]></description><category></category></item><item><title><![CDATA[进击的大数据（十一）数据采集模块开发——syslog日志采集服务_多线程入库]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108356047</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108356047</guid><author>FormatWindowsXP</author><pubDate>Fri, 04 Sep 2020 09:33:33 +0800</pubDate><description><![CDATA[项目我已上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。

github代码地址：https://github.com/sjctt/spartacus

昨天我完成了udp接收部分，今天来把入库部分做一下。

在这里，如果我把入库动作与udp做单线程处理，会发现，在高并发数据下，入库效率存在很大的延迟，并且udp的接收会有很多数据丢失的情况，这里我们需要采用多线程入库的方式处理数据。

当然，在做多线程时，无限制的开启线程操作显然是不可取的，这会造成严重的资源浪费，甚至内存溢出的]]></description><category></category></item><item><title><![CDATA[进击的大数据（十）数据采集模块开发——syslog日志采集服务 _udp网络通信]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108344693</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108344693</guid><author>FormatWindowsXP</author><pubDate>Tue, 01 Sep 2020 17:37:31 +0800</pubDate><description><![CDATA[本章相关技术：UDP网络通信、java线程池多线程处理、redis。

项目需求文档地址：https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108279929

在前一篇中我完成了关于redis模块的内容，下面我们来把采集模块完成，关于udp网络通信部分。

首先，在之前整理的需求中，对于UDP的要求为可通过配置文件对udp绑定的ip及端口进行配置，下面先来设计一下配置文件。

1.设计系统配置文件

在spartacus_datacollectio]]></description><category></category></item><item><title><![CDATA[进击的大数据（九）数据采集模块开发——syslog日志采集服务_java下的redis数据库操作]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108342109</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108342109</guid><author>FormatWindowsXP</author><pubDate>Tue, 01 Sep 2020 15:45:24 +0800</pubDate><description><![CDATA[本章相关技术：UDP网络通信、java线程池多线程处理、redis。

先来整理一下syslog模块的结构路径：

spartacus_datacollection/src/main/java/spartacus_services //放置系统服务模块

spartacus_datacollection/src/main/java/spartacus_services/syslog_service //syslog服务模块

spartacus_datacollection/src/main/java/s.]]></description><category></category></item><item><title><![CDATA[进击的大数据（八）数据采集模块开发——服务中心消息通信接口]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108335604</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108335604</guid><author>FormatWindowsXP</author><pubDate>Tue, 01 Sep 2020 14:09:05 +0800</pubDate><description><![CDATA[之前我们新建了一个springboot的项目，今天我们来进行服务中心通信接口的代码书写，需求都基于之前的文章《进击的大数据（六）数据采集模块的设计》 https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108279929 不记得可以供我们回顾一下。

项目代码我上传到github上了，随时做随时更新，感兴趣的可以下载，github代码地址：https://github.com/sjctt/spartacus

1）首先在之前的sprin...]]></description><category></category></item><item><title><![CDATA[进击的大数据（七）数据采集模块开发——创建spring boot项目]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108284275</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108284275</guid><author>FormatWindowsXP</author><pubDate>Sat, 29 Aug 2020 00:09:32 +0800</pubDate><description><![CDATA[下面就准备开始编码了，因为我是出于可以提供学习参考的目的过程就尽量写的详细一些吧。

1. 开发环境

IDE：Eclipse 2020

java：jdk 8

开发架构：Spring boot

这里jdk版本不要低于8，因为项目后面涉及到ES的时候，ES需要jdk8，否则支持不了。

2.创建项目

1）springboot 基于Maven框架，首先我们建立一个Maven项目。



2）这里选择创建一个简单的项目



3）给项目命名，我的项目名是spartacus_datacollection

]]></description><category></category></item><item><title><![CDATA[进击的大数据（六）数据采集模块的设计]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108279929</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108279929</guid><author>FormatWindowsXP</author><pubDate>Fri, 28 Aug 2020 17:27:38 +0800</pubDate><description><![CDATA[先来搞数据采集模块吧， 简单做一下需求分析，大概暂时就这几个需求吧，很简单。

1. 需求分析



1.1 syslog协议采集

 1）采用udp协议对宿主机指定端口进行监听，实时获取数据后将数据放入redis缓存。

 2）可通过配置文件对UDP协议绑定的IP、端口进行设置。

 3）端口默认 514 syslog标准端口，IP默认 0.0.0.0 即宿主机所有IP地址。

1.2 服务中心消息通信

 1）提供与服务中心交互接口，便...]]></description><category></category></item><item><title><![CDATA[进击的大数据（五）项目的启动]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108276823</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108276823</guid><author>FormatWindowsXP</author><pubDate>Fri, 28 Aug 2020 14:11:09 +0800</pubDate><description><![CDATA[1. 项目介绍

1.1 前言

  Spartacus取自古罗马时代的起义军领袖，在古罗马奴隶制时代，奴隶领袖斯巴达克斯领导的大起义，曾经震动了整个西方世界，其斗争精神曾影响了一代又一代奴隶。斯巴达克斯象征了追求自由的、不畏强权的、不安于现状的精神。

 Spartacus的项目目标是一个可以提供日志审计、数据分析服务的大数据功能平台，不知道我一个人可以将这个项目做到一个什么程度，可以做到半途就放弃了，也可能以后有机会在这个项目里加入人工智能的概念，哈哈哈哈哈哈哈哈哈哈哈哈，白日...]]></description><category></category></item><item><title><![CDATA[进击的大数据（四）elasticsearch 的搭建]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108275084</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/108275084</guid><author>FormatWindowsXP</author><pubDate>Fri, 28 Aug 2020 11:09:53 +0800</pubDate><description><![CDATA[1. 下载elasticsearch

喜欢使用最新版本的可以去官网下载最新版本，因为官网下载慢，总中断，这里我网盘分享一个7.2版本，方便下载。

elasticsearch官网：https://www.elastic.co/cn/

百度网盘链接：https://pan.baidu.com/s/1cWAwxoueGWllLZmkwcvgbg
提取码：a815

2. 安装部署

主机系统：Centos7

elasticsearch版本：7.2.0

将ES安装包移动到centos下进行安装，ES的安装]]></description><category></category></item><item><title><![CDATA[AIX系统下NTP校时的配置方式]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/106999975</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/106999975</guid><author>FormatWindowsXP</author><pubDate>Sun, 28 Jun 2020 15:34:25 +0800</pubDate><description><![CDATA[在对数据中心进行标准时间管理时，我们需要对各类操作系统、网络设备、安全设备等关键设备接入ntp协议对时，今天在配置一台AIX系统时碰到了一个问题，我们的ntp时间服务器是采用gps卫星标准时间，在使用ntpdate命令对时时，配置AIX是始终提示以下错误，



通过ntp.conf方式配置，xntpd服务也一直无法对时，最终终于还是在官方文档靠谱，找到了解决方案，这里记录一下，记性不好。

官方文档的说明



————————————————————————————————————————...]]></description><category></category></item><item><title><![CDATA[进击的大数据（二）：redis的搭建]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/100124454</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/100124454</guid><author>FormatWindowsXP</author><pubDate>Wed, 28 Aug 2019 18:17:07 +0800</pubDate><description><![CDATA[不小心把搭建的文章删除了，把记录的草早仍上来吧..

下载地址：https://redis.io/





tar xzf redis-4.0.2.tar.gz

cd redis-4.0.2

make

make install







配置文件信息



1、bind 127.0.0.1 - 设置redis只可以访问的IP地址，注释掉可以所有的都可以访问，在生产环节中最好...]]></description><category></category></item><item><title><![CDATA[进击的大数据（三）：java操作redis]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/94613145</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/94613145</guid><author>FormatWindowsXP</author><pubDate>Thu, 04 Jul 2019 13:59:00 +0800</pubDate><description><![CDATA[一、redis的java驱动

java驱动下载地址：http://repo1.maven.org/maven2/redis/clients/jedis/,当前最近版本是3.1.0-m3。

 剩下的不详细写了，直接上代码。没有那么复杂，整体感觉上redis还是很不错的，方便、快速、简单。我没有对redis进行并发和大数据测试，对它的性能还没有概念，有机会的话我会进行深度测试。


...]]></description><category></category></item><item><title><![CDATA[进击的大数据（一）：始于数据]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/94550059</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/94550059</guid><author>FormatWindowsXP</author><pubDate>Wed, 03 Jul 2019 11:40:04 +0800</pubDate><description><![CDATA[对于大数据的处理，我们不免要用到分布式集群、搜索引擎、缓存等各种各样的技术。我计划用一些时间调研一下包括springboot、vue、elasticsearch、storm等几个技术，并将这些技术应用到一个项目工承中。因为这是私人事件，我不知道这件事情是否可以坚持下来，会做到什么时候，也许这个目标会在执行过程中因为其他工作无疾而终也说不定。先给这个项目命个名吧，我打算叫它：Sparta...]]></description><category></category></item><item><title><![CDATA[如何调试c++编写的dll]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/93047087</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/93047087</guid><author>FormatWindowsXP</author><pubDate>Thu, 20 Jun 2019 15:40:40 +0800</pubDate><description><![CDATA[C++ dll调式：








]]></description><category></category></item><item><title><![CDATA[SNMP协议学习记录（二）]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/81703423</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/81703423</guid><author>FormatWindowsXP</author><pubDate>Wed, 15 Aug 2018 16:10:15 +0800</pubDate><description><![CDATA[继续来看SNMP，昨天搭了一个测试环境，收到了一票不知道什么含义的数据。

 

深入了解后，发现这跟一个叫做MIB库的东西有关，这个MIB库是一个非标准的库，每个厂家都有自己的MIB库，据说甚至每个厂家的不同产品可能都不同，学一步做一步，先不管mib库，我先来用java实现一个snmp trap的信息接收demo。

我使用的snmp4j一个开源的工具类

下载地址：https://downlo...]]></description><category></category></item><item><title><![CDATA[SNMP协议学习记录（一）]]></title><link>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/81669743</link><guid>https://blog.youkuaiyun.com/FormatWindowsXP/article/details/81669743</guid><author>FormatWindowsXP</author><pubDate>Tue, 14 Aug 2018 17:10:57 +0800</pubDate><description><![CDATA[工作需要，今天要开始接触snmp协议，记录一下学习过程，方便以后回顾。

看了协议报文，一头雾水，我决定先模拟一个服务端+客户端，先看看它的运行效果。

1. 搞一个服务端

       通过了解，发现snmp协议支持主动采集和被动接收两种形式，我最终需要实现一个snmp的服务端，接收通过snmp协议发送的消息，再对这些消息进行更深度的处理，符合被动接收。

https://download.c...]]></description><category></category></item></channel></rss>