gao2175的博客

上周，开源中国（OSCHINA）公布了 2019 年度最受欢迎中国开源软件。由宜信科技中心数据中台部自主研发并开源的可视化服务平台Davinci（达芬奇）入围榜单，并在“企业软件”这一细分类目中位列第二。（Davinci上榜）（企业软件类细分榜单）(奖杯)我们先来给大家介绍一下这个优秀的可视化服务平台——Davinci。Davinc...

本文从启动、配置、扩容、伸缩、存储等方面介绍如何使用开普勒云平台。一、Kplcloud是什么?kplcloud是一个基于Kubernetes的轻量级PaaS平台，通过可视化的界面对应用进行管理，降低应用容器化的对度，从而减少应用容器化的时间成本。Kplcloud已在宜信服务于宜人财富等多个团队，稳定运行了近两年，目前平台已在生产环境跑着上百个应用，近千个容器。一、登陆登陆可以分为三种，...

本文介绍开普勒云平台如何安装依赖。Kplcloud是什么?kplcloud是一个基于Kubernetes的轻量级PaaS平台，通过可视化的界面对应用进行管理，降低应用容器化的对度，从而减少应用容器化的时间成本。Kplcloud已在宜信服务于宜人财富等多个团队，稳定运行了近两年，目前平台已在生产环境跑着上百个应用，近千个容器。一、Namespace建议将与开普勒相关的服务独立到一个专有的...

摘要：容器化推行的过程中，研发、运维学习及使用成本都非常高，那有没有一款简单易用的平台呢？本文介绍基于Kubernetes的应用管理平台-开普勒云平台。一、背景为了快速适应和满足市场需求，小而快的应用越来越多，“这些零碎的应用如何部署、管理？”成为让大家头疼的问题。若全部上虚拟机，资源消耗太大。这时，将应用容器化，显然是一个非常不错的选择，但很多公司又都面临着一个同样的问题，那就是容器化推行难...

一、Kplcloud是什么?kplcloud是一个基于Kubernetes的轻量级PaaS平台，通过可视化的界面对应用进行管理，降低应用容器化的对度，从而减少应用容器化的时间成本。Kplcloud已在宜信服务于宜人财富等多个团队，稳定运行了近两年，目前平台已在生产环境跑着上百个应用，近千个容器。1.1 快速启动克隆$ mkdir -p $GOPATH/src/github.com/kp...

摘要：UAV.Monitor提供了对全维监控指标的预警功能，各类型的监控指标均可配置预警策略，当预警策略被触发后，可通过邮件、HTTP调用等方式进行通知报警，并会根据预警时间频率等对报警动作进行压制。一、UAV预警功能简介UAV.Monitor提供了对全维监控指标的预警功能，各类型的监控指标均可配置预警策略，当预警策略被触发后，可通过邮件、HTTP调用等方式进行通知报警，并会根据预警时间频率等...

内容来源：宜信技术学院第4期技术沙龙-线上直播|宜信微服务任务调度平台建设实践主讲人：宜信高级架构师&开发平台负责人 梁鑫导读：如今，无论是互联网应用还是企业级应用，都充斥着大量的批处理任务，常常需要一些任务调度系统帮助我们解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此背景下，很多之前的任务调度平台已经不能满足业务系统的需求，于是出现了一些基于分...

摘要：本文将就Observability中的日志聚合、分布式跟踪及具体应用中结合使用进行展开说明。一、ObservabilityObservability是一个最近几年开始在监控社区流行的术语。本文将Observability视为一种理念，一种监控的超集，包括监控、日志聚合、分布式跟踪，可以实时更深入地观察系统。本文将就其中的日志聚合、分布式跟踪及具体应用中结合使用进行展开说明。二、日志与调...

摘要：UAVStack推出的JVM监控分析工具提供基于页面的展现方式，以图形化的方式展示采集到的监控数据；同时提供JVM基本参数获取、内存dump、线程分析、内存分配采样和热点方法分析等功能。引言作为AllInOne的智能化服务技术栈，UAVStack提供了非常全面的监控数据采样功能，同时支持数据监控与预警。近期，我们整合了原有的数据采集展示功能，新增JVM分析功能，推出了更易用的JVM监控分...

一、背景作为微服务架构系统，UAVStack的主要服务组件包括：中间件增强框架（英文名MonitorFramework，简称MOF探针）：部署在业务系统监控代理程序 （英文名MonitorAgent，简称MA）：部署在业务系统健康管理服务 （英文名HealthManager，简称HM）：部署在后台服务群随着业务量的增长，部署在业务系统及后台的组件也会相应增加。当总量达到一定量级后，组...

Davinci既可作为公有云/私有云独立使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。大数据可视平台Davinci的安装与配置攻略我们先来实现第一个应用。如果某一步不会操作，别担心，你可以到后面的章节中找对应的介绍。一、注册Davinci 0.3 需要用户自己注册系统账号，注册前确...

导读：数据总线DBus的总体架构中主要包括六大模块，分别是：日志抓取模块、增量转换模块、全量抽取程序、日志算子处理模块、心跳监控模块、Web管理模块。六大模块各自的功能相互连接，构成DBus的工作原理：通过读取RDBMS增量日志的方式来实时获取增量数据日志（支持全量拉取）；基于Logstash，flume，filebeat等抓取工具来实时获得数据，以可视化的方式对数据进行结构化输出。本文主要介绍的...

Davinci既可作为公有云/私有云独立使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。一、环境准备JDK 1.8（或更高版本）MySql5.5（或更高版本）Mail ServerPhantomJs（安装请参考：phantomjs.org）Redis（可选）二、配置部署1...

一、背景软件架构，总是在不断的演进中…把时间退回到二十年之前，当时企业级领域研发主要推崇的还是C/S模式，PB、Delphi这样的开发软件是企业应用开发的主流。随着时间的推移，基于浏览器的B/S架构开始渐渐流行了起来。初期，Web开发ASP还占据了不少优势，但JSP的预编译模式让性能有了很大提升，随后基于JAVA语言的J2EE架构变得越来越流行。早期软件架构基本都是单体架构，系统之间往往不需...

导读：DBus是我们要介绍的在敏捷大数据（Agile BigData）背景下的第一个平台。企业中大量业务数据保存在各个业务系统数据库中，为同时解决数据同步的一致性和实时性问题，DBus（数据总线）平台应运而生。DBus专注于数据的实时采集和实时分发，是一种基于日志的解决方案，同时能够提供消息订阅的方式给下游系统使用。本篇文章主要介绍在DBus的设计中，它是如何处理表结构变更及其带来的各种问题的。...

SSO是公司一个已经存在了若干年的项目，后端采用SpringMVC、MyBatis，数据库使用MySQL，前端展示使用Freemark。今年，我们对该项目进行了一次革命性的改进，改造成SpringCloud架构，并且把前后端分离，前端采用Vue框架。一、使用SpringCloud架构进行改造1.1 为什么使用SpringCloudSpringCloud的核心是SpringBoot，相比较于传...

导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。在上一篇关于DBus的文章（DBus 数据库表结构变更处理方案）中，我们主要介绍了在DBus的设计中，表结构变更及其带来的各种问题是如何处理的。本...

一、DeskTopDeskTop展示当前注册的各个网关组，点击一个网关组将选中该网关组并跳转至首页。每个网关组包括如下四项：角色值：网关应用名前缀，用于区分网关组拥有实例：网关组实例个数网关状态：网关组当前状态网关描述：网关组描述信息，可修改二、首页首页展示网关当前的运行情况。[外链图片转存失败(img-D5wIpT35-1565753915494)(http://coll...

拓展阅读：调用链系列（1）：解读UAVStack中的贪吃蛇调用链系列（2）：轻调用链实现在Java中，HTTP协议的请求/响应模型是由Servlet规范+Servlet容器（如Tomcat）实现的。换句话说，在类Tomcat容器中，一次完整的HTTP请求都是通过实现Servlet规范完成的；Spring、Jesery 等技术栈也是在Servlet规范基础上封装的。因此我们可以借助底层的Serv...

安全认证流程下图是网关基本安全认证流程图，主要涉及API网关认证服务器、API网关和客户端及业务资源。业务资源方需要事先绑定网关安全认证服务组件，并通过路由安全认证模块设置安全口令，才能使安全认证在路由资源生效。路由资源管理安全码设置路由资源Owner需要在网关设置一个安全口令及安全口令的有效时间，然后在【组件管理】->【安全认证】中绑定路由与安全认证服务即可实现路由的安全认证服务。...

近期，我们在GitHub上开源了微服务任务调度框架SIA-TASK，82天，收获了1000+个star！由于这是SIA团队第一次开源项目，开源的相关工作，团队之前并没有太多的经验，因此我们特别整理了本次开源的各种记录事项，希望给今后开源的项目做参考。关键步骤开发协议安全扫描文档版本号开源后期迭代下面我们逐个步骤进行阐述。一、开发在开源项目的开发过程中要注意以下几点：...

SIA-GATEWAY是基于SpringCloud微服务生态体系下开发的一个分布式微服务网关系统。具备简单易用、可视化、高可扩展、高可用性等特征，提供云原生、完整及成熟的接入服务解决方案。本文介绍API网关的安装部署。一、环境1.1 编译环境Maven3+nodejsJdk1.8+1.2 运行时第三方依赖Mysql5.6+elasticsearch 5.5.2kibana-...

一、背景事情是从公司前段时间的需求说起，大家知道宜信是一家金融科技公司，我们的很多数据与标准互联网企业不同，大致来说就是：玩数据的人都知道数据是非常有价值的，然后这些数据是保存在各个系统的数据库中，如何让需要数据的使用方得到一致性、实时的数据呢？过去的通用做法有几种，分别是：DBA开放各个系统的备库，在业务低峰期（比如夜间），使用方各自抽取所需数据。由于抽取时间不同，各个数据使用方数据...

一、前言微服务计算平台，即MicroService Computing Platform，简称MSCP，应用微智能思想提供了一套基于微服务架构的计算平台。UAV系列软件中监控代理程序（Monitor Agent）和监控管理服务（Health Manager）都是基于MSCP构建的。MSCP能够：提供一系列特性来简化计算任务的开发工作，包括提供通信、工作流、定时任务（多线程、异步等）、IO...

拓展阅读：如何基于日志，同步实现数据的一致性和实时抽取?拆解大数据总线平台DBus的系统架构一、环境说明说明all in one是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：1）基础组建：zookeeper 3.4.6kafka 0.10.0.0storm 1.0.1granfana 4.2.0logs...

一、基于Docker的PaaS平台LAIN在金融的场景下，LAIN 是为解放各个团队和业务线的生产力而设计的一个云平台。LAIN 正式上线已经大约两年，基本已经成熟，为宜信大数据创新中心各个团队提供了统一的测试和生产环境，简化了服务的部署与上线流程，也降低了运维人员对系统管理的复杂度。LAIN 规范了一个应用的开发、测试、上线工作流，提供了为应用做的容器编排、权限控制、SDN、流量管理、监控报...

背景无论是互联网应用或者企业级应用，都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点，但各有不足之处，比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求...

作者：韩锋出处：DBAplus社群分享Themis开源地址：https://github.com/CreditEaseDBA拓展阅读：宜信开源|数据库审核软件Themis的规则解析与部署攻略【技术沙龙002期】数据中台：宜信敏捷数据中台建设实践|宜信技术沙龙 将于5月23日晚8点线上直播，点击报名一、面临的挑战1、运维规模及种类我相信，这也是很多公司、很多DBA正在面临或未来都...

导语：宜信于2019年3月29日正式开源nextsystem4（以下简称“NS4”）系列模块。此次开源的NS4系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4系列框架允许创建复杂的流程/业务流，对于业务服务节点的实现可串联，可分布式。其精简、轻量，实现了“脱容器”（不依赖tomcat、jetty等容器）独立运行。NS4系列框架的设计理念是将业务和逻辑进...

导读：数据虚拟化思想一直以来都是敏捷大数据团队十分关注的一个点，Moonbox则以此为基础而设计，致力于提供批量计算服务解决方案。今天，Moonbox惊喜发布0.3beta版（回顾v0.2请戳这里：#Moonbox# 计算服务平台简介），阅读全文，了解Moonbox，跟小编一起看0.3版本的神奇之处在哪里吧~Project：https://github.com/edp963/moonbox...

导语：宜信于2019年3月29日正式开源nextsystem4（以下简称“NS4”）系列模块。此次开源的NS4系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4系列框架允许创建复杂的流程/业务流，对于业务服务节点的实现可串联，可分布式。其精简、轻量，实现了“脱容器”（不依赖tomcat、jetty等容器）独立运行。NS4系列框架的设计理念是将业务和逻辑进...

导语：宜信于2019年3月29日正式开源nextsystem4（以下简称“NS4”）系列模块。此次开源的NS4系列模块是围绕当前支付系统笨重、代码耦合度高、维护成本高而产生的分布式业务系统解决方案。NS4系列框架允许创建复杂的流程/业务流，对于业务服务节点的实现可串联，可分布式。其精简、轻量，实现了“脱容器”（不依赖tomcat、jetty等容器）独立运行。NS4系列框架的设计理念是将业务和逻辑进...

拓展阅读：宜信开源|详解PaaS平台LAIN的功能和架构宜信开源|一个实例解析PaaS平台LAIN的9大杀手级功能一、安装 LAIN 集群本节包含三种场景下安装LAIN集群本地启动虚拟机安装LAIN集群，可供本地测试开发物理服务器/虚拟机安装LAIN集群云服务器安装LAIN集群三者都需要从 GitHub 获取已经发布的 LAIN 版本源代码:https://github.com...

背景应用微服务化场景下，随着服务个数的增加，服务之间的相互调用变得更加复杂，服务治理需求愈加突出，其中服务流量控制是服务治理中的重要一环。当前常用的流量控制方案主要有基于Spring Cloud的Hystrix和阿里开源的Sentinel应用流量控制降级方案。客观而言，两个方案都是侵入式的，要求用户在应用中引入相关包，编写相关逻辑。UAVStack作为一套智能化服务技术栈，其服务治理（UAV...

大体来说，Dbus支持两类数据源：RDBMS数据源日志类数据源一、RMDBMS类数据源的实现以mysql为例子. 分为三个部分：日志抽取模块增量转换模块全量拉取模块1.1 日志抽取模块（Extractor）mysql 日志抽取模块由两部分构成：canal server：负责从mysql中抽取增量日志。mysql-extractor storm程序：负责将增量日志输...

『洞察』是集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。『洞察』使用了Python语言进行开发，利用Flask框架+MySQL+Docker部署实现。一、部署和启动mysqldocker pull mysql:5.7.13docker run -d -p 127.0.0.1:6606:3306 \--name open_source_mysqldb \-...

一、环境准备已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容)已安装MySQL并启动,且开启远程访问各安装节点已经配置ssh免密登录二、下载moonbox-0.3.0-beta下载：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta三、解压...

一、导语『洞察』是宜信安全部开发，集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。应用系统资产管理：对公司应用系统资产进行管理，包括系统名称、域名、重要级别、部门、负责人等。漏洞生命周期管理：对公司应用系统产生的安全漏洞进行线上提交、通告、知悉、复测、分类、风险计算、修复期限计算、邮件提醒、漏洞数据分析统计等。安全知识库管理：对安全知识、管理制度进行集中存放、...

导读：在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中，我们介绍了Wormhole的设计思想，并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义，从文章中我们得知，Wormhole作为实时流式处理平台，其设计思想最终是为流上处理数据而服务的。在本文中，我们主要从Wormhole的功能设计入手，重点介绍Wormhole所支持的几个基本功能。Wormhol...

导读：互联网的迅猛发展使得数据不再昂贵，而如何从数据中更快速获取价值变得日益重要，因此，数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析，以极低的延迟来分析实时数据并给出分析结果，从而提高业务效率，带来更高价值。流式处理作为实时处理的一种重要手段，正在因数据实时化的发展而蓬勃发展。本文是敏捷大数据（Agile BigData）背景下的实时流式处理平台Wormhole的开篇介绍：Wormh...