【大咖连载】遗留系统改造场景和案例

使用CDC模式改造遗留系统 我们选择了 CDC 模式将遗留系统中产生的变化同步到新服务中。在同步过程中,由数据层的变化推导出业务意图是成功的关键。在其他运用绞杀模式的改造中,如果能够在更上层的地方做分支也是一种好的思路,这样可以更好地还原业务。 阅读详情

640?wx_fmt=gif

640?wx_fmt=png

遗留系统改造场景

640?wx_fmt=png

640?wx_fmt=gif

在进行具体的改造前,可能会遇到如下的挑战:

  • 新旧系统可能需要不同的数据源,或具有不同的数据库结构,怎样解决数据之间的同步和依赖问题呢?

  • 单体应用下的旧系统需要拆分为多个服务时,怎样实现安全的渐进式拆分?

下面根据遗留系统改造过程中的常见场景,来一一解答这些问题。遗留系统的常见改造场景,如图6-5所示。

640?wx_fmt=png

图6-5  遗留系统的常见改造场景

如图6-5所示,对于某个具体改造需求,可以分为以下两种不同的场景。

  • 实现新业务:需要在系统中增加新业务,与现有业务相对独立。根据新业务与现有业务之间是否存在数据依赖关系,又可分为两种子场景,即与现有业务数据独立或者与现有业务数据依赖。

  • 对现有业务微服务化:需要将系统的现有业务改造为微服务架构,比如对现有业务的拆分和服务化工作。

640?wx_fmt=png

//

6.3.1  改造场景1:实现新业务时与现有业务数据独立

//

适用场景:新业务与现有业务数据独立,不存在依赖。

实现方案:新业务可以通过单独的服务和数据库来实现。在消费者请求和底层系统之间引入一个绞杀者门面服务,该服务负责将请求按照业务不同路由到遗留系统和新业务服务上即可,如图6-6所示。

640?wx_fmt=png

图6-6  改造场景1:业务数据独立

由于和遗留系统的数据之间无耦合,新服务的技术栈、工具选型就比较灵活,充分利用到微服务技术的异构性。

//

6.3.2  改造场景2:实现新业务时与现有业务数据依赖

//

新业务与现有业务有数据依赖时,根据数据持有者不同,有两种处理方案。

  • 方案A:遗留系统持有数据,新业务访问共享数据。

  • 方案B:新业务服务持有数据,通过数据同步解决数据依赖问题。

//

6.3.2.1  方案A:遗留系统持有数据,新业务访问共享数据

//

适用场景:允许新业务访问遗留系统的共享数据,或者数据库分离成本较高。

实现方案:在允许新业务服务直接访问遗留系统的数据库的情况下,最简单的一种实现方案是新业务服务直接连接遗留系统数据库获得数据,如图6-7所示。

640?wx_fmt=png

图6-7  改造场景2:直接访问遗留系统数据

这种方案的实施成本相对较低,与原有数据源进行集成即可,但缺点也在于此,由于直接使用了数据库作为集成方式,新业务服务仍与原遗留系统数据存在直接耦合,原数据库的变动会直接影响到新业务服务的实现,而且对于新旧业务的数据访问权限与控制也需要纳入考虑范围内。针对这些问题,也可以考虑另外一种方案,即新业务服务通过遗留系统所提供的API来获得数据,如图6-8所示。

640?wx_fmt=png

图6-8  改造场景2:通过API访问遗留系统数据

这种方案的优点是可以通过API隔离数据变化,避免新业务服务与原遗留系统数据之间的直接耦合。可以在API中实现对数据的处理逻辑,满足新业务服务的数据需求。API只对外提供新业务服务允许访问的数据域,从而实现数据权限的控制,更适用于数据库直接访问受限制的场景。但其引入的额外成本是需要在原遗留系统上增加API实现的工作,有时因为遗留系统的技术陈旧、结构复杂等原因,会使得这部分工作比较难于执行。

//

6.3.2.2  方案B:新业务服务持有数据,通过数据同步解决数据依赖问题

//

不难看出,方案A中的方法多多少少都对原系统有一定的侵入性,或与原数据库直接耦合,或需要对原遗留系统进行修改。面向对象设计原则中的“开闭原则”,即“对扩展开放,对修改封闭”,可以帮助我们实现灵活可扩展的软件架构,在这里也同样适用。因此可以考虑在原有系统基础上进行扩展,而不是直接修改原遗留系统,于是诞生了另一个方案:新业务服务持有数据,通过数据同步解决数据依赖问题。

适用场景:不允许新业务访问遗留系统的共享数据,或者数据库分离成本不高。

实现方案:具体实现方法是建立独立的数据库供新业务服务所使用,而新数据库与遗留系统数据库之间通过一个专门的数据同步服务进行同步,将新数据库中的数据转化为与遗留系统数据可兼容的形式,并迁移过去。数据同步服务又称ETL(Extract、Transform、Load)服务,其主要职责是读取、转换和同步数据,如图6-9所示。

640?wx_fmt=png

图6-9  改造场景2:通过ETL进行数据同步

该方案的优点在于使用了独立的数据库,对原遗留系统的侵入性较低,新业务服务持有新的数据库,与原遗留系统解除了直接耦合,新业务服务和新数据库的选型都可以比较灵活。所有新旧数据之间的转换逻辑都在ETL服务中实现,以后任何数据转换与同步的逻辑变化都只与ETL服务有关,无须再去修改原遗留系统和新业务服务。但该方案带来的成本是需要额外实现一个ETL服务。另外由于需要在独立的两个数据库之间进行同步,可能只能满足数据的最终一致性而无法做到强一致性。另外也要考虑ETL服务的可用性,避免引入新的单点故障。

如果进一步考虑到数据隔离问题,避免直接暴露新服务的数据库数据,还可以让ETL服务通过新业务服务的API来访问数据,如图6-10所示。这种方案进一步解除了ETL服务与新业务数据库之间的耦合,新增的API还可以进一步被复用,作为其他服务消费者访问数据库的接口。

640?wx_fmt=png

图6-10  改造场景2:通过ELT访问新业务服务的API进行数据同步

//

6.3.3  改造场景3:对现有业务微服务化

//

大多数遗留系统在单体应用架构下已经承载了许多关键业务或持有核心数据,对其进行微服务化改造时,一次性的重构风险是比较大的。因此,更为提倡通过数次小的重构来逐步实现微服务化改造。

适用场景:对遗留系统承载的现有业务微服务化,实现渐进式的重构。

实现方案:以一个含有多模块的单体应用遗留系统改造为例,通过以下三个步骤拆分为业务数据分离的两个服务。

1.将内部代码调用修改为本地REST接口调用:将被调函数修改为REST接口暴露出来,调用者模块通过对本地REST接口调用完成与原有业务等价的功能。此时还未拆分服务,仍然是作为一个服务整体上线。

2.将本地REST接口调用改为服务间REST接口调用:拆分服务,将原有的调用者模块拆分为独立服务,REST接口调用地址改为目标接口所在的服务地址。这一步接口变动的成本相当小,重点在于让拆分后的服务能够独立部署与上线。同时,为避免一次引入过多变更,此阶段拆分后的服务仍然直接访问原数据库的共享数据。

3.业务数据分离:将拆分后的服务所需的数据分离出来,作为新服务的独享数据库所持有。两个数据库之间的数据依赖问题,可以借前文所述的数据同步方案(ETL服务)解决。

按照上述过程,根据需要不断迭代,将原遗留系统的业务逐步微服务化,总体过程的示意图,如图6-11所示。

640?wx_fmt=png

图6-11  改造场景3:对现有业务微服务化

如何对遗留系统的数据库进行拆分

在上述几个改造场景中,有些步骤涉及对遗留系统的数据库进行拆分。那么在多服务共享数据库的情况下,如何决定首先拆分哪个服务的数据库?哪种拆分顺序的工作量最小呢?一种方法是采用数据“读依赖最小”的顺序进行拆分,这种方法的实施可以概括为以下三个步骤:

1.表拆分,解除服务之间的数据关系耦合:列出各个服务对表的读写关系,如果只有一个服务对某个表进行写操作,不用拆分该表;当有多个服务对某个表进行写操作时,首先考虑将这张表拆分成多张有连接关系的表,将其转化为被某个服务单独进行写操作的表。

2.绘制服务依赖关系图:在每张表被独立服务单独进行写操作的情况下,按照如下规则构造有向图,即将所有服务作为有向图中的点,当服务A需要从服务B的数据库读取数据时,画一条由B指向A的有向边,表示服务A依赖于服务B;依此类推,直到绘制完整个依赖关系图。

3.库拆分,解除服务之间的数据库耦合:以有向图中各节点的出度(即从节点出发的边的条数)作为该服务被依赖数,进行排序,挑选被依赖数最小的服务,首先对其进行数据库解耦,把该服务下的数据库表独立出来,并在该服务里提供数据接口,以供依赖于它的服务调用。

重复第3步,直到所有数据库被拆分为由各个服务独享的数据库。

例如,如图6-12所示,是一组包含四个服务的依赖关系图,服务右上角的角标表示该服务的被依赖数。得知短信服务的被依赖数为0,为当前被依赖最少的服务,可以首先将该服务的数据库拆分出来。其次再按顺序依次拆分积分服务、订单服务和账户服务的数据库,直至所有数据库被拆分为由服务所独享的数据库。

640?wx_fmt=png

图6-12  服务依赖关系图示例

640?wx_fmt=png

遗留系统改造案例

640?wx_fmt=png

本节以笔者曾亲身参与改造的遗留系统为案例,介绍如何将一个大型遗留系统向微服务架构进行迁移。

//

6.4.1  改造前的系统情况

//

该系统是一个用于提供全球房产信息搜索服务的大型门户平台,核心功能主要包括如下几点,如图6-13所示。

  • 为用户提供基于地理位置、关键字的房产信息搜索功能。

  • 提供基于定制搜索条件的房源信息订阅。

  • 提供桌面端、平板端、手机端等多种不同方式的访问。

640?wx_fmt=png

图6-13  系统现状

该系统是从多年前收购的一个通用搜索平台改造而来的,整体为一个规模庞大的单体应用,使用同一个代码库,技术栈主要以Java为主,数据库为Postgre,搜索引擎使用FAST Search(历史原因),代码量大约在300万行左右。

随着业务演进的速度越来越快,单体应用的弊端导致系统变更成本越来越高。即使修改几行代码也需要经过冗长的测试以及发布流程,系统发布才能生效。面对这些问题,团队决心使用微服务架构,将未来的新功能全部以微服务实现,并将系统原有功能逐步迁移到微服务架构下。

//

6.4.2  改造过程

//

6.4.2.1  步骤1:通过遗留系统API提供数据

当时,研发团队接到的第一个特性需求如下所示:

  • 支持Native App提供核心功能

  • 三个月上线首个版本

此时,面临的挑战主要包括以下两个:

  • 该系统的主要研发成员在海外,国内团队刚成立,新人多,知识迁移成本高。

  • 系统本身是基于商业通用搜索平台上进行的二次开发,逻辑复杂,代码耦合度高,变更成本高。

采取的方案主要包括如下几部分:

  • 在遗留系统上封装现有逻辑,提供基础API。

  • 重新实现一个服务,类似之前章节提到的BFF模式,为Native App提供数据。

  • 该服务通过访问遗留系统提供的基础API获得所需要的数据。

  • 该服务内实现必要的转换,提供给Native App界面进行呈现。

利用微服务架构的异构性,新服务命名为AppService,使用Ruby On Rails实现,并实现相关的数据转换逻辑,为Native App提供数据API。通过这种方式实现的新服务,不仅能满足Native App的需求,而且可以快速开发,独立部署。

改造后的系统架构图,如图6-14所示。其中AppService服务提供两组API,分别是提供房源信息的Estate API和提供地理位置信息的Loc API。

640?wx_fmt=png

图6-14  步骤1:通过遗留系统API提供数据

通过如上所述的方式,极大地减少了对原门户平台的修改,同时通过在新服务上实现相关逻辑,不仅提升了交付效率,而且该服务能够独立部署上线。

6.4.2.2  步骤2:通过遗留系统数据源提供数据

接下来,研发团队接到的特性需求如下:

  • 支持房产发布者的信息展示。

  • 支持地理兴趣点(POI)信息显示。

但是这两部分的数据在原门户平台的基础搜索API中并未包含,在面临人手有限和交付时间紧的挑战下,如果要在门户平台中新增接口,变更成本会比较高,可能无法按时交付。

面对这些挑战,团队决定尽量避免对原有遗留系统的直接修改,改为在AppService微服务中实现新业务逻辑,做了如下修改:

  • 直接访问遗留系统数据源:由于原门户平台的基础搜索API提供的数据不足,便让AppService通过直接访问遗留系统数据源的方式,获得所需的房源、发布者、地理兴趣点等数据信息。

  • 构建基础搜索模块:在AppService中构建基础搜索模板(Engine API),实现与原门户平台的基础搜索API同样的功能,提供数据给上层API。

  • 构建业务层API:在AppService中构建业务层API,新增两组API,分别是提供地理兴趣点数据的POI API和房产发布者信息的Pub API。

  • 独立地理位置服务:将之前相对独立的Loc API,拆分出来作为独立的地理位置服务LocService。

改造后的系统架构图,如图6-15所示。通过这步改造,将基础搜索数据的查询功能重构到了AppService微服务内,减少了对原门户平台相关功能的修改。

6.4.2.3  步骤3:拆分基础搜索服务,替换数据源

产品的需求持续演进,接下来,团队需要为桌面端用户新增支持多边形的地理位置搜索功能。但在现有架构下,FAST Search搜索引擎并不支持这个功能,这就意味着需要替换原有的搜索引擎,需要对原门户平台的代码做大量的修改。

如何有效地实现这个特性呢?具体操作方法如下:

1.将基础搜索API拆分出来作为独立服务EngineService,这样以后关于搜索相关的逻辑,都可以放在EngineService中实现了。

640?wx_fmt=png

图6-15  步骤2:通过遗留系统数据源提供数据

2.在EngineService中实现基于多边形的搜索。

3.对原门户平台的搜索机制重构,让其使用EngineService获取相关数据(之前是使用FAST SDK)。基于这种方式,门户平台和AppService与底层搜索引擎隔离开来,可以方便地替换底层数据源。

该方案的实现,如图6-16所示。

640?wx_fmt=png

图6-16  步骤3:拆分基础搜索服务,替换数据源

6.4.2.4  步骤4:构建移动端专属的后端服务

团队在预期时间内很快地完成了前面的各项需求,随着业务发展迅猛,接下来需要在手机端和平板端增强用户体验。然而,目前手机端、平板端的实现逻辑较落伍,均是基于JSP的模板方式实现。如果要直接修改,成本高。

考虑到在屏幕尺寸、性能和显示限制等方面,移动设备与桌面浏览器的能力存在显著差异。因此,移动应用对后端的需求与桌面UI是不一致的。

如果仍然使用原有的门户平台逻辑,则需要同时为这两种客户端提供数据,这极大地增加了维护的成本。于是,团队借鉴了BFF模式,将手机端和平板端网站的特定后台需求,拆分为一个独立的后台服务SPA-Web,作为后端实现。为前端提供数据。然后基于最新的前端技术,采用轻量级、更有效的单页面方式实现前端,如图6-17所示。

640?wx_fmt=png

图6-17  步骤4:构建移动端专属的后端服务

通过为移动端创建一个专属的后端服务,可以为移动端的用户进行专门的优化,量身打造最佳体验。同时,由于微服务架构下的这个新服务足够的小而简单,就更容易进行修改、部署和上线了,也更容易在性能和行为方面进行精心的优化。

6.4.2.5  步骤5:基于数据继续划分微服务

随着团队的微服务化实践越来越成熟,整个系统的架构趋向于朝更细的粒度演进。

系统典型的业务场景分为待售房源(Buy)、已售房源(Sold)、待租房源(Rent)等。所以,团队基于这些业务继续划分单独的搜索API以及独立的数据存储机制,每种数据由独立的Elastic Search 集群存储,并利用前后端分离的机制实现前后端的解耦。

解耦后的系统,如图6-18所示。

640?wx_fmt=png

图6-18  步骤5:按照数据划分微服务

最终实现的服务,如下表所示。

服务名称主要描述
UserService处理用户信息的认证和鉴权
SavedSearchService处理用户保存的订阅条件
POIService处理POIService相关的信息
LocService提供地理位置相关接口
BuyService提供待售房源相关的接口
SoldService提供已售房源相关的接口
RentService处理待租房源相关的逻辑

对于系统中使用的服务支撑组件,如服务注册发现机制、集中化配置信息等机制,其实现和在之前的章节中阐述的差不多,这里就不展开赘述了。

//

6.4.3  改造结果

//

可以看到,经过上面一系列步骤后,原有的门户平台已逐渐迁移为微服务的系统,原有的大约300万行的代码也只剩下了大约50万行,继续提供着业务价值。团队对遗留系统的修改和变更成本已经大大减少,总体交付周期也大大缩短,技术的升级带来性能、可维护性的提升,充分享受到了微服务架构小而美的好处。

640?wx_fmt=png

▼

往期精彩回顾

▼

【大咖连载】遗留系统改造策略

【大咖连载】微服务参考模型(适用性评估以及成熟度参考详情)

【大咖连载】微服务与Serverless

640?wx_fmt=jpeg

《微服务架构与实践(第2版)》是在第1版的基础之上,基于作者近年来对服务化改造的实战经验和思考,并结合业界的技术趋势进行的一次体系化的精进。全书共分为基础篇、策略篇和实践篇,剖析了微服务架构理论、微服务实施的参考模型、最佳实践以及基于真实案例的实战。

本书不仅适合架构师、开发人员以及技术管理者阅读,也适合正在尝试向微服务架构迁移的团队或者个人。

京东购买链接:

https://item.jd.com/12511883.html

640?wx_fmt=png

640?wx_fmt=png

用心做开源,不忘初衷

扫码加小助手

微服务云应用平台(ServiceStage):提供微服务的开发、构建、发布、监控及运维等一站式解决方案。

https://www.huaweicloud.com/product/servicestage.html

Apache ServiceComb:业界首个Apache 微服务解决方案,致力于帮助企业、用户和开发者将应用轻松微服务化上云,实现对微服务应用的高效运维管理。

http://servicecomb.apache.org/cn/docs/join_the_community/

本文为作者原创文章,未经作者允许不得转载。

640?wx_fmt=png

在看点这里

640?wx_fmt=gif

640?wx_fmt=png

遗留系统升级改造方案思路 整体思路:        针对遗留系统的改造将遇见如下问题: 1.      系统的文档不全,不新或根本缺失(需求,设计)。 2.      代码是否是最新生产代码? 3.      由于无人了解代码情况,所以代码的质量无法保障。 4.      数据库的表结构说明缺失,业务的整理需要看代码猜测。 针对以上问题,遗留系统升级改造建议采取“尽量少动原来的代码,只解决当前需求和问题为主要目 阅读详情

相关推荐

告别混乱!AutoSar BswM模式管理实战:手把手教你配置Rule与ActionList(附避坑指南)

本文详细解析了AutoSar BswM模式管理的实战配置,重点介绍了Rule与ActionList的高效组合方法,帮助开发者避免常见陷阱。通过具体案例演示了从基础到复杂的配置步骤,包括模式仲裁、逻辑表达式构建及ActionList优化策略,提升汽车电子系统的协调性与可靠性。

weixin_27066963的博客 260

移动应用遗留系统重构(3)- 示例篇

前言 上一篇移动应用遗留系统重构(2)- 架构篇,我们介绍了业内的优秀架构实践以及CloudDisk团队根据业务情况设计的分层架构。 这一篇我们将介绍一个浓缩版的示例,示例中我们设计了一些常见的异常依赖,后续的重构篇我们也将基于这个示例进行操作演示。为了简化代码及对业务上下文的理解,示例中的部分实现都是空实现,重点体现异常的耦合依赖。 仓库地址:CloudDisk CloudDisk示例 项目概述 CloudDisk是一个类似于Google Drive的云存储应用。该应用主要拥有3大核心业务模块

乌龟的专栏 390

Altium Designer操作技巧(4)——如何利用嘉立创EDA来输出3D封装到AD封装库?

本文介绍了利用嘉立创EDA和FreeCAD软件为PCB元件添加3D模型的方法。首先在嘉立创EDA中搜索元件编号并导出3D模型,然后使用FreeCAD删除3D模型中的PCB基板部分,最后将处理后的3D模型导入PCB封装库并更新到PCB设计中。文章详细讲解了每个步骤的操作流程,包括模型导出、基板删除、位置调整等关键环节,并提供了解决常见问题的方法。通过这种方法,电子工程师可以快速获得元器件的3D模型,提高PCB设计的准确性。

u012526819的博客 2594

系统架构设计师-遗留系统

计算机技术飞速发展,日新月异,许多企业因为业务发展的需要和市场竞争的压力,需要建设新的企业信息系统。在这种升级改造的过程中,怎么处理和利用那些历史遗留下来的老系统,成为影响新系统建设成败和开发效率的关键因素之一。通常称这些老系统为遗留系统。 目前,学术和工业界对遗留系统的定义没有统一的意见。Bennett 在1995 年对遗留系统做了如下的定义:遗留系统是不知道如何处理但对组织又至关重要的系统。Brodie 和Stonebraker 对遗留系统的定义如下:遗留系统是指任何基本上不能进行修改...

ce123的技术博客 4147

[UE5蓝图基础二]1.[1d混合空间] 走和跑的动画切换(shift切换)

再双击”run”进去 我们需要给他指定一个动画姿势,这里就需要给他我们前面做的”1d”混合空间,然后可以看到”1d” 上有个speed参数,代表的速度 从前面的逻辑来看需要通过控制速度来切换动画,那么必然不能写死速度,把速度提升为变量传递进来即可,所以就得到以下蓝图节点。混合空间的概念:混合空间就是可以将角色多个动画混合在一起 ,我们创建动画类就是创建个”Animation”文件夹 在文件夹内创建混合空间。我们目前要实现的是一个走和跑的功能 那么创建1d即可。到这一步混合空间已经做完 下一步做”动画蓝图”

qq_30584617的博客 3300

WRF-BEM相关参数说明

本参数适用于WRF-BEM模拟武汉市气候。

m0_60013472的博客 1896

遗留系统维护的思考

     不像发达国家,我们现在还在处在软件开荒时期,不断在开发着新的软件。但随着软件已经成为各行各业中的重要的基础设施,我觉得软件维护这个话题将变得越来越重要。      据统计,可能80%的维护人员都不是以前的开发人员。所以,软件维护首要面临的是对当前软件系统的理解,这次我就这个话题说一下我自己的理解。目前只能想到几点,希望大家能够补充。       那么应该从哪几方面来理解呢?我觉得主要是理...

weixin_34392435的博客 181

告别‘报错马拉松’:一份保姆级的Ubuntu 20.04编译OpenWrt 15.05环境配置与问题修复清单

本文提供了一份详细的Ubuntu 20.04编译OpenWrt 15.05的环境配置与问题修复指南,帮助开发者告别‘报错马拉松’。从基础环境搭建到典型报错分类与修复方案,再到高阶问题的深度修复,全面覆盖编译过程中可能遇到的各类问题,并提供自动化补丁脚本和Docker环境固化方案,确保编译过程高效顺畅。

weixin_33230433的博客 297

软考高级:遗留系统演化策略(集成、淘汰、改造、继承)概念和例题

明明如月学长, 优快云 博客专家,大厂高级 Java 工程师,《性能优化方法论》作者、《解锁大厂思维:剖析《阿里巴巴Java开发手册》》、《再学经典:《Effective Java》独家解析》专栏作者。

悟鸣的技术博客 4683

PSINS工具箱学习(四)捷联惯导更新算法

原始 Markdown文档、Visio流程图、XMind思维导图见:https://github.com/LiZhengXiao99/Navigation-Learning。

实践出真理,接毕设/课设项目开发指导 607

【Go语言实战】(2) Gin+Vue 电子商城

618来!!不用纠结去哪里剁手了!直接自己安排一个商场不香吗??

面向生活编程 4827

【转】遗留系统重构案例

背景和问题   在客户咨询过程的时候,客户的小安正好在做一个升级工具的重构,后来他找到我(钱安川),希望顾问能够指导一下。我简单了解了一下10万行以下C++代码,听起来业务流程也比较清晰,所以我就答应了,准备带着大家一显身手。 我用了2天了解业务,3天了解了代码框架,发现升级工具面临的问题比我想象的复杂得多: 代码混乱,到处都是全局数据和静态类升级业务流程比较简单,但是硬编码了很多批量

view1221思想之旅的专栏 663

一般无穷积分的收敛判别法

文章目录积分里的狄屎判别法证明阿贝尔判别法总结补充:级数中的狄屎和Abel 积分里的狄屎判别法 F(u)=∫auf(x)dx在[a,+∞)F(u)=\int_a^uf(x)dx在[a,+\infty)F(u)=∫au​f(x)dx在[a,+∞)有界 x→+∞时,g(x)单减→0x\to+\infty时,g(x)单减\rightarrow0x→+∞时,g(x)单减→0 ⇒\Rightarrow⇒ ...

universe_1207的博客 1万+

【大咖连载】遗留系统改造策略

对遗留系统的改造,既要不影响业务,实现平滑、安全的过渡,又要保证能够高效、稳步地推进,这对于软件开发者来说是个不小的挑战。 结合笔者的经验,在遗留系统改造过程中可以采取以下思路: 遵循“演进式改造流程”,优先改造最具价值的部分,并保证改造过程中的风险可控。 采用“绞杀者模式”,通过逐步替换而非一次性替换的方式,来保证新旧系统的平滑过渡。 采用“挎斗模式”,将不容易...

微服务技术与实践专栏 903

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

微服务连载(五)不适合采用微服务的5种场景

微服务是软件架构的银弹吗?或许不是。这个世界上很少有东西是百分百正确的,微服务也不例外。最近,技术作家迈克尔·丘奇曼(Michael Churchman)发文分享了在设计或重构应用程序时...

427

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【大咖连载】微服务参考模型(适用性评估以及成熟度参考详情)

微服务实施参考模型(简称参考模型)是笔者基于过去实施微服务的经历,制定的微服务落地过程中的实践指南。 微服务参考模型梳理了产品在微服务实施过程中的适用性评估、成熟度参考、度量体系以及能力提升计划,旨在帮助团队尽早识别微服务实施过程中的风险,并有效地推进微服务相关实践的落地。 4.1 为什么需要参考模型为什么提出参考模型 对于业务背景、系统复杂度、技术体系、团队规模不尽相同的团队...

微服务技术与实践专栏 1149

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

ASP.NET 2.0网站专案同时使C#与VB.NET之技巧(新书连载)

ASP.NET 2.0网站专案同时使C#与VB.NET之技巧(新书连载)你知道专案ASP.NET 2.0网站要如何同时使用C#与VB.NET两种语言及多组件的技巧吗? 节录自【圣殿祭司的ASP.NET 2.0专家技术手册】新书  在以往VS.NET 2002及VS.NET 2003的Visual Studio工具本身不支援多个组件档(Assembly),也就是专案编译后只会产生一个.dll组件,而一个组件只允许包含一种语言(因为系统会呼叫对应C#或VB编译器进行编辑),因此在同一个专案中要使用两种

软件开发资料汇总 364

Java+Go 混合架构怎么搭?收官 50 道面试题 + 学习路线

Java 给你业务厚度,Go 给你并发与云原生宽度——混合架构不是妥协,是当下大厂最务实的选择。20 篇连载带你入门,接下来靠项目实战和源码阅读升级。祝你面试顺利,也期待在 Go 社区看到你的贡献。

weixin_51864284的博客 207

界限上下文识别

限界上下文就是“边界”,这与面向对象设计中的职责分配其实是同一道理。限界上下文的识别并不是一蹴而就的,需要演化和迭代,结合着我对限界上下文的理解,我认为通过从业务边界到工作边界再到应用边界这三个层次抽丝剥茧,分别以不同的视角、不同的角色协作来运用对应的设计原则,会是一个可行的识别限界上下文的过程方法。当然,这个过程相对过重,如果仅以此作为输出限界上下文的方法,未免有些得不偿失。需要说明的是,这个过程除了能够帮助我们更加准确地识别限界上下文之外,还可以帮助我们分析需求、识别风险、确定架构方案。整体过程如下图所

wangbuji的博客 1073

移除上传文件时能终止接口吗_多图干货 | 分布式文件系统设计,该从哪些方面考虑?...

★★★建议星标我们★★★2020年Java原创面试题库连载中【000期】Java最全面试题库思维导图【001期】JavaSE面试题(一):面向对象【002期】JavaSE面试题(二):基本数据类型与访问修饰符【003期】JavaSE面试题(三):JavaSE语法(1)【004期】JavaSE面试题(四):JavaSE语法(3)【005期】JavaSE面试题(五):String类【006期】Java...

weixin_39661589的博客 83

面试官问:序列化与反序列化(含框架对比)?一张图+快递打包比喻,彻底拿下这道必考题(附图解+比喻+避坑指南)

摘要:序列化是将Java对象转换为字节流的过程,用于网络传输或持久化存储;反序列化是逆过程。核心机制通过Serializable接口标记,serialVersionUID控制版本兼容性,transient字段不参与序列化。Java原生序列化(基于ObjectOutputStream)功能完整但性能较差、体积大、安全问题突出。主流序列化框架对比:JSON(Jackson/Gson)可读性强、生态丰富;Protobuf(Google)高性能、跨语言、体积小,适合RPC;Kryo/Hessian在Java生态内性

折哥|智能物流与Java实战,副高数据库工程师。深耕出版社物流WMS/OMS(线体/立库/VGA),也分享Java进阶与OMS电商对接。Oracle→PG实战派。相信沉淀可迁移能力,分享通用技术,不藏不虚。 109

【云计算与云原生实战】05:虚拟化技术体系与实现原理深度解析

本章将系统拆解虚拟化的完整技术体系,从Hypervisor核心原理到五级虚拟化分层模型,从硬件辅助虚拟化到底层容器技术,逐层讲解资源抽象的实现逻辑,理解IaaS云服务的底层技术底座。

weixin_56706427的博客 406

遗留系统的服务拆分

我们正在书写、即将面对、正在面对遗留系统。在与遗留系统的相爱相杀中,需要我们基于项目目标和现状、结合过往经验、经过剪裁和取舍,才能迎面不断出现的挑战。

IDEAL Garden 209

重构旧系统【遗留系统重建实战】

一、旧系统 即任何已经存在的、难以维护或难以扩展的项目。 系统特点: 1)老旧 通常经历几年的时间,同时也会经历几代的维护人员,在他们交接的过程中,很多关于系统的初始设计和以前维护人员的意图和知识会被遗漏。 2)庞大 项目越大越难维护,需要理解的代码越多,存在的bug越...

dhin89171的博客 1539

推动遗留系统现代化革新的三种方式

如何才能最有效地解决遗留系统问题?我们根据以往的实践经验,为遗留系统现代化改造总结了三个最关键的方式,希望能对您有所启发和帮助。

西门子Intelligence Center X的博客 981

处理遗留系统

处理遗留系统,几乎是每个程序员都不可能绕过的一件麻烦事儿。因为时间压力,技能不足以及功能复杂等诸多原因,常常使得遗留系统的代码变得糟糕混乱,可读性与维护性差,无法保证功能的可测试性,纠缠不清的代码让类、方法之间紧紧耦合在一起。如果遗留系统能够正常工作,那么我们还可以置之不理,即使代码接近腐烂的边缘,我们还可以得过且过。倘若我们需要维护遗留系统,或者需要为它添加新的功能,又或者需要将新的系统与遗...

weixin_34149796的博客 815
上一篇: 【大咖连载】遗留系统改造策略
下一篇: 新特性解读 | Apache ServiceComb Pack 0.5.0发布
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值