【ServiceComb】扎实做微服务,认真做开源

微服务框架ServiceComb Service Center是ServiceComb生态系统中的一个服务注册与发现中心,它基于Apache ServiceComb提供可靠的服务管理。Service Center存储有关每个服务实例的详细信息,包括其状态、位置和可用性信息。服务消费者可以使用这些信息来找到并调用这些服务。如果你已经集成了ServiceComb和Spring Boot,可以使用Spring MVC的注解来创建RESTful API。在这个例子中,和是Spring MVC提供的注解,用于定义一个REST服务端点。 阅读详情

5 问ServiceComb

微服务 ServiceComb 是谁?

ServiceComb取名寓意蜂巢,是微服务开源项目,Apache软件基金会孵化项目,其源自ServiceComb商业版华为云微服务引擎CSE,于2017年5月开源开放。原主体代码于2017年12月由华为捐赠给Apache,是全球首个进入Apache软件基金会孵化的微服务开源项目。其提供一站式开源微服务解决方案,融合SDK框架级、0侵入ServiceMesh场景并支持多语言。

ServiceComb目前拥有三个主要的子项目,分别为:

Java chassis

https://github.com/apache/incubator-servicecomb-java-chassis

开箱即用Java语言 微服务SDK,含服务契约、编程模型、运行模型与通信模型四个部分,具备负载均衡、容错熔断、限流降级、调用链追踪等全面微服务治理能力,服务治理能力与业务逻辑隔离。

Service Center—服务注册中心

https://github.com/apache/incubator-servicecomb-service-center

基于Etcd的高性能、高可用、无状态的Golang版分布式服务注册与发现中心,可实时服务实例注册、实时服务实例推送和服务间契约测试等。

Saga—分布式事务解决方案

https://github.com/apache/incubator-servicecomb-saga

ServiceComb Saga是提供了分布式事务最终一致性解决方案,用户只需要通过注解方式定义事务的执行方法以及撤销方法,Saga框架会自动保证分布式事务执行的最终一致性。

微服务 ServiceComb 为何要开源?

不得不说,ServiceComb在开源之前,业界就已有多个流行的开源微服务/RPC框架,ServiceComb从开源之前,就一直面临华为内外部的一个挑战问题:业界已有RPC/微服务框架,为何还要开源多一个微服务项目出来?

最终大家归结到ServiceComb当前的愿景:致力于帮助企业、用户和开发者将企业应用轻松微服务化上云,并实现对微服务应用的高效运维管理。

ServiceComb是华为微服务的事实标准。自家的降落伞自己先跳,华为从2012年开始就已在许多创新项目里使用微服务技术,在往后的几年时间里,技术在自身的业务磨炼下愈加成熟,工具愈加完善,开始在华为的各大产品线大规模推广开。至今,华为消费者云、华为云核、华为云EI、华为云安全等都使用ServiceComb作为微服务场景的开发框架。ServiceComb在开源之前就已经商用了3年+时间,该商用版本承载了多年华为自身业务进行云化转型的技术沉淀和历史经验。

随着云化和互联网技术发展,“天下武功,唯快不破”—需求和业务快速上线交付到客户手中,成为企业的核心竞争力, 游戏等生活娱乐类应用的普及使业务流量的波峰波谷差距愈加明显,微服务架构的弹性伸缩和适合Devops等特点,使微服务化成为企业云化转型的第一步。然而,微服务也无不例外具有它的两面性,华为在自身的微服务化过程中,历经了诸多考验,总结了微服务化的系列挑战,如,服务粒度细导致团队协作困难,常规微服务化手段性能低导致整体资源利用率低,问题定位困难导致运维成本高,等等,华为将这些总结经验都沉淀到了ServiceComb。开源ServiceComb,最基础的想法是它是一个经过华为内部业务广泛验证的微服务转型利器,希望捐出来能对企业、用户和开发者贡献一点自己的力量;其次是如今的微服务生态发展较好,希望可以联合众多开源爱好者和微服务开发者一起将微服务这个生态完善得更好。

微服务 ServiceComb 有哪些技术优势?

ServiceComb基于自身的愿景,一直坚持“将复杂扔给自己,将极简留给用户”,在设计上不断追求能最简单化为用户带来价值,如下粗略地总结了几点:

开箱即用

(一)开箱即用:集服务注册、发现、通信和微服务治理能力为一体,并默认提供集中化配置,结合脚手架能力,实现微服务治理能力0编码,开发人员简单配置即可使能微服务常见功能。

ServiceComb java-chassis-dependencies集中管理了所有必须的依赖,start.servicecomb.io生成出来的项目既包含示例代码,也包含必要配置的以及微服务治理所需的配置,批量生成所有的微服务后,用户只需要专注于填充业务代码。完成开发后,部署ServiceCenter,启动微服务,一个良好的微服务业务系统就运转起来了,之后只需要专注于运维,后期也可通过动态配置,随时修改配置值调整治理能力。

ServiceComb内置覆盖了微服务下绝大多数场景的流量控制、容错熔断、限流降级、故障注入等治理和管控能力。内置支持包括RoundRobin、Random、WeightedResponseTime、SessionStickiness在内的丰富的负载均衡策略,与服务中心ServiceCenter配合,实时感知微服务实例的状态变化,灵敏调节负载。

ServiceComb内置轻量级高性能边缘服务,支持Producer端治理,结合扩展路由能力和动态配置能力能轻松实现灰度发布、A/B测试等关键特性,在业务实测中,在同等资源使用下吞吐能力是业界常规方案的2.8倍。

在奇蛙智能科技无人机业务的实践中,基于ServiceComb的开箱即用能力,团队开发效率提升1倍,节点扩展部署效率提升2倍+。

第一个实现纯异步内核

(二)第一个实现纯异步内核的微服务框架:实现超低调用时延和高吞吐能力,高性能。ServiceComb底层基于vertx,但在vertx之上进行了进一步封装,同时支持异步及同步模型。

异步模型下,业务逻辑直接在eventloop中执行,整个业务流程中没有线程切换,所有的等待逻辑都是异步的,只要有任务,则不会让线程停下来,充分、有效地利用系统资源。

    

同步模型下,一个微服务进程中,为transport创建了一个独立的vertx实例;Eventloop是vertx中的网络、任务线程;一个vertx实例默认的Eventloop数为:

2*Runtime.getRuntime().availableProcessors()。

此外,ServiceComb还通过不断优化,提供了多线程池和隔离仓等相关技术,可在微服务、接口和方法三个维度上进行线程配置并实现不同业务之间的互相隔离。

 

华为消费者云使用ServiceComb实现1500+集群节点规模的微服务以支持4亿手机用户在线,QPS提升2倍+,时延降低45%,从而节省大量硬件资源。

两种微服务化方式并存

(三)同时支持框架式SDK和Service Mesh 0侵入微服务化两种方式,实现两种微服务化方式运维管控统一,降低用户运维管控成本。

梅斯医学的业务在架构选型上选择了Java作为其新业务软件开发的语言,而其却拥有大量的PHP存量业务应用,使用ServiceComb的这种能力实现了不同业务的混合部署并协同治理,以实现其基于存量业务的快速业务创新和多语言支持。

唯一一个实现契约和代码双向自动生成

(四)基于Swagger实现契约和代码双向自动生成

ServiceComb是目前全球唯一 一个基于Swagger实现通信模型与编程模型分离的微服务项目,代码自动生成契约可以实现微服务治理能力与业务代码隔离以使能应用开发人员仅需专注业务逻辑,契约自动生成代码以更好地支持Devops实践和团队协同。

微服务化不是一个单点的技术问题,而是涉及到技术、组织和流程变革。在团队协作上,不论是代码先行还是接口先行,都使用统一标准,通过Swagger在线管理API,服务端和客户端各自基于API定义接口生成代码和模型,实现客户端和服务端松耦合,测试根据API生成测试用例,以防止开发人员绕过在线API定义私自修改接口,设计、开发和测试遵循统一在线API,保证接口、代码、文档的一致性,进而使能基于Devops的流水线团队协作开发效率大大提升。

分布式事务最终一致性联合创新

(五)分布式事务最终一致性:ServiceComb联合京东金融云和中国人保进行创新,提供分布式事务最终一致性解决方案,解决微服务场景下不能依靠单一数据库来实现跨服务事务一致性的难题。用户只需要通过注解方式定义事务的执行方法以及撤销方法,Saga框架会自动保证分布式事务执行的最终一致性。

 

微服务ServiceComb 开放度如何?

华为微服务沉淀代码无保留地开源到ServiceComb,ServiceComb由华为微服务ServiceComb开源已近一年半,进入Apache孵化已近10个月时间,孵化期间坚持“Apache Way”,坚持开放、中立、标准、多样化等原则,月均Release1个Apache孵化器软件版本的速度发行版本,8个月共Release 8个软件版本。

ServiceComb与业界流行生态互通:Zipkin、Skywalking、Prometheus等Tracing/APM生态,Apollo配置中心生态,Istio生态,K8S生态,Spring、SpringCloud等流行开源框架。

开源以来,ServiceComb社区在IT大咖说、Spring Summit、ArchSummit、kubecon、Qcon、LC3、开源中国源创会、Devops沙龙、OSCAR峰会等各类会议中都进行了多次宣讲,并多次举办主体Meetup,完全公开技术路线和细节。

ServiceComb更是中国微服务行业标准制定的核心框架参考,ServiceComb 团队作为核心成员深度参与了此次业界首个微服务行业标准意见稿的撰写,已由信通院于8月份发布,ServiceComb也将继续参与该标准规范终稿制定,从而进一步深化微服务在行业中的应用,促进行业健康发展。

 谁在做 微服务ServiceComb?

ServiceComb始终保持初心,希望能协同开源和业界的力量,在自己的技术积累基础上继续将微服务行业发展壮大,为企业、用户、和开发者做些实事,在推广 ServiceComb 社区的过程中,不仅仅推广技术,更是坚持同时布道微服务理念、微服务方法论和Apache开源文化,希望能竭尽所能在吸取业界智慧的同时为业界尽可能地多做贡献。

ServiceComb 秉持着赤诚之心,许多企业用户陆续选择使用ServiceComb,覆盖了覆盖IOT、生物医药、金融保险、互联网、地产、教育、高校等行业,华为消费者云使用其实现1500+集群节点规模的微服务以支持4亿手机用户在线,同济大学使用其作为AI人脸识别基础框架,中国人保使用其作为数字化转型的基础框架,教育培训机构传智播客使用其作为微服务教程,新型企业奇蛙智能科技基于其实现无人机智慧控制大脑,梅斯医学使用其实现混合部署协同治理能力实现快速业务创新......

ServiceComb社区也日渐活跃,近8个月时间共接收来自各企业的贡献者们的3300+个提交。

在各开源爱好者和微服务开发者的支持下,在Apache导师们的指导和Apache社区志愿者的帮助下,ServiceComb在Apache的孵化也一步一个脚印,稳健发展,目前已启动顶级项目的毕业程序。

不可否认,ServiceComb 不是业界第一个微服务开源框架,也没有如其他RPC框架等拥有较久的开源历史,ServiceComb在开源社区的每一步发展都离不开开源爱好者和微服务开发者的支持,ServieComb社区唯一能做的是恪守原则,始终如一地保持初心。 

致谢过去和现在已关注或贡献ServiceComb的你们,也期待未来有更多的你我他一起共建微服务生态和开源社区,相信只要ServiceComb坚持认真地做开源,扎实地做微服务,ServiceComb必将永不孤单。


ServiceComb Meetup - 华为全联接大会

开源爱好者和微服务开发者们福利来袭,

Apache 基金会董事 Roman Shaposhnik,

Apache 孵化器主席 Justin Mclean,

Apache 秘书长和赞助商大使 Craig Russell,

Apache 成员及 ServiceComb 负责人姜宁……

全球最大的开源软件基金会Apache的大咖们和ServiceComb社区管理委员会成员们齐聚一堂,于10月12日在2018华为全联接大会,上海世博中心416+417会议厅举行Apache ServiceComb Meetup,将从多维度带来干货满满的精彩技术和实践分享。

时间:10月12日 13:30-16:50

地点:上海世博中心 416+417会议厅

长按识别以下二维码,观看在线直播

长按以下二维码,加入ServiceComb讨论群

             

点击“阅读原文”,了解 Meetup 议程!

【教程】ServiceComb安装和配置 Apache ServiceComb 提供了融合开源生态的一站式微服务开源解决方案,致力于帮助企业、用户和开发者将应用轻松微服务化上云,实现对微服务应用的高效运维管理。 阅读详情

相关推荐

ServiceComb介绍与框架源码分析

1. 介绍 ServiceComb是华为开源的微服务解决方案,支持开箱即用、高性能通信、兼容SpringCloud生态、多语言支持、分布式事务等。 关键特性: 开箱即用:支持服务注册发现,负载均衡,熔断容错、分布式事务(Pack)等机制,很容易集成到微服务中 高性能通信:基于Vertx实现纯异步内核,支持同步和异步调用,提供高吞吐量、低时延的服务间通信 兼容SpringCloud生态:支持以spring-boot-starter的方式集成到SpringCloud生态中 多语言支持:支持Java、Go语言微

Just for fun 3124

ServiceComb微服务框架

华为提供的微服务解决方案:Service Comb

学习记录和总结 1万+

完整微服务化示例:使用 Apache ServiceComb (incubating) 进行微服务开发、容器化、弹性伸缩

摘要: 最完整的微服务化示例,从业务场景入手,讲述微服务化架构设计、容器化、集群部署、弹性伸缩本文转载自 微服务 开源项目 Apache ServiceComb (incubating) 官网博客:http://servicecomb.incubator.apache.org/cn/docs/linuxcon-workshop-demo/http://servicecomb.incubator.a...

ServiceComb的博客 1万+

serviceComb的入门

华为的微服务:servicecomb的使用,做了个 小demo

小王的博客 4843

Apache ServiceComb — Overview

目录 文章目录目录Apache ServiceCombApache ServiceComb Service Center Apache ServiceComb Apache ServiceComb 是一个具有开箱即用、高性能、兼容流行生态、支持多语言的一站式开源微服务解决方案。 官方网站:http://servicecomb.apache.org/ 官方博客:https://blog.youkuaiyun.com/ServiceComb Apache ServiceComb 的前身为华为云的微服务引擎 CSE(Cl

烟云的计算 1752

Apache ServiceComb Saga使用说明

简要说明Apache ServiceComb Saga分布式事务一致性框架的架构组成、基本工作原理及使用

微服务ServiceComb入门案例

最近在学习中,接触到了ServiceComb,第一看到这个有点陌生,因为之前所了解的有关微服务的最多的就是Spring Boot+Spring Cloud了。下面简单的介绍一下ServiceComb: ServiceComb是华为2017年开源的微服务框架,ServiceComb在华为内部的实践中沉淀了丰富的企业级应用开发经验,该项目已于2017年12月进入Apa...

zengdongwen的博客 3万+

R语言clusterProfiler实战:GO与KEGG富集分析从入门到精通

本文提供了一份详尽的R语言clusterProfiler实战指南,从环境配置、数据导入、基因ID转换到GO与KEGG富集分析及可视化,手把手教你解读生物学意义。文章重点介绍了如何利用clusterProfiler这一强大工具,将差异基因列表转化为清晰的生物学通路与功能故事,并分享了结果解读、可视化以及处理非模式生物等进阶技巧与避坑指南。

weixin_29044713的博客 162

ServiceComb微服务开发框架介绍

【摘要】 本文根据2018-10-20北京OSCAR开源先锋日演讲内容整理。重点介绍了ServiceComb的项目开源背景、项目组成以及每个项目的核心设计。通过介绍ServiceComb的核心治理能力和一个实际的房屋抢购系统例子,介绍了ServiceComb如何助力开发者轻松的实现微服务开发。 本文根据2018-10-20北京OSCAR开源先锋日演讲内容整理。 ServiceComb项目背景和...

华为云官方博客 8189

期货缠论实战:文华财经笔中枢指标公式解析与博易大师应用指南

本文深入解析期货缠论实战中的文华财经笔中枢指标公式及其在博易大师平台的应用技巧。详细介绍了笔中枢指标的核心逻辑、公式拆解、参数设置及多周期联合作战策略,帮助交易者提升市场分析能力与交易胜率。特别适合期货交易者学习缠论指标的实际应用。

weixin_42522552的博客 361

软硬件融合加速技术系列文章

目录 文章目录目录计算机组成原理Linux 操作系统原理处理器进程管理内存管理I/O 系统文件系统网络协议栈资源管理设备管理GPUFPGASmartNIC/DPU 计算机组成原理 《计算机组成原理 — 冯诺依曼体系结构》 《计算机组成原理 — 基本硬件设备》 《计算机组成原理 — CPU 中央处理器》 《计算机组成原理 — 指令系统》 《计算机组成原理 — 总线系统》 《计算机组成原理 — 存储系统》 《计算机组成原理 — 输入输出系统 — 存储控制器接口类型》 《计算机组成原理 — 服务器》 《计算机组成

烟云的计算 6809

华为微服务ServiceComb

ServiceComb 特点: 设计思想开放,解决方案级,多语言、多通信协议、标准服务契约、事务最终一致性 开源开放,拥抱 SpringBoot、SpringCloud、ServiceMesh 等主流生态 低门槛准入,业务侵入度低,架构松耦合 官网介绍 英文:http://servicecomb.incubator.apache.org/ 中文:http://servicecomb.incubator.apache.org/cn 安装 ServiceComb 开发环境 服务注册中心CSE 服务中心是微服

qq_39095899的博客 4055

玩转企业微信群机器人:一份超详细的Webhook消息推送指南

企业微信群机器人是一个连接内部协作与外部服务的强大桥梁。通过灵活运用本文介绍的各种消息类型,你可以构建出丰富多彩、信息明确的自动化通知系统,极大地提升团队沟通效率。现在,就动手试试,将你的第一个机器人集成到工作流中吧!如果你有任何有趣的机器人应用场景或遇到了问题,欢迎在评论区留言交流!

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 3981

华为 ServiceComb框架

华为 ServiceComb框架 一、ServiceComb 概述 1.背景介绍 ServiceComb 作为Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎 CSE (Cloud Service Engine) 云服务。它意味着国内一款微服务框架在华为和Apache 组织的共同努力下, 随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。 2.首要原则 全球首款进入Apache 的开源微服务项目,中立、开放、标准、无商业Lock-in 开源与商业代码同源,具备零成本平滑迁移商

Java_Pluto的博客 7763

Allegro快速编辑丝印文字操作指导

选择setup-Application Mode-placement edit。Allegro支持丝印文字的编辑,下面介绍快速编辑丝印文字的两种方法如下。这个功能还支持拷贝粘贴,可以从其它地方拷贝过来,免去了书写的麻烦。出现text edit窗口,输入自己需要的文字,点击ok。鼠标移动到丝印文字位置,文字会被高亮起来。Allegro快速编辑丝印文字操作指导。点击丝印文字,丝印会被高亮起来。选择Text edit 命令。输入需要更改后的文字,如下。右击选择text edit。以编辑下方丝印文字为例。

weixin_54787054的博客 4194

Python爬虫教程:抓取区块链交易信息及加密货币市场数据

随着区块链技术和加密货币的迅猛发展,区块链交易和加密货币市场的数据逐渐成为金融、技术、经济研究等领域的热点。对于开发者和研究者而言,实时获取区块链交易数据和加密货币市场行情,对于投资分析、市场预测、技术研究等具有重要的参考价值。本文将通过Python爬虫技术,介绍如何抓取区块链交易信息及加密货币市场数据,详细阐述数据获取的原理、技术方案、实现方法以及抓取到的数据的存储与分析。我们将依托最新的爬虫技术,如requestsSeleniumScrapy,以及相关的数据处理库(如pandasmatplotlib。

2201_76125261的博客 2778

微服务框架serviceComb的崛起

      之前微服务框架一直是用dubbo和spring cloud,直到2017年差不多年底的时候发现了新的开源微服务框架 - serviceComb。这个框架是由华为公司开源的,在公司内部叫cse,想了解更多的朋友可以到华为云官网查看。这里我大概说下这个新开源框架的一些优势的地方。一、系统架构灵活,扩展性强。下面以两图来说明: 模块说明类型artifact id是否可选功能说明编程模型pro...

guotufu的博客 1万+

AgentScope Java 2.0 项目实战: 从零构建自己的个人AI助手“小龙虾“

本文系统介绍如何基于Spring Boot WebFlux、React 18和TypeScript,从零搭建一个本地化的个人AI助手管理平台——AgentScope Paw。项目支持多Agent创建与管理、SSE流式对话、工作区文件CRUD、技能市场、子智能体孵化、AI辅助起草Agent配置等核心功能,并深度集成钉钉、企业微信、飞书、GitHub等IM通道。

program哲学 1435

ServiceComb梅开二度,强势杀入的微服务开源新势力

本文转载自 优快云研发技术 博客,原文链接: https://blog.youkuaiyun.com/dev_csdn/article/details/79650872【北京,2018年3月22日】在北京国家会议中心举办的“2018全球云计算开源大会”上,华为开源的微服务框架ServiceComb凭借良好的社区生态、独特的技术创新以及丰富的应用案例,荣获2018“OSCAR开源技术创新”奖,该项目的负责人姜...

ServiceComb的博客 591

YOLOv8 Neck改进:BiFPN双向特征金字塔网络解析与实践

本文详细介绍了如何在YOLOv8中集成BiFPN双向特征金字塔网络,包括原理解析、代码实现、配置文件修改和性能分析。BiFPN通过双向特征融合和加权特征机制,显著提升了多尺度目标检测的性能。希望通过本文的讲解,大家能够深入理解BiFPN的工作原理,并成功将其应用到自己的目标检测项目中。如果你有任何问题或建议,欢迎在评论区留言讨论!在下一篇文章中,我们将探讨YOLOv8的其他改进技术,包括注意力机制、新的损失函数等,敬请期待!

QQ_778132974的博客 993

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Apache ServiceComb Toolkit:微服务开发的利器

Apache ServiceComb Toolkit:微服务开发的利器 在微服务架构日益流行的今天,如何高效地进行微服务开发、管理和集成成为了众多企业和开发者关注的焦点。Apache ServiceComb Toolkit 作为一款基于契约的微服务开发工具套件,旨在通过提供契约、代码、文档相互转换及校验的能力,帮助用户一键式快速构建基于流行微服务框架和流行编程模型的微服务工程,从而降低微服务入门成...

gitblog_00852的博客 1159

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

ServiceComb 课程

一、 ServiceComb 概述 背景介绍 ServiceComb 作为 Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎 CSE (Cloud Service Engine) 云服务。 它意味着国内一款微服务框架在华为和 Apache 组织的共同努力下,随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。 首要原则 全球首款进入 Apache 的开源微服务项目,中立、开放、标准、无商业 Lock-in开源与商业代码同源,具备零成本平滑迁移商用的能力,社区长足发展有保障 技术方案

9.冄2.7.號的博客 768

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ServiceComb入门篇

一、 ServiceComb 概述 1.背景介绍 ServiceComb 作为 Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎CSE(Cloud Service Engine) 云服务。 它意味着国内一款微服务框架在华为和 Apache 组织的共同努力下,随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。 2.技术方案 解决方案级,多语言、多通信协议、标准服务契约、事务最终一致性 开源开放,拥抱 SpringBoot、 SpringCloud、 ServiceMesh 等主流生态

qq_42642159的博客 4211
上一篇: “0代码”实现滚动升级不断服
下一篇: 2018华为云区块链全球开发者大赛暨可信区块链全球创新大赛正式开幕
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值