“当了十年 IT 程序员,我转型做自动驾驶开发的这五年”

数字化转型浪潮中,程序员的职业发展机会 “这是一个最好的时代,也是一个最坏的时代” ——狄更斯 这两年,中国在各个层面都在进行数字化转型。Public sector,政府提出的“新基建”、“中国制造2025”等一系列科技相关政策方向,都是在国家层面的数字化转型,一方面是公共基础设施的升级,另一方面是传统产业与新一代信息科技的交叉融合;Private sector,各个行业也在进行数字化转型,尤其是像电信、金融、汽车等具备一定信息化基础且IT预算相对充足的行业,特别是这些行业中的头部企业,很多都在大规模地进行数字化转型。 作为一名管理咨询顾问,我经 阅读详情

【优快云 编者按】自动驾驶战场的火热,吸引了无数开发者和从业者融入其中。然而与传统互联网存在很大的不同,自动驾驶是汽车产业与人工智能、物联网、云计算等新一代信息技术深度融合的产物,因此,当很多开发者初入其中甚至在观望时,眼花缭乱的新兴技术、匮乏的底层工具、繁杂的知识点等痛点难题不得不让其向现实低了头,止步于当下。

在《新程序员 004》中,我们邀请到了扎根于互联网 20 载的资深技术人,立足于他从互联网后端转型做自动驾驶车端基础架构研发的亲身经历,深度分享转型做自动驾驶的软硬件、入门与成长经验,也希望本文能够对更多的同行有所裨益。

作者 | 卡林仙人(笔名)

出品 | 《新程序员》编辑部

作为一个2000年就进入IT行业、从事后端研发超过十年的互联网程序员,我在五年前经过慎重考虑,转向了自动驾驶车端基础架构研发领域,决定在一个全新的行业和一个全新的技术方向重新开始。

当我从每天面对着终端和浏览器,变成与各类嵌入式开发板、各种型号的传感器打交道,经常需要实车上路调试,最终亲眼看到一辆汽车按照代码预期自主行驶的时候,确实能感受到和之前工作完全不同的体验和成就感。

从进入自动驾驶行业至今,已有数款我参与研发配备辅助驾驶系统(ADAS,Advanced Driver Assistance Systems)的量产车型上市,在此,我也希望把这几年来的心得总结出来,给有意参与自动驾驶研发,但是还在观望犹豫的同行们参考,帮助大家更快找到适合自己的定位。

自动驾驶技术入门,必知的分工与岗位职能

车辆的自动驾驶系统运行环境与互联网服务有很大区别,既没有服务器集群那么丰富的系统资源,也没有浏览器和移动端那么多样性的开发工具。

自动驾驶系统需要工作在车辆已有的数据和控制接口之上,先读取车身和传感器的各项输入,经过系统处理之后,再转化为对底盘控制接口输出的纵向(加减速)和横向(转向)控制指令,最后车辆执行这些指令,完成动作。

按照自底向上的顺序,首先将自动驾驶汽车广泛地分为硬件方向和软件方向。

d2eb1a7b468d1c394fd64dcdc2329438.png

自动驾驶之硬件平台

车辆平台

对于车辆自身的车身、驾舱、底盘的控制器和软件系统,当前汽车行业已经具备非常成熟的ECU(Electronic Control Unit)控制器产业链和汽车开放系统架构(Automotive Open System Architecture,简称AUTOSAR)软件体系。

它们负责处理车辆底层控制逻辑,为上层自动驾驶系统提供数据和控制接口,是自动驾驶系统能够控制车辆的基础。

自动驾驶硬件平台

自动驾驶系统的算力需求远高于汽车行业常用的低功耗芯片,需要专用的高算力低功耗嵌入式计算平台。目前行业普遍使用64位ARM架构芯片(aarch64),自动驾驶还依赖了各种型号的摄像头和各个频段的雷达传感器,都需要专业人员来负责各类硬件和传感器的驱动适配,以及GPU、FPGA、DSP等专用运算加速设备的算子开发,这部分工作都是由嵌入式硬件工程师来负责。

因为行业背景知识差异比较大,互联网背景的程序员通常不会选择参与硬件方向工作,所以我们需要关注的是软件方向的岗位。

自动驾驶之软件平台

车端基础架构

自动驾驶车端基础架构在广义上涵盖了「硬件驱动之上,算法应用之下」的所有部分,车端基础架构贯通硬件层和应用层,发挥着承上启下的作用。

车端基础架构工程师经常需要解决软硬件因素混杂又难于重现的复杂问题,某友商类似岗位的招聘要求就非常直白:“Use your expertise to debug hard-to-reproduce whole-system problems”。比较适合熟悉C++技术栈的互联网后端程序员,根据近几年的招聘经验,我认为通信行业C++工程师也普遍比较适合。

车端基础架构主要包含下面这些方向:

  • 中间件:为上层应用提供通信、任务管理等基础服务,同时保证了不同车型、传感器和操作系统的接口统一。

  • 工具链:与车端中间件及云端数据平台配套的数据采集、回放和调试工具集,开发迭代效率和问题定位效率的倍增器。

  • 操作系统:目前车端自动驾驶域以商业实时操作系统和定制版本Linux为主,预计未来会有专用的自动驾驶操作系统出现。

车端算法和应用

自动驾驶车端算法按照目前的行业共识,一般分为感知、定位、决策、规划、控制等若干方向,比较适合互联网行业算法策略背景的工程师考虑。

通俗地比喻一下,每个算法方向解决的是下面这些问题:

  • 感知:根据各个方向摄像头和各种雷达的输入,确定自己看到的是什么,有多远。

  • 定位:根据卫星定位、惯性导航、高精地图和环境特征,确定自己在哪条道路的哪个车道。

  • 决策和规划:自己应该去哪里,以及怎么安全到达。

  • 控制:在保证乘客体验的前提下控制车辆转向和加减速。

云端服务

除了车端以外,自动驾驶云端业务重要度也非常高,云端系统的完善度与成熟度是直接影响车端系统迭代效率的关键因素。因为不受车端硬件环境的限制,可以直接沿用成熟的互联网技术栈,所以自动驾驶云端是最适合互联网程序员转型自动驾驶的技术方向。云端服务有以下这些业务:

  • 数据平台:自动驾驶开发和运行过程中都会产生非常大量的数据,是保证研发迭代和排查问题的关键因素,与车端工具链共同构成核心基础设施。

  • 虚拟仿真和自动化测试:实车上路测试成本高昂,可以大量并行运行的虚拟仿真场景,能够提升测试效率和降低测试成本。

  • OTA远程更新:车辆对远程更新软件的安全性和可靠性要求远高于手机,对远程更新服务的健壮性也提出了更高的要求。

  • 远程监控:基于5G基础设施的远程监控和接管是比较新的技术方向,有可能是Robotaxi(自动驾驶出租车)服务落地的关键性因素。

智能驾舱

智能汽车驾舱方向虽然不参与车辆控制,但是承担着用户与自动驾驶系统之间桥梁的职责,直接关系着车辆乘客的全程体验。

目前驾舱普遍使用基于安卓系统的大屏车机和语音控制作为主要人机界面,所以比较适合互联网行业移动端或者前端开发人员考虑。

高精地图

预计在今后相当长的时间内,高精地图都是自动驾驶系统的一个关键依赖,高精地图业务包括数据采集处理、云端服务、车端服务等方面,本身已经涵盖了从车端到云端的各个技术环节,如果具备GIS(Geographic Information System)专业背景,或者互联网地图服务项目经验,就比较适合高精地图方向的岗位。

除了上面提到的这些,自动驾驶对信息安全、配置管理、系统集成、软件测试等研发配套岗位同样有招聘需求,建议有兴趣的同行可以保持关注。

自动驾驶系统的特点和差异

显而易见,自动驾驶系统对代码的稳定性、安全性和性能都有更高的要求。除此之外,还需要适应以下这些差异:

  • 与互联网的区别

作为互联网程序员,日常工作环境是后端服务器或者客户端浏览器,开发、测试和运行环境都非常成熟、稳定,越来越标准化。作为开发者只需要关注到操作系统接口层面,通常来说不需要也没有必要进一步深入到硬件层面。

当从事自动驾驶系统开发时,软件系统与车辆平台、车端硬件和传感器紧密耦合,所有特性都必须经由软硬件系统的协调一致配合才能正常运行,而且自动驾驶行业正处于剧烈进化的高速成长阶段,车型与传感器型号繁多,技术标准和接口多变,所以需要我们从底向上、从硬件到系统,对各个层面、各个环节的知识都要有一定的了解,最好是能有机会自己亲自参与硬件配置和软件部署调试的全过程,才能加深整体认识,避免盲人摸象。

以我个人的看法,如果具备一定年限的驾龄,会更有助从司机角度理解用户的关注点和诉求。

  • 车规和功能安全

每个新进入自动驾驶行业的互联网程序员最多关注到的新名词必然是“车规”和“功能安全”。

简要地说,车规是汽车行业多年来积淀的从代码规范到开发过程的一系列行业标准和行业规范的统称,功能安全(Functional Safety)是一个专业术语,特指汽车行业一整套避免伤亡和损失的研发流程方法论。

这其中与自动驾驶系统关系最密切的有国际标准《ISO26262-道路车辆功能安全》、C/C++代码规范MISRA C和MISRA C++(Motor Industry Software Reliability Association)。因为最新一版MISRA C++规范是2008年制定的,无法覆盖C++11以来天翻地覆的语言标准变化,所以也可以选择参考支持更高语言标准的代码规范AUTOSAR C++14。

73699c3e3d97402142a02da46c095246.png

ISO26262 V研发流程模型

如果遵照功能安全标准和方法论,最终的成果是软件的车辆安全完整性等级(ASIL,Automotive Safety Integrity Level),分为ASIL-A、ASIL-B、ASIL-C、ASIL-D四个级别,安全等级逐级递增,如果通过了ASIL-D,就代表符合了最高级别的功能安全等级,例如目前微内核实时操作系统QNX的功能安全版本QNX OS for Safety的部分组件(系统内核、部分系统服务、C编译器和标准库)就通过了ASIL-D标准认证。

这里从ASIL-D标准里摘取几条要求,我相信业界从业者都能体会到通过ASIL-D认证的复杂度和工作量:

  • 形式化验证

  • 限制使用指针

  • 无隐藏数据流或者控制流

  • 测试的分支覆盖率、函数覆盖率、调用覆盖率都要求100%

软件功能安全是一个专业性比较深的话题,通常自动驾驶团队都会配备专业的功能安全工程师,开发人员需要做的主要是了解标准概要和熟悉配套工具,遵循专业人员的要求和建议。另外因为通过最高级别认证的成本相当高,所以实际操作中一般都会根据项目需求,针对不同模块,选择适用的功能安全级别。

  • 实时性

在互联网行业,实时系统一般泛指处理或者响应足够快速的系统,并没有的明确的定义和定量的指标。

在自动驾驶行业,实时性(real-time)是特指系统具备在承诺的时间窗口或者调度周期内,不受任务调度、资源争抢等外部因素干扰,准时完成运算的能力。我个人认为更恰当的描述应该是“确定性”。

举例来说,一个设计指标为20Hz(即每秒20次)输出运算结果的任务模块,如果能精确地做到每两次输出间隔都是50毫秒,那就满足了设计要求的实时性指标。但是如果输出间隔不均匀或者明显抖动,那即使能够实现30Hz甚至更高的输出频率,也是不满足实时性指标的。

要提升软件系统的实时性,首先要使用支持实时调度策略的操作系统,例如黑莓QNX或者风河VxWorks,或者至少是升级了内核实时性补丁的定制版本Linux。其次应用层代码要通过池化策略预分配好各项资源,避免运行时动态资源分配和缓存失效引发的抖动,科学调配每个计算任务的亲和性(affinity)和优先级(priority),降低被操作系统任务调度服务切换的频率。

很多互联网程序员在刚进入自动驾驶行业时,可能都听到过“车规代码不允许在运行时动态申请内存”的传言,其实就是源自实时性要求。所有的new/delete和malloc/free调用,包括C++11之后的创建智能指针对象操作,都会在代码静态扫描时被标记为违反MISRA C/C++代码规范。

除了功能安全和实时性,自动驾驶也正在逐步从航空航天等传统高可靠性软件领域借鉴行业成熟经验。

学习建议和推荐书目

当前业界已经有了ROS2、Apollo等高质量开源项目,项目文档足够丰富,有基础的同行可以参考学习,了解技术细节:

  • ROS2:https://docs.ros.org/

  • Apollo:https://github.com/ApolloAuto/apollo

以下书籍分别从行业背景和技术概述角度介绍了自动驾驶,比较适合初学者阅读:

  • 《无人驾驶》:https://book.douban.com/subject/27058912/

  • 《自动时代:无人驾驶重塑世界》:https://book.douban.com/subject/35101057/

  • 《第一本无人驾驶技术书》:https://book.douban.com/subject/27038410/

  • 《无人驾驶汽车概论》:https://book.douban.com/subject/26629406/

汽车行业已经有百年历史,自动驾驶又是一个全新的方向,所以如果你刚刚进入这个行业,必然会天天听到新名词,天天看到新缩写。

在最开始的几个月,要充分利用互联网丰富的信息资源,高强度补充行业知识。要做到勤搜索,勤提问,勤动手(写代码),自动驾驶又是软件和硬件,代码和体验都深度结合的学科,所以必须还要再加上一条:勤上车。

寄语

作为一门刚刚诞生不久的技术,没有人能提前知道自动驾驶应该怎么做,所有人都是在同一个起跑线,从头开始探索的。

记得五年前,我还在犹豫要不要从互联网转型自动驾驶,担心自己能不能在一个新方向从头开始的时候,一位行业前辈曾经热情的召唤:“不要担心自己什么都不会,我们都是从什么都不会开始做自动驾驶的。”

另外,作为一个曾经经历互联网行业多次起伏的过来人,也要提醒大家,虽然当下自动驾驶正火,钱多机会也多,仍然要对周期性波动做好心理准备。我刚刚转型自动驾驶后就遭遇了整整两年的行业低谷,如果你仅仅是为了投资下一个风口,那这两年必然会非常煎熬,甚至悔不当初。但是如果你和我一样,想清楚了自己想要的是什么,那所有的困难就不再是阻碍,而是达成目标之前的考验。

作者介绍:卡林仙人(笔名),2000年至2017年间从事互联网后端技术研发,2017年起从事自动驾驶车端基础架构研发,先后工作于新浪、百度等公司。

—END— 

本文为《新程序员 004》内容,《新程序员004》即将上市,敬请期待。

[转]“当了十年 IT 程序员,我转型做自动驾驶开发的这五年” 【优快云 编者按】自动驾驶战场的火热,吸引了无数开发者和从业者融入其中。然而与传统互联网存在很大的不同,自动驾驶是汽车产业与人工智能、物联网、云计算等新一代信息技术深度融合的产物,因此,当很多开发者初入其中甚至在观望时,眼花缭乱的新兴技术、匮乏的底层工具、繁杂的知识点等痛点难题不得不让其向现实低了头,止步于当下。 在《新程序员 004》中,我们邀请到了扎根于互联网20 载的资深技术人,立足于他从互联网后端转型做自动驾驶车端基础架构研发的亲身经历,深度分享转型做自动驾驶的软硬件、入门与成长经验,也希望.. 阅读详情

相关推荐

【算法】图解A* 搜索算法

A* 算法是启发式搜索算法,是根据Dijkstra算法改进而来。 问题引入 如下图所示,S为起始(start)节点,G为目标(goal)节点。 节点之间连线是两点的路径长度,如A到E的路径长度c(A,E) = 9。 节点旁的h值时当前节点到达目标节点(G)的预估值,如h(A)=15, 表示从当前点A到达目标点G的估计路径长度为15,此处h(x)即为启发函数,启发函数的设计有很多方法,具体可......

zhuhua造轮子的博客 4万+

程序员的自我进化:2020改变自己、提升认知

我希望,每年我都能在自己的空间写上几篇文章,回味过去、思考当下和畅想未来。我不准备把这些文章发在其他的自媒体上,远离喧闹,不想过分和嘈杂的世界对话,写这篇文章的时候,是我心最安静的时候,我在和自己对话。 外面疫情的消息就如同这病毒还在肆无忌惮的传播着,本来定的元宵节之后返京,现在看来不能如愿以偿了。待在家里,闲暇的时间格外多,持续关注疫情也会让人越发的恐慌和懒散。2019年对我来说是个成长的节点。...

春华秋实 2716

kettle9.0+ 连接Hadoop报错

kettle bug

x²+(y-√³x²)²=1的博客 1563

“当了十年IT程序员,我转型做自动驾驶开发的这五年”

自动驾驶开发该怎么做?

优快云资讯 2559

手把手教你用LTspice仿真BUCK-BOOST电路(附波形分析)

本文详细介绍了如何使用LTspice进行BUCK-BOOST电路的仿真与波形分析,涵盖电路原理、CCM与DCM模式特性、效率优化及常见问题解决方案。通过实战案例,帮助工程师快速掌握升降压转换电路的设计与调试技巧,提升电力电子设计能力。

julia4scientist的博客 1052

Eplan2022 复制已有的宏文件生成新的原理图宏文件

Eplan2022 新建原理图宏文件

haier123888的博客 1万+

程序员的自我进化:技术的广度与深度怎么权衡

程序员的自我进化:技术的广度与深度怎么权衡 工作2-3年了,如果你已经走在自己喜欢和感兴趣的技术路上,那么首先恭喜你了;如果你还在技术圈迷茫和困惑,也请保持微笑。无论你属于那种情况,对于绝大多数人来说,不妨停下脚步来看看,我们应该如何看待技术。我们都希望自己的技术既有广度又有深度,但事实上,鱼与熊掌不可兼得,在有限的时间和精力里,我们不可能掌握所有的技术,而且技术的更新速度很快。因此,我们需要有...

春华秋实 8953

《矩阵论》学习笔记(四):4.2 矩阵的QR分解

《矩阵论》学习笔记(四):4.2 矩阵的QR分解 文章目录《矩阵论》学习笔记(四):4.2 矩阵的QR分解一. Givens矩阵与Givens变换1.1. 概念与理解1.2. Givens矩阵求解方法二. Householder矩阵与Householder变换2.1. 概念与理解2.2. Householder矩阵求解方法2.3. Givens变换与Householder变换的关系三. 矩阵的QR...

shine的博客 3681

程序员的自我进化:学习之道,如何更有效的学习

不得不感叹,计算机技术更新迭代的速度太快了,作为程序员每天除了面对工作,就要学习新技术,笔者自己也不例外,近三年来,笔者自己的感觉是一直在为技术疲于奔命,直到现在,也不敢放缓脚步。学习对于程序员来说太重要了,就像每天必须吃饭一样,程序员每天必须抽出一定时间学习新技术,避免被淘汰。 然而,目前的计算机编程语言和技术框架可谓百花齐放,百家争鸣。作为程序员如何去学习,以及如何更有效的学习呢?本篇将从以...

春华秋实 13万+

Sobel原理及计算过程详解

该算子包含两组3x3的矩阵,分别为横向及纵向,将之与图像作平面卷积,即可分别得出横向及纵向的亮度差分近似值。首先,我们需要构建一个Sobel算子,通常是一个 3x3 的矩阵。Sobel算子可以分别计算水平和垂直方向的梯度值,然后将两者合并得到总梯度值。索贝尔算子(Sobel operator)主要用作边缘检测,在技术上,它是一离散性差分算子,用来运算图像亮度函数的灰度近似值。所以,我们假设选择图像矩阵中的点A(1, 1),即第二行第二列的元素,对应的。接下来,我们将使用Sobel算子计算这个点的梯度值。

2301_76461741的博客 1万+

Qt —— QWebEngineView加载谷歌离线地图(包含离线地图瓦片下载制作、附谷歌地图开发文档)

  关注 微信公众号搜索"Qt_io_"或"Qt开发者中心"了解更多关于Qt、C++开发知识.。 笔者 - jxd

1万+

node mocha_使用Mocha和Chai在第2部分中对Node JS进行测试

node mochaWe introduced you to the basics of testing in Node.js in the previous article. As we promised, this article picks up from where the previous one left off and discusses more advanced concepts...

weixin_26717681的博客 2647

OpenClaw人人养虾:接入即时通讯平台Zalo

通过 Zalo Official Account(OA,官方账号)API,可以将 OpenClaw 接入 Zalo,实现面向越南用户的自动化客服和互动。

王国平的博客 438

“当了十年IT程序员,我转型做自动驾驶开发的这五年!”

【优快云 编者按】自动驾驶战场的火热,吸引了无数开发者和从业者融入其中。然而与传统互联网存在很大的不同,自动驾驶是汽车产业与人工智能、物联网、云计算等新一代信息技术深度融合的产物,因此,当很多开发者初入其中甚至在观望时,眼花缭乱的新兴技术、匮乏的底层工具、繁杂的知识点等痛点难题不得不让其向现实低了头,止步于当下。在《新程序员004》中,我们邀请到了扎根于互联网20 载...

CrisAppleYan的博客 699

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

当了十年 IT 程序员,我转型做自动驾驶开发的这五年”_《新程序员》编辑部的博客-优快云博客

“当了十年 IT 程序员,我转型做自动驾驶开发的这五年”_《新程序员》编辑部的博客-优快云博客

studyvcmfc的专栏 302

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

十年后,程序员还会有今天的收入吗?

现在,程序员的收入高,平均水平远超其他行业,十年后呢?让我们从宏观视角来探查一下。

安晓辉生涯——聚焦程序员的职业规划与成长 2498

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Java程序员十年后还能有现在的高薪吗?

现在互联网行业依然是最受欢迎的行业,无论是从工作环境还是薪资待遇方面,都受到求职者的追捧。但是在另一方面也有很多人质疑,觉得Java程序员的门槛正在逐渐消失。 其一,因为计算机相关专业毕业生一年比一年多; 其二,Java培训班出来的学生一年比一年多; 其三,网络上各种编程课程,也正在帮助无数人零基础转型软件开发。 于是,有人就开始担心:门槛越来越低、涌入的Java程序员越来越多,会不会出现“供大于...

weixin_44568909的博客 316

十年后,程序员的工资还能达到现在的水平吗?

一方面,程序员的门槛正在逐渐消失,因为计算机相关专业毕业生一年比一年多; IT 培训班出来的学生一年比一年多;网络上各种编程课程,也正在帮助无数人零基础转型软件开发…… 另一方面,程序员的工资,动辄两三万,三五万,远高于其他行业大部分技术岗位,似乎充满了泡沫。 于是,有人就开始担心:门槛越来越...

chenguang5597的博客 1239

程序员买房与程序员转型

节前后联系了不少人,以前的学生和过去的同事。有几个朋友的经历比较有关联性,列出来分析一下。       A是我的学生,09年9月完成培训进入工作,现在热酷网从事游戏开发工作。12年下半年刚在燕郊买了套85平米的房子,单价8800/平米(现在涨到9000),首付20多万,贷了50多万,还款周期30年,每月还款差不多3k。他现在西单附件上班,每天早晨8点出门,9点半到公司,晚上6点半下班,8点回到家

游戏人生 9348

AI浪潮下,IT人何去何从?未来十年的转型与新机遇

未来的IT世界,不再是“人对机器”,而是“人与AI协作”。当你学会让AI成为你的思维延伸,你就已经赢在了未来的起点。AI不是风口,它是新的基础设施。而每一个敢于学习、勇于转型的IT人,都将成为新时代的“智能工匠”。

2501_92296866的博客 681

做了十年程序员的苏明哲被裁掉的真正原因!

作为一个程序员,在看《都挺好》这部剧的时候可能关注的点不太一样。别人关注的是家长里短和每个人的好坏,我却更关注做了十年程序员被开除的名校毕业生苏明哲。 清华斯坦福双名校加持 《都挺好》剧中介绍,苏明哲本科是清华毕业,研究生考上了美国的斯坦福,是全球排名第七的顶尖高校,毕业之后做了程序员,学习的是计算机专业,在这个学校这个专业学习的人里面有27位图灵奖(计算机最高奖)获得者,谷歌两位创始...

weixin_44037478的博客 2260

程序员画像,十年沉浮

风险预警。本文属于毒鸡汤系列,经过文学渲染,读后或产生焦虑,有相关抵制者慎入。 十年,转瞬即逝,人生进入下半场。众生皆苦,万相本无。且看风云变幻,慢品苦辣酸甜。小姐姐味道微信公众号首发。 小胡,拼搏者 小胡很久没有笑过了。他在房价的次高点买了套超出自己承受能力的房子,紧接着老婆失业了,失业以后脾气变得特别的不好。 他每天都下班很晚,最近终于鼓足勇气换了份离家近的工作,来省下每天的车费。 他的技...

weixin_33736048的博客 1012

【IT杂谈】十年程序员

知识库 » 程序人生 十年程序员 作者: dreamhead  发布时间: 2012-02-14 14:01  阅读: 173 次  原文链接  全屏阅读  [收藏]    十年程序员(一)   2012年,终于可以和人家说,我有十年工作经验了。幸运的是,十年后,我还在写代码。   十年前,促使我选择写程序作为一生追求的是我对写程序的好奇以及实现功能后的

kenkywu的专栏 1596

都无代码了,还要程序员吗?

受访者 |Frank Yang记者 | 伍杏玲出品 | 优快云(ID:优快云news)从 Code 到 No Code,IT 界对简化代码开发的需求由来已久:过去数十年的发展历程中...

程序人生的博客 3817
上一篇: 《新程序员》杂志的一个新功能悄然上线
下一篇: 不做工程等于纸上谈兵——对话OceanBase创始人阳振坤
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值