kylin 整合笔记

AI干IT AI干IT 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 744平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄18年
关注
原创 最新推荐文章于 2026-04-18 15:40:37 发布 744 阅读 AI 写同款· GEO 优化 ›
Kylin系列（一）—— 入门 Kylin 入门到进阶 Kylin kylin构造算法 kylin构造过程 kylin维度优化 Kylin 入门到进阶 前言 核心概念 数据仓库 传统数仓和大数据数仓的区别 OLAP和OLTP 维度和度量 维度的基数 事实表和维度表 星型模型 Kylin中维度表的设计 Cube和Cuboid Kylin的技术架构 Kylin的核心模块 REST Server 查询引擎（Query... 阅读详情

  • 修改hadoop配置文件kylin访问异常
    1.修改hadoop配置文件重启hadoop服务
    2.重启完hadoop，需要重启hbase，个人经验要重启两次服务蔡靠谱，一次可能重启不成功。
    3.还要再挨个节点重启kylin。

  • Directory /usr/local/hadoop/tmp/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
    执行那namenode format格式化：hdfs namenode -format

  • 每次增量构建需要重启，否则找不到找不到配置文件
    修改工作节点kylin.properties文件

    kylin.server.mode=job
    kylin.server.cluster-servers=99.48.232.210:7070,99.48.232.211:7070,99.48.232.213:7070

  • Caused by: org.apache.hadoop.hbase.TableExistsException: kylin_metadata
    这个错误是由于kylin已经运行过，元数据还保留着hbase中需要清理
    步骤如下：

    • hbase zkcli登录zk的客户端
    • ls /hbase/tablehbase的元信息在目录
    • rmr /hbase/table 删除元数据表

  • ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
    这个原因主要是datanode unhealthy 在web界面可以看到。
    引起这个问题的原因为yarn-site.xml

    <property>
            <name>yarn.nodemanager.local-dirs</name>
            <value>/tmp/hadoop/nodemanager</value>
        </property>
        <property>
            <name>yarn.nodemanager.log-dirs</name>
            <value>/tmp/hadoop/nodemanager/logs</value>
        </property>
这两个配置路径磁盘空间不足，可以添加多磁盘，或者扩盘，或者清空这两个目录。
  • File /kylin/kylin_metadata/kylin-f02df97d-cff7-4faf-8dc6-325ca5a738c5/ kylin_intermediate_kylin_error_log_cube_fde7b1bc_6249_47c1_a680_eb07e84772aa/_temporary/1/_temporary/ attempt_1532486903195_0015_m_000006_1/part-m-00006 could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
    这个问题在我的实验环境中也是由yarn-site.xml
    <property>
            <name>yarn.nodemanager.local-dirs</name>
            <value>/tmp/hadoop/nodemanager</value>
        </property>
        <property>
            <name>yarn.nodemanager.log-dirs</name>
            <value>/tmp/hadoop/nodemanager/logs</value>
        </property>
这两个配置路径磁盘空间不足，可以添加多磁盘，或者扩盘，或者清空这两个目录。

- org.apache.hadoop.mapreduce.task.reduce.ShuffleShuffleError: error in shuffle in fetcher  
   Could not find any valid local directory for output/attempt_1532479393376_0050_r_000000_0/map_0.out  
    描述：  
    Error: org.apache.hadoop.mapreduce.task.reduce.ShuffleShuffleError: error in shuffle in fetcher     Could not find any valid local directory for output/attempt_1532479393376_0050_r_000000_0/map_0.out      描述：      Error: org.apache.hadoop.mapreduce.task.reduce.ShuffleShuffleError: error in shuffle in fetcher#3 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376) at org.apache.hadoop.mapred.YarnChild2.run(YarnChild.java:164)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(Subject.java:422)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)Causedby:org.apache.hadoop.util.DiskChecker2.run(YarnChild.java:164)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(Subject.java:422)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)Causedby:org.apache.hadoop.util.DiskCheckerDiskErrorException: Could not find any valid local directory for output/attempt_1532479393376_0050_r_000000_0/map_0.out at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:402) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:150) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:131) at org.apache.hadoop.mapred.YarnOutputFiles.getInputFileForWrite(YarnOutputFiles.java:213) at org.apache.hadoop.mapreduce.task.reduce.OnDiskMapOutput.(OnDiskMapOutput.java:65) at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:265) at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:514) at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:336) at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:193)
原因：貌似与上一个问题类似原因

收录于
IT

当前文章被收录于：

IT
29 篇文章 0 人学习
订阅专栏 查看详情
hadoop

当前文章被收录于：

hadoop
8 篇文章 0 人学习
订阅专栏 查看详情
kylin

当前文章被收录于：

kylin
6 篇文章 0 人学习
订阅专栏 查看详情
标签
#kylin #hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Kylin_麒麟介绍 Kylin简介 kylin-是由中国团队研发的，是第一个真正的由中国人自己主导，从零开始，并成为Apache顶级的开源项目，在此发表感叹国货之光。 阅读详情

相关推荐

Kylin的Java使用

1、BI工具集成 官方文档使用说明 可以与Kylin结合使用的可视化工具很多，例如： ODBC：与Tableau、Excel、PowerBI等工具集成 JDBC：与Saiku、BIRT等Java工具集成 RestAPI：与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件，也可以使用Zepplin来访问Kylin服务。 1、JDBC 1）新建项目并导入依赖 <dependencies> <dependency> <g

TU_JCN的博客 812

YARN ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

环境描述：CDH6.2.0 问题描述：提交flink任务时，偶尔running,偶尔时accepted状态，无法提交，通过rm地址发现此问题 ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 分析过程： 1.查看是否因为资源不足导致的无法提交，队列资源充足，排除资源不足问题 2.排除对应的resourcemanage和nodemanager日志，并没有异常 3.查看...

Small_codeing的博客 6491

kylin+mondrian+saiku整合

安装 kylin+mondrian+saiku 首先要有kylin的环境 （1）下载 kylin-mondrian-interaction-master.zip 解压到指定目录 unzip -d apps/ kylin-mondrian-interaction-master.zip （2）下载 saiku-latest.zip 这个官网一般会打不开所以直接打开 www.meteorite.b...

zahuali的博客 936

MapReduce 作业状态卡死 ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

前言：配置好了yarn后，跑wordcount的例子，但是一直未完成。web页面查看任务状态为：ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 在web页面查看其状态，如果active nodes为0，首先考虑是nodemanager没有正常启动。（下图是已经正常启动后，完成了任务的界面。如果是任务卡死，那么Apps Completed 就是0） #jps 查看当前的进程 如果没有

four404的博客 7622

基于kylin大数据多维分析功能整合

一、            思路 大数据OLAP目前主要有ROLAP和MOLAP。目前我们已采用的ROLAP方式组建数据平台，提供了更大的操作灵活性，同时在海量数据的情况下分析计算缓慢。MOLAP 能降低分析和数据库的耦合性，提高处理效率和改善分工，但降低操作灵活性和增加ETL的复杂性。 我们将采用的建模做立方体（MOLAP）的方式改进平台，目前也面临着ETL复杂性问题。 面对MOLAP,大

小耗子の洞穴 6780

Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe

记录一次Spark应用提交后一直无法运行的问题

甘蓝的专栏 1797

ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

shell脚本执行hivesql后一直处在ACCEPTED: waiting for AM container to be allocated, launched and register with RM.状态 检查datanode状态和防火墙均无异常， 检查相关脚本（LogAction.sh）进程： ps -ef | grep LogAction.sh 发现有10多个同样的进程，都在运行...

weixin_42240930的博客 4075

Hadoop：ACCEPTED: waiting for AM container to be allocated, launched and register with RM 导致作业卡住

本文分析了Yarn集群中由于磁盘使用率达到98.5%使用率导致节点不健康的问题，提出了解决方案，包括清理磁盘和调整配置参数。

SmartSi 585

【大数据-电商数仓项目笔记整合】即席查询-Kylin篇

Kylin的原理是为了应对hive表中用户不同的查询要求，Kylin穷举所有的计算结果。该即席查询工具是为了方便多维度分析。OLAP的通俗的理解是软件技术，能够使分析人员迅速地、一致地、交互地从各个方面观察信息，也就是从不同维度、各个方面了解信息。举例来说，比如我们需要分析订单金额总和的规律，需要从不同的角度去观察我们可以分别从地区、品类、时间三个维度来观察订单金额总和，实际上可以得出结论共有2n−1个角度来分析数据。上述可以从7种角度来观察数据。

weixin_44210386的博客 366

kylin2.3.0已编译apache-kylin-2.3.0-bin.tar.gz(下)

kylin2.3.0已编译apache-kylin-2.3.0-bin.tar.gz(下)由于优快云上传文件大小限制，所以分成了两部分

Windows 10 本地开发环境：用 ShardingSphere-Proxy 5.4.1 快速搭建 MySQL 分库分表测试环境

本文详细介绍了在Windows 10系统中使用ShardingSphere-Proxy 5.4.1快速搭建MySQL分库分表测试环境的完整教程。从环境准备、MySQL配置到ShardingSphere-Proxy的核心设置，逐步指导开发者完成本地开发环境的搭建，并提供了分片策略详解和常见问题排查方法，帮助开发者高效验证分库分表功能。

weixin_28366053的博客 214

大数据笔记-01、hdp2.6整合kylin2.4.1注意

在hdp  hive的config中添加下列项，否则kylin无法启动 hive.security.authorization.sqlstd.confwhitelist.append=dfs.replication|hive.input.format..*|tez.queue.name| mapreduce..*|mapreduce.job.split.metainfo.maxsize|hive...

1199

5G LDPC编码实战：从校验矩阵到Matlab代码实现（附完整源码）

本文深入解析5G NR标准中的LDPC编码工程实现，聚焦于从3GPP协议中的QC-LDPC校验矩阵到高效Matlab代码的转换。文章详细阐述了基础矩阵（BG1/BG2）选择、提升因子确定以及利用双对角结构的快速编码算法，并提供了完整的、可优化的Matlab源码，旨在帮助通信算法工程师和开发者快速构建5G LDPC编码仿真原型，为硬件实现奠定基础。

table的专栏 377

1、Kylin安装和环境配置

提醒：为了节省时间安装kylin的配置文件就不写第二遍了，直接把写好的笔记分享出来 01、安装Hbase1.1.1版本(一) https://app.yinxiang.com/fx/b6fbc5ff-4eac-4d86-aa6a-ad5b237b7fb2 02、Kylin（二）环境搭建（安装、整合Spark引擎） https://app.yinxiang.com/fx/c60e086d-64c5-48f0-a6c9-a7dd7d02b179 02、kylin.properties文件 https://app

qq_43742212的博客 1977

告别手动操作！用Python脚本批量处理Siemens NX零件文件（导入/导出/移除参数）

本文详细介绍了如何利用Python脚本实现Siemens NX零件文件的批量处理，包括导入、导出和移除参数等操作。通过NX Open API和Python UF接口，工业设计师可以大幅提升工作效率，告别繁琐的手动操作。文章提供了完整的实战指南，涵盖环境配置、核心功能实现以及性能优化技巧，特别适合需要进行Siemens-NXUG二次开发的工程师参考。

weixin_28222493的博客 261

基于STM32的便携式心率血氧监测系统 | 保姆式教程 开源可复刻

本项目基于STM32F103C8T6核心控制器，完整实现了便携式心率血氧监测系统的全功能开发，覆盖MAX30102光电传感器驱动、PPG信号处理、心率血氧解算算法、人机交互、数据存储、报警保护、低功耗管理等核心功能，全程采用无跳步保姆式教学，从硬件选型、接线、CubeMX配置、代码开发、调试优化全流程拆解，跟着步骤一步步操作，就能顺利完成项目复刻

ZhongWeiXiang9的博客 768

Kylin, Mondrian, Saiku系统的整合

公司的olap用的cubes+mysql，性能有点落后了，所以最近研究一下kylin 参考有赞的这篇文章： https://tech.youzan.com/kylin-mondrian-saiku/ 原理看一下上面的文章，主要记录一下整合的步骤 搭建 首先部署好kylin，具体步骤后续补充。 下载saiku最新版，解压。 github上已经有一个整合Kylin，Mondrian以及Saiku的...

maenlai0086的博客 801

手把手教你解决Windows 10网络驱动器无法访问问题（附详细排查步骤）

本文详细指导Windows 10用户解决网络驱动器无法访问的常见问题。通过从现象快速定位到系统排查，提供了从检查网络连通性、修复凭据权限到调整高级设置的完整步骤，特别是针对“找不到网络路径”等错误，帮助用户高效恢复对共享资源的访问。

weixin_29233857的博客 518

zeppelin mysql_zeppelin 整合 spark kylin mysql

Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markd...

weixin_29579377的博客 382

system_server_lowmem真的是内存不足吗？

Android系统中的system_server_lowmem真的表示系统的内存遇到瓶颈了吗？以及遇到这类日志该如何分析系统的内存，本文会回答这个问题。

jidapenglin28的专栏 513

uniapp - 获取设备麦克风权限+麦克风设备列表，用户可选择切换麦克风设备功能，选择麦克风采集设备后点击录制音频外部声音+可随时暂停/继续录音+记录音频录制时长（支持在线播放试听或下载MP3文件）

uniapp获取麦克风设备列表，uniapp录制声音，Uniapp获取麦克风权限，uniapp苹果ios安卓app获取麦克风设备列表，Uniapp H5获取浏览器麦克风并实现录音，Uniapp实现麦克风权限管理与音频录制全流程，uni-app实战案例:实现H5页面麦克风权限获取与录音功能，uni-app音频录制，uniapp麦克风授权窗口，uniapp获取iOS麦克风权限，实现前端录音并播放，把音频传给后端接口处理，获取麦克风并实现录音功能，前端获取/切换麦克风播放采集音频和采集音量大小，前端调用麦克风实现

🏆 前端领域优质创作者 2983

Kylin安装和使用

概述：Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Kylin是什么？ 1.可扩展超快OLAP引擎:  Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计 2.Hadoop ANSI S...

webpetter的博客 1万+

手把手教你学PCIE（1.38）--基本概念：ATU（地址转换单元）

ATU（Address Translation Unit）是一种硬件单元，用于在PCIe系统中进行地址转换。它将设备的本地地址（外部地址）转换为系统内存或配置空间中的全局地址（内部地址），反之亦然。ATU的工作原理：通过地址匹配和转换，确保事务能够在不同的地址空间之间正确路由。配置寄存器：通过配置寄存器来设置地址转换规则。应用场景：地址空间隔离、访问控制、动态地址管理、虚拟化和多租户。

MHD0815的博客 2057

Kylin的入门实战

kylin入门代码

Maynor的博客 1900

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。
上一篇： hadoop2.7.2 hbase hive kylin-2.4.0-bin-hbase1x 环境搭建
下一篇： kylin hadoop yarn 文件夹空间不足问题
点赞 0
评论 0
书签 书签 0
AI干IT
AI干IT
博客等级 码龄18年 50粉丝 50原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值