手把手教你:将 ClickHouse 集群迁至云上

clickhouse集群迁移实践 clickhouse集群迁移实践 原文链接 背景 现有的ck集群没有副本,磁盘是12块盘的stat盘,存在磁盘故障导致数据丢失的风险,而依赖zk的双副本策略又由于zk性能存在瓶颈影响集群的可用性,故而使用带三副本的高效云盘替代stat盘,规避数据丢失的风险。 当前ck的写入程序使用的是统一的域名,由域名查询到对应的ip节点来建立tcp连接。对于ck的查询,使用的是内部的一个代理,该代理配置了集群的ip,由代理去轮询ip进行查询。 在数据迁移的过程中,需要保证集群写入和查询都不受影响,关键在于控制好查询和写入 阅读详情

前言

 

随着云上 ClickHouse 服务完善,越来越多的用户将自建 ClickHouse 服务迁移至云上。对于不同数据规模,我们选择不同的方案:

  • 对于数据量比较小的表,通常小于10GB 情况下,可以将数据导出为 CSV 格式,在云上集群重新写入数据;

  • 使用 clickhouse 发行版自带工具 clickhouse-copier 来完成。

 

本文详解 clickhouse-copier 完成跨 ClickHouse 集群数据迁移(当然也适用于用户集群内部数据不同表间数据迁移)。

 

一、Zookeeper 集群准备

 

如果已经有 Zookeeper 集群,请忽略本章节。

由于 clickhouse-copier 需要 Zookeeper 存储数据迁移任务信息,需要部署一个 Zookeeper 集群。

Zookeeper 集群到源 ClickHouse 集群与目标 ClickHouse 集群之间的网络是正常的。

在本文中,我们部署一个单节点的 Zookeeper 集群。

 

步骤1: 准备可执行文件

$ wget http://apache.is.co.za/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1.tar.gz
$ tar -xvf zookeeper-3.6.1.tar.gz
$ chown hadoop:hadoop -R  zookeeper-3.6.1

 

步骤2:切换到 hadoop 账号

su hadoop

 

步骤3:准备配置文件 conf/zoo.cfg,填写配置,举例如下:

tickTime=2000
dataDir=/var/data/zookeepe
clientPort=2181

步骤4:增加 myid 文件

echo 1 > /var/data/zookeeper/myid

步骤5:启动 Zookeeper 进程

$ bin/zkServer.sh start

后续,我们可以用该 Zookeeper 存储数据迁移任务信息。

 

二、定义迁移任务

 

在任务迁移数据前,需要定义迁移任务。迁移任务信息定义在 xml 文件中。具体包含如下信息:

  • 源集群,包含数据分片信息

  • 目的集群,包含数据分片信息

  • 执行数据迁移任务的线程数量

  • 定义待迁移的表信息,有 tables 字段指定,包括:

- 数据源集群名称,由 cluster_pull 指定

- 数据源数据库名称,由 database_pull 指定

- 数据源表名称,由 table_pull 指定

- 目的集群名称,由 cluster_push 指定

- 目的数据库名称,由 database_push 指定

- 目的表名称,由 table_push 指定

- 目的表引擎定义,由 engine 指定

- 待迁移的 partition 列表,由 enabled_partitions 指定。未指定,则全表迁移

 

如果目标集群数据库不存在,则不会自动创建。故迁移数据前,确保目标集群数据库存在。源表和目标表的 Schema 相同,表引擎可以不相同。

举例如下:

<yandex>
    <!-- Configuration of clusters as in an ordinary server config -->
    <remote_servers>
        <source_cluster>
            <shard>
                <internal_replication>false</internal_replication>
                    <replica>
                        <host>172.16.0.72</host>
                        <port>9000</port>
                    </replica>
            </shard>
        </source_cluster>

        <destination_cluster>
            <shard>
                <internal_replication>false</internal_replication>
                    <replica>
                        <host>172.16.0.115</host>
                        <port>9000</port>
                    </replica>
                    <replica>
                        <host>172.16.0.47</host>
                        <port>9000</port>
                    </replica>
            </shard>
            <shard>
                <internal_replication>false</internal_replication>
                    <replica>
                        <host>172.16.0.138</host>
                        <port>9000</port>
                    </replica>
                    <replica>
                        <host>172.16.0.49</host>
                        <port>9000</port>
                    </replica>
            </shard>
        </destination_cluster>
    </remote_servers>

    <!-- How many simultaneously active workers are possible. If you run more workers superfluous workers will sleep. -->
    <max_workers>8</max_workers>

    <!-- Setting used to fetch (pull) data from source cluster tables -->
    <settings_pull>
        <readonly>1</readonly>
    </settings_pull>

    <!-- Setting used to insert (push) data to destination cluster tables -->
    <settings_push>
        <readonly>0</readonly>
    </settings_push>

    <settings>
        <connect_timeout>300</connect_timeout>
        <!-- Sync insert is set forcibly, leave it here just in case. -->
        <insert_distributed_sync>1</insert_distributed_sync>
    </settings>

    <tables>
        <!-- A table task, copies one table. -->
        <table_lineorder>
            <!-- Source cluster name (from <remote_servers/> section) and tables in it that should be copied -->
            <cluster_pull>source_cluster</cluster_pull>
            <database_pull>default</database_pull>
            <table_pull>lineorder</table_pull>

            <!-- Destination cluster name and tables in which the data should be inserted -->
            <cluster_push>destination_cluster</cluster_push>
            <database_push>default</database_push>
            <table_push>lineorder_7</table_push>

            <engine>
            ENGINE=ReplicatedMergeTree('/clickhouse/tables/{shard}/lineorder_7','{replica}')
            PARTITION BY toYear(LO_ORDERDATE)
            ORDER BY (LO_ORDERDATE, LO_ORDERKEY)
            </engine>

            <!-- Sharding key used to insert data to destination cluster -->
            <sharding_key>rand()</sharding_key>

            <!-- Optional expression that filter data while pull them from source servers -->
            <!-- <where_condition></where_condition> -->
           <!--
            <enabled_partitions>
            </enabled_partitions>
           -->
        </table_lineorder>
    </tables>
</yandex>

准备完成配置文件后,在 Zookeeper 上准备路径,并将定义任务文件上传到 Zookeeper 中。假设配置文件为 task.xml , 执行如下指令:

$ bin/zkCli.sh create /clickhouse/copytasks ""
$ bin/zkCli.sh create /clickhouse/copytasks/task ""
$ bin/zkCli.sh create /clickhouse/copytasks/task/description "`cat ./task.xml`"

 

三、启动任务

 

定义好迁移任务后,就可以启动 clickhouse-copier 来迁移数据了。在此之前,需要准备配置文件, 配置文件中描述了 Zookeeper 地址,以及日志配置。举例如下:

<yandex>
    <logger>
        <level>trace</level>
        <size>100M</size>
        <count>3</count>
    </logger>

    <zookeeper>
        <node index="1">
            <host>172.16.0.139</host>
            <port>2181</port>
        </node>
    </zookeeper>
</yandex>

假设该文件命名为 config.xml

可以使用如下命令启动 clickhouse-copier:

 $ clickhouse-copie
  --config ./config.xml \
  --task-path /clickhouse/copytasks/task \
  --base-dir ./clickhouse \

其中,--task-path 指定数据迁移任务在 Zookeeper 上的路径,即第3节中创建的路径。需要注意的是,路径下必须包含 description 文件。

如果数据量比较多,可以部署多个 clickhouse-copier 并发执行迁移任务。

 

总结

 

clickhouse-copier 是 ClickHouse 发行版自带的工具,在稳定性可靠性上是有保证的。在使用过程中,需要注意的问题:

  • 在迁移过程中,源集群的表需要停止写入;

  • 在迁移过程中,占用源,目的集群网络带宽,需要仔细评估;

  • clickhouse-copier 提供了较多灵活性,包括数据分片算法,指定迁移表的 partitions

 


 

 

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

多维数据聚合实战:从OLAP立方体到动态重切片 多维数据聚合是现代BI与实时分析的核心能力,其本质是构建可导航的数据坐标系,而非简单GROUP BY。它依托OLAP立方体实现预计算加速,通过维度建模解决粒度异构、缓慢变化、角色扮演等关键问题,并借助聚合态缓存、维度导航树提升响应效率。技术价值在于支撑即席下钻、跨层级分析与指标实时重算,广泛应用于零售销量归因、金融风控看板、物联网设备分析等场景。本文聚焦生产级动态重聚合与混合调度策略,详解如何让聚合结果真正‘活起来’。 阅读详情

相关推荐

GLM-5范式跃迁:从Vibe Coding到Agentic Engineering

大模型应用开发正经历从经验驱动的‘氛围编码’(Vibe Coding)向工程化、可验证、可运维的‘智能体工程’(Agentic Engineering)演进。其核心在于将AI能力解耦为结构化状态管理、协议化工具交互与可追溯执行图谱,而非依赖模糊prompt调优。这一转变契合现代软件工程对可观测性、契约可靠性与自动化测试的根本诉求,显著提升AI系统在金融合规、供应链诊断、法务初筛等高要求场景中的鲁棒性与交付效率。GLM-5通过原生支持Tool Interaction Protocol(TIP)和Executi

575

ClickHouse跨集群表数据同步

ck提供remote函数,允许我们去查询远程的服务。直接跨集群传输,减少了I/O次数,进而大幅度提升了跨集群的数据传输,如数据备份,不同环境同步数据等效率。

qq_654603797 3327

OLAP实战指南:从星型模型到实时分析的工程落地

OLAP(联机分析处理)是一种面向多维即席查询与海量聚合计算优化的数据分析范式,其核心在于重构数据物理形态以最小化读取开销,而非加速关系型数据库查询。它依托星型模型组织事实表与维度表,通过预计算、物化视图和列式存储等技术实现亚秒级响应,支撑BI下钻、实时看板、用户行为分析等关键场景。现代OLAP已深度融合实时能力,依赖Flink+Doris/StarRocks等架构实现端到端毫秒级延迟,使数据分析真正嵌入商业决策闭环。本文聚焦OLAP在金融、零售与SaaS行业的工程化落地,覆盖MOLAP/ROLAP选型、星

wgyyh 493

clickhouse-copier迁移集群数据

clickhouse-copier迁移集群数据

m0_45993982的博客 1071

机器学习四大部署模式实战指南:批处理、实时API、嵌入式与MaaS

机器学习模型部署不是简单的模型导出或API封装,而是面向业务场景的技术选型决策。理解批处理推理、实时API服务、嵌入式部署和模型即服务(MaaS)这四大核心模式的底层原理,是跨越实验室到生产环境的关键一步。每种模式对应不同的时效性要求、资源约束与运维能力——例如批处理强调数据完整性与幂等重试,实时API聚焦P99延迟与并发治理,嵌入式部署需直面RAM/Flash极限与软硬协同,而MaaS则考验云原生治理与多租户计量能力。掌握这些模式的技术价值与典型应用场景,能有效规避版本混乱、数据漂移、GPU争抢等高频落地

wgyyh 447

记一次 ClickHouse 数据迁移,实战经验

Clickhouse 的数据备份有多种方式,其官方网站上就提供了多种备份方式可以参考,但是不同公司有不同的可用资源和业务需求,因此不存在一个通用的解决方案可以应对各种情况下的ClickHouse备份和恢复。 适用于 1GB 数据的方案可能并不适用于几十 PB 数据的情况。 有多种具备各自优缺点的可能方法,将在下面对其进行讨论。最好使用几种方法而不是仅仅使用一种方法来弥补它们的各种缺点。 背景: 某项目clickhouse 数据库迁移,数据量大约9亿条单表,版本为clickhouse20,迁移...

srebro.cn | 运维小弟 1万+

ClickHouse数据迁移和迁移工具

本文介绍了ClickHouse的数据迁移和迁移工具,包括和。这些工具可以帮助用户实现数据的迁移和同步,方便应用在不同环境中的部署和使用。用户可以根据实际需求选择合适的工具进行数据迁移。

互联网知识分享 3098

ClickHouse数据迁移工具之clickhouse-copier

ClickHouse数据迁移工具之clickhouse-copier clickhouse需要从单节点迁移至副本集群中,表结构统一修改为副本表 网上搜到的迁移方式大致为三种。 一、拷贝数据目录 操作流程 在源集群的硬盘上打包好对应数据库或表的 data 和 metadata 数据 拷贝到目标集群对应的目录 重启 clickhouse-server 二、remote函数 INSERT INTO <local_database>.<local_table> S

蓬莱人形 4906

全网最细~ Clickhouse ~ 数据迁移脚本(支持集群内迁移,支持集群外迁移)

【代码】clickhouse 数据迁移脚本(支持集群内迁移,支持集群外迁移)

weixin_43849156的博客 1176

记录一次ClickHouse数据迁移的过程

迁移的背景: 首先目前的集群是4节点,配置为:4分片1副本(也就是没有数据备份),然后其中一个节点由于服务器问太卡访问太慢,需要去掉该节点,再重新加一个节点,然后再把去掉的节点上的数据迁移到新的节点中,然后整个集群还是4个节点。 方案: 借助clickhouse-copier,这是官网提供的一个数据迁移的工具,它可以做整个集群迁移到另一个集群,也可以只把其中一个分片的数据迁移,也可以在集群内部做数据迁移,这次我们的背景是集群内部做迁移。 具体做法: 首先我的想法是,先新增一个节点,就是集群由4节点变成5

weixin_42155491的博客 1637

偷懒必备:3种方法快速移植MFC界面资源(含.rc文件打不开解决方案)

本文针对MFC桌面应用开发,详细介绍了三种快速移植界面资源的实战方法:直接编辑.rc文件、利用Visual Studio“添加现有项”进行可视化挂载,以及双实例拖拽应急方案。文章重点剖析了.rc文件无法打开的常见问题,提供了通过修复rc.exe等关键文件来根治此问题的解决方案,帮助开发者高效复用资源,规避ID冲突等陷阱。

weixin_28358083的博客 274

第二届 Oceanbase 开发者大会 实录

OceanBase是阿里巴巴集团推出的分布式关系型数据库产品。它是一款高可用、高性能、高扩展性的分布式数据库系统,旨在满足大规模数据存储和处理的需求。OceanBase采用了分布式架构和多副本数据存储,具有强大的水平扩展能力和自动容错能力。它支持事务、ACID特性、分布式事务、多副本一致性等关系型数据库的特性,并且具有较高的性能和可靠性。OceanBase广泛应用于阿里巴巴的电商平台、金融系统、物流系统等大规模数据场景,是阿里巴巴集团核心的数据库产品之一。具体网站 oceanbase。

小 tom的博客 1430

YOLOv8工业级增强实战:小目标检测与HDR鲁棒性优化

YOLO(You Only Look Once)作为主流实时目标检测框架,其核心价值在于模块化架构与工程可扩展性。理解YOLOv8的Anchor-Free设计、C2f特征融合机制及Detect头部解耦原理,是实现性能突破的基础。在工业落地中,真实瓶颈往往不是模型版本迭代,而是小目标漏检、高动态范围(HDR)场景适应差、密集遮挡ID断裂等具体问题。通过配置层动态多尺度训练、物理感知数据增强、Neck跨尺度注意力注入、质量感知损失函数升级等七层增强策略,可在不更换主干的前提下显著提升mAP与边缘设备推理效率。本

weixin_32667439的博客 260

多维聚合实战:维度建模、度量聚合与数据变形七步法

多维聚合是BI分析与数据仓库建设的核心能力,本质是将原始事实数据在多个业务维度(如时间、地域、产品)上进行有语义的分组与汇总。其技术难点不在SQL语法本身,而在于维度层级关系的理解、度量可加性的准确判定,以及数据变形链路的设计。例如,时间维度需区分自然日历与业务日历,地理维度须通过主数据表实现语义上卷而非字符串截取;而毛利率、响应时间P95等典型度量,必须规避AVG(比率)或跨节点直接平均等常见误用。这些实践直指数据可信度根基,广泛应用于零售销售分析、用户行为归因、金融风控指标计算等关键场景。

weixin_34284188的博客 365

【大模型】一图看懂3D因果卷积!

本文将系统性地介绍从1D到3D的因果卷积原理,通过直观的动图演示帮助读者理解其工作机制,并重点探讨3D因果卷积在大规模视频生成中的独特价值和应用前景。

xian0710830114的专栏 2201

模拟IC版图DRC实战:手把手教你搞定MIM电容天线错误和ESD.10g违例

本文深入解析模拟IC版图中的MIM电容天线错误和ESD.10g违例问题,提供从错误解码到实战修复的完整指南。通过电路图修改、版图优化和验证闭环等步骤,帮助工程师高效解决DRC错误,特别适用于ADC等精密模拟电路设计。文章还分享了高级排错技巧和预防性设计策略,大幅提升流片成功率。

weixin_27697385的博客 295

工具选型不是国产vs海外,而是场景化决策模型

在数字化转型中,企业协作工具、知识管理、RPA自动化、设计交付等系统选型,本质是围绕数据安全、权限控制、异常容错、元数据治理、QoS保障与环境可重现性等基础能力的工程实践。这些能力直接关联等保三级合规、信创适配、字体版权风险、跨境数据流动、隐性TCO成本等现实挑战。尤其当团队面临多地域协同、高敏感文档处理、强监管行业审计或快速迭代需求时,工具的技术纵深(如字段级鉴权、SVC视频编码、容器化交付)比厂商国籍更具决定性。本文基于127个真实团队评估案例,提炼出覆盖权限穿透测试、字体授权校验、异常兜底评分、元数据

weixin_30644369的博客 425

模拟一个基站和一个移动台之间的信号传播

同样使用时间序列和上述参数计算出反射径信号的信号强度。根据时间序列和上述参数,计算出直射径信号的信号强度。该信号被视为一个简单的正弦波信号,其频率是2Hz。:时间序列,从0.1秒开始,每隔0.0001秒采样一次,直到12秒。:设置坐标轴范围,横轴范围为0到12秒,纵轴范围为-0.5到0.5。:移动台移动的速度。:移动台距离基站的初始距离。:基站到反射墙的距离。假设基站到反射墙的距离为15米。:绘制直射径信号、反射径信号和合成信号的波形图。:添加标签,标注每条曲线对应的含义。表示反射径信号的颜色为绿色,

Fanjufei的博客 292

clickhouse数据迁移(clickhouse-copier)

源端目标端表在多分片多副本模式下为本地表,clickhouse-copier会从源端每个节点本地表拉取数据,然后均衡发送到目标端本地表,此工具会自动完成负载均衡,这也是优点之一。

m0_67550015的博客 2051

3.PCIe协议分析1-预备知识点

PCIE协议分析1主要讲一下四方面: PCI-E配置空间 PCI-E地址映射 PCI-E Bar空间 PCI-E层级结构详谈 (1)PCIE配置空间 我们过来学习PCIE的同学应该都接触各种类型的功能芯片吧,这些功能芯片连接在电路里面我们可以认为它是一个外部设备,这些设备里面有自己独有的寄存器区域,比如SDRAM里面的ID寄存器或者其他配置寄存器。好的,其实我们PCIE板卡也相当...

一个早起的程序员 4145

自动分割和测量混凝土钢筋的思路与原理

该文提出了一种基于PCL库的点云处理系统,用于自动测量混凝土结构中钢筋的几何参数。系统采用多阶段处理流程:首先通过RANSAC算法提取地面并旋转对齐;接着使用区域生长算法分割混凝土结构;然后采用RANSAC线检测识别钢筋,按方向分类;最后通过圆柱拟合和坐标差计算获得钢筋间距、直径和高度差等参数。文章详细介绍了各模块的核心算法,包括地面检测、坐标变换、钢筋识别和几何计算等关键步骤,并分析了主要参数的敏感性。系统通过分层处理和坐标变换确保测量精度,为混凝土结构的无损检测提供了自动化解决方案。

weixin_45196569的博客 682

ClickHouse集群+ZooKeeper集群架构下的ZooKeeper集群迁移

ClickHouse集群+ZooKeeper集群架构下的ZooKeeper集群迁移 目前测试环境的ck集群+zk集群架构如下: ClickHouse ZooKeeper 192.168.1.171 192.168.1.172 192.168.1.173 192.168.1.174 192.168.1.171 192.168.1.172 192.168.1.173 由于ck...

PiscesCanon的博客 330

31.XAPP1052乱序分析及处理

目录 1.XAPP1052乱序分析 2.XAPP1052乱序处理 2.1乱序处理方法选择 2.2 XAPP1052乱序处理代码详解 3.XAPP1052乱序处理后的波形分析 3.1发送引擎 3.2接收引擎 4.XAPP1052乱序处理后的带宽测试 5.下期内容 1.XAPP1052乱序分析 首先先给大家讲解下什么是PCIe的乱序。在PCIe系统中,乱序就是主机发送的TLP序列ID为1、2、3、4到从机,从机接收到的可能不是1、2、3、4。主机和从机如果都不解决乱序的问题,就会导致从机接

一个早起的程序员 1708

ClickHouse ZK集群迁移

CilckHouse迁移Zookeeper集群

一条大河 4419

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Sizzle扩展开发指南:自定义选择器和伪类实现终极教程

Sizzle是一个纯JavaScript的CSS选择器引擎,专为轻松集成到宿主库中而设计。作为jQuery项目的核心组件,Sizzle提供了强大的选择器解析能力,而其扩展机制更是让开发者能够根据项目需求自定义选择器和伪类。本指南将带你深入了解如何利用Sizzle的扩展功能,实现个性化的选择器需求。 ## 🔧 Sizzle扩展系统架构解析 Sizzle的扩展系统主要包含三个核心组件: - *

gitblog_00792的博客 1007
上一篇: Clickhouse 在大数据分析平台 - 留存分析上的应用
下一篇: 联邦计算:不暴露真实数据如何完成合作建模?
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值