关于 ByteHouse 你想知道的一切,看这一篇就够了

ByteHouse:云原生数据仓库的架构解析与最佳实践 ByteHouse 是字节跳动基于开源 OLAP 引擎 ClickHouse 构建的云原生数据仓库服务。它继承了 ClickHouse 高性能列式存储和向量化执行引擎的优势,同时通过云原生架构解决了原生 ClickHouse 在弹性伸缩、运维复杂度、高可用性等方面的挑战,为企业提供了一站式的实时数据分析解决方案。ByteHouse 作为云原生时代的 ClickHouse,在保留极致性能的同时,通过架构革新大幅降低了使用和运维门槛。 阅读详情

ByteHouse 的前世今生

字节跳动最早是在 2017 年底开始使用 ClickHouse 的,用于支撑增长分析的业务场景。对于字节跳动而言,增长分析的重要性不言而喻。这是一项十分考验运营团队能力的工作,如何衡量不同运营方法的有效性,应该对哪些数据指标进行考量,如何对指标的波动进行更深层次的原因分析,这些需要重点关注。这其中涉及大量数据分析,对于数据分析平台的实时性也有着非常高的要求。在比对、试用过多款 OLAP 分析产品后,字节跳动最终选择了 ClickHouse,并且整体方案的可行性在实际业务应用中得到了很好的验证。

在取得了不错的业务效果之后,采用 ClickHouse 的方案快速推广,从支持增长分析的单一场景,很快扩展到 BI 分析、AB 测试、模型预估等多个场景。同时,研发团队也持续不断打磨和改进 ClickHouse 能力,比如增强数据接入功能、提升 SQL-based 指标计算的执行效率,包括 UDF 增强、SQL 语法增强等,很快使 ClickHouse 成为字节内部最主流的分析平台。

c5d4f504600d6b8e770f3a26800e9d39.png

在产品的不断打磨中,2020 年字节跳动火山引擎正式立项,把基于 ClickHouse 做了很多增强和自研的 ByteHouse 作为 ToB 的核心产品之一加快产品化步伐,以期让更多的用户在分析领域获得更快、更好的业务体验。在 2021 年 8 月份,ByteHouse 正式对外发布并提供服务。

至 2022 年 6 月底,字节跳动内部的 ByteHouse 节点总数已经超过 18000 个,管理总数据量超过 700PB,每天上亿次的分析查询跑在ByteHouse上,有离线的、有实时的。其中支撑抖音、头条的行为分析平台其集群规模已经达到 2400 个节点。截止当前,字节内部 80% 的分析型应用都跑在ByteHouse平台上。

850c9616b14c1947791928aecaa781f9.png

字节跳动最初为什么选择 ClickHouse

字节跳动曾做过各类分析型产品做过调研,如 Kylin、Druid、SparkSQL 等。那究竟为什么最后字节跳动选择了 ClickHouse,并进一步投入力量研发出 ByteHouse 使之成为字节跳动内部核心的数据分析平台呢?这里以两个具体的字节跳动业务案例来展开一些细节:

推荐系统实时指标

公司内部 A/B 实验平台已经提供了 T+1 的离线实验指标,而推荐系统需要更快地观察算法模型、或者某个功能的上线效果,因此需要一份能够实时反馈的数据作为补充,而且还要求:

○ 能同时查询聚合指标和明细数据;

○ 能支持多达几百列的维度和指标,且场景灵活变化,会不断增加;

○ 可以高效地按 ID 过滤数据;

○ 需要支持一些机器学习和统计相关的指标计算(比如 AUC)。

选型开始时,最需要解决的是“快”,所以选择了 Kylin 作为主要分析引擎,其优点是能够提供毫秒级别的查询延时。但是 Kylin 存在维度爆炸导致预计算时间越来越长,数据可用时间没有保证的问题。此外,新业务上线会产生新的指标和维度,Kylin 无法支持维度和指标在线更新。

后期改用 SparkSQL ,同样存在不少问题,如查询分析的延迟太长、资源使用率高、稳定性不够好频发OOM,以及无法支持跨更长时间周期的数据做分析等。

综合考量,最后选择了 ClickHouse:

○ 能更快地观察算法模型,没有预计算所导致的高数据时延;

○ 既适合聚合查询,在配合跳数索引后,也能充分支持明细查询;

○ BitSet 的过滤 Bloom Filter 是比较好的解决方案。

同时,团队也持续投入研发力量,不断自研增强产品能力,比如通过异步构建索引使得整体写入吞吐量能力提升 20%。通过对 Kafka 多消费线程的改造和增强,实现并行消费,使得写入性能得到线性提升。此外,自研 HaKafka 引擎,提升了系统的 HA 高可用能力,即使出现节点故障也不用担心数据有完整性问题。

广告投放实时分析

通常运营人员需要查看广告投放的实时效果,由于业务的特点,当天产生的数据往往会涉及到对历史数据的刷新,技术上最初是基于 Druid 实现,但有些问题一直难以解决。例如,实时数据会涉及到历史3个月的时间分区,Druid 会产生很多 segment,历史数据重刷后需要额外时间去做合并的操作,无法保证数据的实时消费;另外,业务数据的维度非常多,数据粒度非常细,所以 Druid 的预聚合的意义不大,业务更多的需求是直接来消费明细数据。

最后团队也选择了 ClickHouse 技术路线,并持续做了改进和增强,如:

○ 对 Buffer Engine 做了改进,解决了社区版本在 Buffer Engine 和 ReplicatedMergeTree 同时使用下查询一致性的问题。

○ 自研事务机制,确保每次插入数据的原子性,增强数据消费的稳定性,解决了社区版本由于缺少事务支持,在异常场景下,往往会出现丢失或者重复消费的情况。具体实现上是将 Offset 和 Parts 数据绑定在一起,每次消费时,会默认创建一个事务,由事务负责把 Part 数据和 Offset 一同写入磁盘中,如果出现失败,事务会一起回滚 Offset 和写入的 Part 然后重新消费。

ByteHouse 具备哪些特点

随着 ByteHouse 在字节跳动内部支撑的分析业务越来越多,ByteHouse 也成为了字节跳动内部分析平台构建的事实标准。ByteHouse 在字节广泛的应用中,不断从业务角度出发不断打磨产品,并从实际应用角度思考什么样的数据分析产品才是更好用的。我们认为,一个优秀的数据分析产品应该具备以下特点:

能支撑更全面的分析场景

数据库行业流传着“没有银弹”的说法,大家认为没有一个分析类产品能够满足所有场景。这固然是很有道理的,但是也不必走向另外一个极端,所有场景都要“一事一库”。如果有一个通用性的数据分析产品,能够支撑 80% 以上的常见场景,这能为企业减少大量的时间和精力,并且能更有信心的应对营业务带来的数据分析挑战。

ClickHouse 的一个问题就是适用的场景相对较窄,对于宽表模型的查询和分析效率非常高,但涉及到多表关联的分析场景却表现不佳,甚至不支持此类业务场景。因而,ClickHouse的这种高性能的表现更多的是基于“本能”层面。ByteHouse 团队以打造一款综合且性能强大的分析平台为目标,对ClickHouse 做了全方位的增强,推出了全自研的查询优化器,从而让性能表现从“本能”层面跃迁到“智能”层面,从而更好的应对各类分析场景。

对于一款关系型数据库产品来说,优化器就是大脑,通过优化器对查询语句进行改写优化,基于代价寻找最优执行路径、生成执行计划,并且结合资源动态负载情况,让整体性能的输出更加稳健、也更加智能。从效果来看,在部分场景下,优化器使得性能提升达 10 倍以上;此外,在 TPC-DS 标准测试测试场景中,启用优化器的收益也十分显著,能够完成全部 99 个测试场景,而且性能也提升数倍不等。

而应对传统数仓负载中的复杂查询场景,仅仅有查询优化器的增强还不够,ByteHouse 为此还做了大量的工作。如 Runtime Filter,能够智能过滤掉分析中不相干数据,减少中间过程数据的网络传输,提升整体分析效率,在星型和雪花型业务分析场景中有很好的效果。另外通过优化网络技术,比如连接复用、RDMA、传输压缩等技术,也极大提升了整体分析性能。此外还包括其他一系列的能力增强,比如细粒度资源管控、数据交换的优化等,能够让 ByteHouse 在复杂分析场景中游刃有余。

从收益效果上看,在字节内部部分业务场景中,多表关联分析性能提升 26 倍,单表复杂查询也提升 3 倍左右,在标准SSB测试场景中也表现不俗,为支撑更全面的分析场景的目标迈出重要一步。

数据分析能力能随业务快速扩缩,极致弹性

在 node-base 架构下,存算一体的模式不够灵活,难以满足业务对弹性的需求,扩容的代价无论是时间成本和资源成本都很高。应对这些挑战,ByteHouse 团队花费极大精力从底层开始秉承 Cloud-Native 云原生的架构理念进行整体重构,让资源可以伴随业务的需求进行灵活的弹性伸缩,扩容的代价更低更可控。另外,业务上可以通过读写分离做更好的资源管控和分流,从而让整体业务的 SLA 更有保障。下面介绍部分 ByteHouse 架构重构中的关键技术点。

首先是基于分布式 KV 构建元数据管理服务,元数据信息会持久化保存在状态存储池里面,为了降低对元数据库的访问压力,对于访问频度高的元数据会进行缓存。元数据服务自身是无状态的,可以水平扩展。

在高性能层面,除了前面介绍的全自研优化器之外,还通过智能的分布式多级缓存技术来弥补存算分离架构下远程数据访问时额外的网络开销和IO开销带来的性能损失。此外 virtule warehouse 计算资源实现了容器化部署,做到了无状态化,从而可以快速、灵活的进行弹性伸缩,且不影响业务。

在存储层面,实现了存储服务化,对数据存储层进行统一抽象,构造 VFS 虚拟存储系统,能够支持更多的存储语义,包括 HDFS 块存储、对象存储等,既解决了存储在扩展性、读写吞吐瓶颈、一致性等问题,同时能大幅降低存储成本。

强一致性的事务机制、MVCC 多版本并发控制、细粒度锁等技术保障,也能让 ByteHouse 更好地去满足核心分析业务对一致性和并发能力的要求。

此外,在负载管理上,围绕计算、内存、网络带宽这三项核心资源进行持续优化,同时也在不断引入AI等新技术让系统资源的动态调配更加智能和高效;细粒度、多级的资源隔离能力也能更好的匹配业务差异化的需求,让整体系统运行更加稳定可靠。

稳定、高可用

以抖音集团内部建于2017年的行为分析平台为例,仅头条和抖音两款应用每天会产生万亿条级别的事件记录,且至少保存1年,分析的特征维度多达上千,既有聚合查询也有明细查询,其自助式查询分析要求必须达到秒级响应。当前这个平台运行在 2400 个节点的 ByteHouse 集群上。

对社区版 ClickHouse 或者其他大部分分析类产品来说,要达到这个规模是非常困难的,几乎难以实现。ByteHouse 做了哪些能力增强来不断突破规模上限、持续支持业务高速增长呢?这里我们先重点介绍两方面的能力增强:

一、通过自研的 HaMergeTree 替代社区的 ReplicatedMergeTree,降低对 ZooKeeper 的请求次数,减少在 Zookeeper 上存储的数据量,副本直接通过 log 日志来交换信息,不需要再从 Zookeeper 获取,从而极大减轻 Zookeeper 的负载,让其压力与集群内数据量规模脱钩。

二、通过元数据持久化的方案,提升故障恢复能力。社区版本的元数据常驻于内存中,这会导致重启时间非常长,因而当故障发生后,恢复的时间也很长,动辄一到两个小时,这个是业务不能接受的。ByteHouse 的做法是将元数据持久化到 RocksDB,启动时直接从 RocksDB 加载元数据,内存中也仅仅存放必要的 Part 信息,这样就减少元数据对内存的占用,在性能基本无损失的情况下,单机支持的part 不再受内存容量的限制,可以达到 100 万以上;最重要的是极大缩短了集群的故障恢复时间,从1-2 小时直接缩短到 3 分钟,大大提高了系统的高可用能力,为业务提供了坚实保障。

保证查询效率前提下,更快、更准确的数据导入

在实时写入场景中,社区版 ClickHouse 还是存在部分能力的缺失,比如数据分布按 shard 的分布策略很难保障均匀分布,会存在数据倾斜的情况,而且不支持由用户指定唯一键的业务需求,也无法保证数据的有序消费, 单线程的消费模式导致吞吐量受限,另外在 HA 高可用上也存在能力缺失。ByteHouse 针对这些不足对 kafka engion 做了全面的增强。

首先是在分布式架构下,通过自研的 HaKafka 引擎为数据的实时注入提供了 HA 高可用保障,保障数据不丢失;支持唯一键;通过 memory table,提升了实时写入的吞吐能力,同时延迟刷盘也大幅降低IOPS,节省 IO 资源。

在此基础上 ByteHouse 再向前一步,演进到云原生架构,能力得到更大的提升,包括支持 exactly-once 消费语义,自动容错,之前 node-base 架构模式的扩容难、代价高的问题也在云原生架构下迎刃而解,能够做到按需的灵活弹性扩容和缩容。

此外,ByteHouse 自研了 UniqueMergeTree 表引擎,很好的平衡了写和读的性能。UniqueMergeTree 表引擎既支持行更新的模式,也支持部分列更新的模式,用户可以根据业务要求开启或关闭。在性能方面,与 ReplacingMergeTree 相比,UniqueMergeTree 的写入性能只有轻微下降,但在查询性能上取得了数量级的提升。进一步对比了 UniqueMergeTree 和普通 MergeTree 的查询性能,发现两者是非常接近的。

ByteHouse 的未来展望

我们将持续围绕让 ByteHouse 更快、更稳、更智能持续做技术迭代,包括更强的优化器,当前在原型测试中有 3 倍的性能提升;通过AI技术的引入让系统更智能更高效,在原型测试中,基于 IMDB 的大规模数据集的性能表现上有20%的提升;此外更加智能的物化视图技术以及 RDMA 技术预期都会在 23 年实现产品化落地。

面向未来,ByteHouse 的愿景是打造数据分析领域的“抖音”平台,能够为用户带来一体化的集成、分析体验,降低用户分析门槛,一站式提供分析所需的各种能力,并能通过安全可信的数据分享、模型分享帮助用户便捷地实现交易和价值变现。

ByteHouse 已经在火山引擎上全面对外服务,并且提供各种版本以满足不同类型用户的需求。在ByteHouse 官网上提交试用信息即可免费试用!欢迎大家试用。

91e396c55cc1dc9c4d195e71fb5ff7fa.png

扫码即可免费试用

另外,也欢迎大家扫描下方二维码加入 ByteHouse & ClickHouse 交流群,交流关于 ByteHouse 和 ClickHouse 的使用经验,有问题也可以咨询群中技术专家。

6a906c75400883c1e354863621a029f6.png

火山引擎 ByteHouse:ClickHouse 如何保证海量数据一致性 背景ClickHouse是一个开源的OLAP引擎,不仅被全球开发者广泛使用,在字节各个应用场景中也可以看到它的身影。基于高性能、分布式特点,ClickHouse可以满足大规模数据的分析和查询需求,因此字节研发团队以开源ClickHouse为基础,推出火山引擎云原生数据仓库ByteHouse。在日常工作中,研发人员经常会遇到业务链路过长,导致流程稳定性和数据一致性难保障的问题,这在分布式、跨服务的场... 阅读详情

相关推荐

Windows11安装Ubuntu 20.04.3 LTS双系统(详细过程)

一、基础环境 听说BIOS模式的传统MBR模式和新式UEFI模式,会对安装双系统产生影响。Windows11应该都是UEFI吧,可以按win+r输入msinfo32回车确认查看BIOS模式,我的电脑是UEFI+双硬盘 Ubuntu安装准备 1、 官网下载Ubuntu 20.04.3 LTS镜像iso文件:https://ubuntu.com/download/desktop 2、 下载官网推荐的U盘启动制作工具rufus: https://rufus.ie/ 3、制作启动u盘 插入U盘, 运行 rufu

学习随笔 9万+

字节跳动 ByteHouse 云原生之路 – 计算存储分离与性能优化

01起源ByteHouse 的故事从字节跳动对于先进数据处理和分析的需求开始,这一需求随着公司业务规模的迅速扩张而日益增长,起源是对开源数据库管理系统 ClickHouse 的改造和增强。面对数据处理的高延迟、大规模数据操作的复杂性以及数据存储和处理成本的上升,字节跳动的工程团队凭借多年积累的技术能力,对 ClickHouse 进行了深度定制,以满足公司不断发展的数据需求。例如,团队通过优化算法和...

亚马逊云科技专栏 2345

银河麒麟服务器操作系统V10SP2实战:基于vsftpd构建多角色精细化权限FTP服务

本文详细介绍了在银河麒麟服务器操作系统V10SP2上基于vsftpd构建多角色精细化权限FTP服务的实战指南。从环境准备、核心配置到多角色用户权限管理,全面解析了FTP服务的部署与优化技巧,特别针对企业级应用场景提供了安全加固和故障排查方案。

weixin_30312563的博客 359

只需五步,ByteHouse实现MaterializedMySQL能力增强

社区版ClickHouse推出了MaterializedMySQL数据库引擎,用于将MySQL中的表映射到ClickHouse中。ClickHouse服务作为MySQL副本,读取Binlog并执行DDL和DML请求,实现了基于MySQL Binlog机制的业务数据库实时同步功能。这样不依赖其他数据同步工具,就能将MySQL整库数据实时同步到ClickHouse,从而能基于ClickHouse构建实...

微信搜:import_bigdata,大数据领域硬核原创作者 641

【电子元件篇】电容的九大作用与选型指南-超简单解读

本文系统介绍了电容的基础概念、核心功能及实际应用。电容作为存储电荷的被动元件,其容值公式为C=Q/V,单位包括法拉及常用派生单位。文章重点解析了电容的九大功能:滤波(通过RC低通电路抑制噪声)、耦合(传递交流隔离直流)、去耦(稳定供电)、储能(短暂供电)、定时(RC延时)、谐振(RLC振荡)、旁路(高频通路)、电压调节(DC-DC转换)以及保护(吸收浪涌)。同时详细阐述了电容分类(陶瓷/电解/薄膜等)、参数选型要点(耐压/容值/精度/温度)及PCB设计注意事项,并针对不同应用场景提供了具体选型建议和常见误区

2301_81299416的博客 4017

华为od 面试八股文_前端_03_含答案

华为od 面试八股文_前端_03_含答案

MISAYAONE的博客 2132

高性能、高稳定、高扩展:解读ByteHouse实时导入技术演进

ByteHouse是火山引擎上的一款云原生数据仓库,为用户带来极速分析体验,能够支撑实时数据分析和海量离线数据分析;便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性,助力客户数字化转型。本文将从需求动机、技术实现及实际应用等角度,介绍基于不同架构的ByteHouse实时导入技术演进。内部业务的实时导入需求ByteHouse实时导入技术的演进动机,起初于字节跳动内部业务的需求。在字节内部,By...

微信搜:import_bigdata,大数据领域硬核原创作者 564

YOLOv8/v9轻量化优化:剪枝30%+蒸馏提精,模型体积缩至4MB还能跑Jetson

剪枝:用敏感度分析找到“可牺牲的30%”,不碰核心特征;蒸馏:借大模型的“经验”补回精度,甚至反超原始小模型;量化:针对边缘设备特性优化量化策略,把体积和延迟压到最低。如果你的项目卡在边缘部署(速度慢/体积大),按“剪枝→蒸馏→量化”三步走,90%能在Jetson上跑通30FPS+的实时检测。需要轻量化模型文件(v8s/v9s剪枝蒸馏后权重)、剪枝工具和Jetson部署脚本的,评论区扣“轻量化”,直接发你可运行版本~

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 671

云数仓 ByteHouse 的湖仓一体设计与实践

ByteHouse 作为新一代云原生架构的数据仓库,属于数据仓库技术流派。回顾分析生态的发展历程,自 2004 年 Google 发表 MapReduce 论文,以及 2006 年 Yahoo 推出 Hadoop 产品以来,分析生态领域就存在着多种技术流派。这些流派之间既有竞争,也有相互促进的良性互动。特别是随着 Hadoop 体系的成熟和开源生态的蓬勃发展,以 Hadoop 为代表的大数据技术流派越来越受到企业和开发者的青睐。

m0_60025795的博客 1198

基于MATLAB的导弹轨迹和撞击位置仿真

本文将介绍如何使用MATLAB进行导弹轨迹和撞击位置的仿真,提高导弹的精确打击能力。首先,我们需要确定导弹的初始位置和速度,以及导弹所受到的外部环境因素如重力、空气阻力等。在MATLAB中,可以通过ODE求解器来模拟导弹的运动轨迹。最后,我们通过控制器输出的控制信号来控制导弹的姿态。通过对导弹的运动轨迹和姿态进行仿真,可以更好地预测和规划导弹的运动轨迹,提高其精确打击能力。在实际作战中,为了提高导弹精确打击能力,需要对导弹的撞击位置进行预测和规划。我们可以通过控制导弹的姿态来实现撞击目标的精确命中。

CyberLynxO的博客 1984

OpenCV自学记录(1)——(一拳超人)图像处理基础(图像获取、图像变化)

学习深度学习进行图像分类和目标检测时,要有一定的图像处理的基础。在学习深度学习之前,看了一本《图像处理技术基础》,现在也忘得差不多了,后悔当初没有整理记录下来。现在整理一下图像处理的常用方法,最后实现一个小项目——基于OpenCV的车牌号识别。 OpenCV自学记录(1)——图像处理基础(一)1、图像获取1.1获取图像数据1.2 获取摄像头图像数据2、图像变化2.1 移动(translation)...

qq_40784418的博客 1456

ByteHouse技术详解:基于OLAP构建高性能GIS地理空间能力

在关键性能层面,ByteHouse GIS在列式小批组织的数据结构上引入RTree等二维空间索引能力,并在CPU硬件层面实现了二维空间函数的性能优化,整体提升了端到端性能。在功能层面,兼容OGC标准,支持导入标准GIS文件格式,目前已支持超过50个主流的空间函数。更值得一提的是,我们还在探索在我们自研的优化器上结合GIS特性适配,如在高效的多表关联上适配GIS等,以及GPU硬件层面优化二维空间函数。

2401_89221867的博客 799

概念解析 | 事件相机的原理 (含仿真代码)

在我们熟悉的世界里,传统相机就像一个勤勉的绘画师,每隔固定的时间就为我们勾勒出一幅完整的画面。但是,大自然中有太多瞬息万变的精彩场景,这种"定时绘画"的方式往往难以捕捉。于是,一种全新的"观察者"应运而生 -事件相机(Event Camera)。事件相机,就像是一群极其敏感的"像素哨兵",它们不再按部就班地等待指令,而是主动感知周围的变化,只有在光线强度发生显著变化时才会发出信号。这种革命性的设计,让事件相机拥有了传统相机难以企及的优势:超高的时间分辨率、极低的延迟、宽广的动态范围,以及出色的能效比。

NLOS的博客 1423

Java对接ByteHouse(数仓版)并使用Mybatis Plus@DS多数据源

Java对接ByteHouse并且使用Mybatis Plus操作、多数据源切换操作

weixin_53132064的博客 1403

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

浅谈 ByteHouse Projection 优化实践

预聚合是 OLAP 系统中常用的一种优化手段,在通过在加载数据时就进行部分聚合计算,生成聚合后的中间表或视图,从而在查询时直接使用这些预先计算好的聚合结果,提高查询性能,实现这种预聚合方法大多都使用物化视图来实现。

m0_60025795的博客 526

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

ByteHouse

ByteHouse 是一款由字节跳动开发的,基于开源 OLAP 引擎 ClickHouse 深度优化而来。

2301_80954266的博客 166

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

ByteHouse:基于 ClickHouse 的实时计算能力升级

ClickHouse是一个用于联机分析处理(OLAP)的列式数据库管理系统,源自俄罗斯的搜索引擎 Yandex。它的最大特点可以概括为”多快好省“。“多”——指集群规模多。在字节内部最大的集群规模是 2400 台,ClickHouse 可以完全支持。“快”——在大数据规模下,ClickHouse 也能提供秒级的单表查询性能,性能强。“好”——指无入侵式架构,可以轻松集成到现有的系统,可复用性好。“省”——ClickHouse 使用磁盘作为性能的基准,不使用内存,成本随着规模的扩展,可控性强。

m0_60025795的博客 764

ByteHouse云数仓版查询性能优化和MySQL生态完善

在2023云数据库技术沙龙 “MySQL x ClickHouse” 专场上,火山引擎ByteHouse的研发工程师游致远,为大家分享一下《ByteHouse云数仓版查询优化和MySQL生态完善》的一些工作。本文内容根据演讲录音以及PPT整理而成。 火山引擎ByteHouse的研发工程师游致远游致远,火山引擎ByteHouse资深研发工程师,负责ByteHouse云数仓版引擎计算模块。之前先后就职于网易、菜鸟集团、蚂蚁集团,有多年大数据计算引擎、分布式系统相关研发经历。ByteHouse云数仓版查询优化和M

云原生智能数据管理平台 938

ByteHouse MaterializedMySQL 增强优化

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群前言社区版 ClickHouse 推出了MaterializedMySQL数据库引擎,用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 ...

weixin_35628777的博客 238

3个企业级最佳实践,教你ByteHouse云数仓这么用

ByteHouse能够有效提升广告数据处理效率,同时为商业决策、市场分析提供数据依据,为企业带来最优成本解决方案。

m0_60025795的博客 1208

基于 ByteHouse 构建实时数仓实践

更多技术交流、求职机会,欢迎关注数据的价值在于数据的在线化。实时计算起源于对数据加工时效性的严苛需求:数据的业务价值随着时间的流逝会迅速降低,因此在数据产生后必须尽快对其进行计算和处理,从而最大效率实现数据价值转化,对实时数仓的建设需求自然而然的诞生了。而建设好实时数仓需要解决如下几个问题:一、稳定性:实时数仓对数据的实时处理必须是可靠的、稳定的;二、高效数据集成:流式数据的集成必须方便高效,要求能进行高并发、大数据量的写入;

m0_60025795的博客 379

ByteHouse如何将OLAP性能提升百倍?

点击阅读原文,即可下载《云原生数据仓库ByteHouse性能白皮书(企业版)》在数据处理和分析的领域,提升查询效率始终是一项关键挑战。对于 OLAP 来说,性能的关键需求在于能支持实时分析,应对复杂查询,提供快速响应,并具备良好的可扩展性。这些方面,对于满足高效、准确的数据分析需求至关重要。火山引擎正式发布《云原生数据仓库ByteHouse性能白皮书》,白皮书通过使用 SSB 100G、TPC-H...

过往记忆大数据 292

火山引擎 ByteHouse 的增强型数据导入技术实践

作为企业数字化建设的必备要素,易用的数据引擎能帮助企业提升数据使用效率,更好提升数据应用价值,夯实数字化建设基础。数据导入是衡量OLAP引擎性能及易用性的重要标准之一,高效的数据导入能力能够加速数据实时处理和分析的效率。作为一款OLAP引擎,火山引擎云原生数据仓库ByteHouse源于开源ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据...

字节跳动技术团队官方博客 1万+
上一篇: Spring Boot + Filter 实现 Gzip 压缩超大 json 对象,传输耗时大大减少
下一篇: SpringBoot + Flyway,自动化实现数据库版本控制
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值