区块链100讲:V神·以太坊上的分片

Layer1扩容:分片和可组合性 以太坊和其他公链,都在尝试利用多链结构扩容,例如以太坊2.0可能实现的同构分片、波卡正在实施的异构分片、COSMOS的跨链结构。而雪崩协议等网络,在多链结构里更细化的定义了功能分层和功能模块化实现扩容。 这些都是庞大且长远的设计,波卡还在经历插槽拍卖、COSMOS还在建基础设施,其余的链的技术进展和生态建设也还处于初期状态。 对于其他更聚焦于扩容的项目来说,也可能会更聚焦在单个网络结构里,例如在layer1实现分片,代表项目是Near。从长远来看,layer1的扩容(例如分片)是必然。在这些网络兼容EV 阅读详情

image

五月初,以太坊创始人“V神”Vitalik Buterin表示,以太坊的内部扩展解决方案——分片已经接近完成。以太坊分片旨在将以太坊分成几个并发网络,从而使整个网络更加高效地扩展,这将有助于缓解以太坊网络目前所面临的拥塞问题,从而提升交易速度并降低成本。

“区块链100讲”这期我们通过杨镇老师翻译的《以太坊上的分片》来了解一下什么是“分片技术”。

image

译者序

2017年8月,比特币网络进行了硬分叉,产生了比特币现金(Bitcoin Cash),这个硬分叉的技术解释就是对比特币网络进行“扩容”。比特币现金网络中的区块大小为8M,是比特币网络区块大小的8倍(比特币网络区块大小为1M),从而提高了每个区块的交易容量,反映为网络整体吞吐量的提高。而其他使用了与比特币网络类似的数据存储形式的加密货币网络,也必将伴随交易量的增加逐渐开始需要面对“扩容”的问题。“分片”(Sharding)就是以太坊网络为了解决扩容问题而设计的一种技术方案。

“分片”的大致设计思路是:将区块链网络中的每个区块变为一个子区块链,子区块链中可以容纳若干(目前为100个)打包了交易数据的Collation(大概可以称为“校验块”,为了在分片的情景中将其与区块的概念区分开),这些Collation最终组成一个在主链上区块;因为这些Collation是整体作为区块存在的,所以其数据必定是全部由某个特定的矿工所打包生成,本质上和现有协议中的区块没有区别,所以不再需要增加额外的网络确认。这样,每个区块的交易容量就大概扩大了100倍;而且这种设计还有利于未来的继续扩展,整个扩展计划目前也被大致分为4个阶段;本文所介绍的仅仅是第一阶段的相关实现细节。

这是一篇关于以太坊的“分片”技术改进的细节说明文档,供以太坊开发者和有兴趣的技术同行参考。

1

序 言

本文的目的是为那些希望理解分片建议详情,乃至去实现它的朋友提供一份相对完整的细节说明和介绍。本文仅作为二次分片(quadratic sharding)的第一阶段的描述;第二、三、四阶段目前不在讨论范围,同样,超级二次分片(super-quadratic sharding)(“Ethereum 3.0”) 也不在讨论范围。

假设用变量 c 来表示一个节点的有效计算能力,那么在一个普通的区块链里,交易容量就被限定为 O(c),因为每个节点都必须处理所有的交易。二次分片的目的,就是通过一种双层的设计来增加交易容量。在第一层中是不需要硬分叉的,主链就保持原样。不过,一种被称为校验器管理合约(validator manager contract,VMC)的合约需要被发布到主链上,它用来维持分片系统。这个合约中会存在 O(c) 个 分片 (目前为100),每个分片都像是个独立的“银河”:它具有自己的账户空间,交易需要指定它们自己应该被发布到哪个分片中,并且分片间的通信是受限的(事实上,在第一阶段,不存在这种通信能力)。

分片运行在一个普通的符合最长链规则的权益证明系统中,权益数据将保存在主链上(具体来说,是在VMC中)。所有分片共享一个通用验证器池,这也意味着:任何通过VMC注册的验证器,理论上都可以在任意时间被授权来在任意分片上创建区块。每个分片会有一个 O(c) 的区块大小/gas上限(block size/gas limit),这样,系统的整体容量就变成了 O(c^2) 。

分片系统中的大多数用户都会运行两部分程序。(i) 一个在主链上的全节点(需要 O(c) 资源)或轻量节点(需要 O(log(c)) 资源)。 (ii) 一个通过RPC与主链交互的“分片客户端”(由于这个客户端同样运行在当前用户的计算机中,所以它被认为是可信的);它也可以作为任意分片的轻客户端、作为特定分片的全客户端(用户需要指定他们正在“监视”某个特定的分片),或者作为一个验证器节点。在这些情况下,一个分片客户端的存储和计算需求也将不会超过 O(c) (除非用户指定他们正在监视 每个 分片;区块浏览器和大型的交易所可能会这么做)。

在本文中, Collation (校对块)被用来与 Block (区块)相区别,因为: (i) 它们是不同的RLP(Recursive Length Prefix)对象:交易是第0层的对象,collation是用来打包交易的第一层的对象,而block则是用来打包collation(header)的第二层的对象; (ii) 在分片的情景中这更加清晰。通常, Collation 必须由 CollationHeader (校对块头)和 TransactionList (交易列表)组成; Collation 的详细格式和 Witness (见证人)会在 无状态客户端 那节定义。 Collator (校对器)是由主链上 验证器管理合约 的 getEligibleProposer 函数所生成的示例。算法会在随后的章节中介绍。

image

2

二次分片(Quadratic Sharding)

常量

  • LOOKAHEAD_PERIODS: 4

  • PERIOD_LENGTH: 5

  • COLLATION_GASLIMIT: 10,000,000 gas

  • SHARD_COUNT: 100

  • SIG_GASLIMIT: 40000 gas

  • COLLATOR_REWARD: 0.001 ETH

验证器管理合约(Validator Manager Contract,VMC)

我们假定VMC存在于地址 VALIDATOR_MANAGER_ADDRESS 上(在已有的“主分片”上),它支持下列函数:

  • deposit(address validationCodeAddr, address returnAddr) returns uint256 :添加一个验证器到验证器集合中,验证器的大小就是函数调用时的 msg.value (比如存入的以太币数量)。这个函数会返回验证器的索引号。 validationCodeAddr 用来存储验证代码的地址,这里的“验证代码”指一个单纯的函数,这个函数需要一个32字节的哈希值和一个签名作为输入,如果签名与哈希值匹配则返回1,否则返回0。如果validationCodeAddr这个地址存储的代码不能通过 [单纯性检查合约] 的单纯性验证,deposit函数就会失败。这里的“单纯性验证”包含了对“验证代码”的实际的静态检查以确保它的输出仅仅依赖于它的输入,而不会受任何状态的影响;它的代码没有使用任何会影响状态的操作码(opcode);并且它的运行也不会导致状态的变动(比如,来防止攻击者创建这样的恶意“验证代码”:当用它校验投票表决时返回true,但当验证器行为不端、甚至已经有行为不端者的证据被提供给这个函数时,它又返回false)。

  • withdraw(uint256 validatorIndex, bytes sig) returns bool :校验签名的正确性(例如,一个以0值和 sha3(“withdraw”) + sig 作为数据,附带了200000个gas的,对 validationCodeAddr 的调用返回1),如果正确,它会将验证器从验证器集合中移除,并退还存入的以太币。

  • getEligibleProposer(uint256 shardId, uint256 period) returns address :使用一个区块哈希(block hash)作为种子基于预设的算法从验证器集合中选择一个签名者(signer)。验证器被选中几率应该与其存款数量成正比。这个函数应该可以返回一个当前周期内的值或者以 LOOKAHEAD_PERIODS 为上限的任意未来周期内的值。

  • addHeader(bytes header) returns bool :尝试处理一个collation header,成功时返回true,失败时返回false。

  • getShardHead(uint256 shardId) returns bytes32 :返回验证器管理合约内由参数所指定的分片的header哈希。

这里也有一个日志类型:

  • CollationAdded(indexed uint256 shard_id, bytes collationHeader, bool isNewHead, uint256 score)

校对块头(Collation Header)

我们首先以一个有下列内容的RLP列表来定义一个“collation header”:

[
shard_id: uint256,
expected_period_number: uint256,
period_start_prevhash: bytes32,
parent_collation_hash: bytes32,
tx_list_root: bytes32,
coinbase: address,
post_state_root: bytes32,
receipts_root: bytes32,
sig: bytes
]

这里:

  • shard_id 分片的ID;

  • expected_period_number 是collation希望被包含进的周期序号,这是由 period_number = floor(block.number / PERIOD_LENGTH) 计算出来的;

  • period_start_prevhash 前一区块,即区块 PERIOD_LENGTH * expected_period_number - 1 的区块哈希(这其实就是希望被包含进的周期起始区块之前的最后一个区块的哈希)。分片中使用区块数据的操作码(例如NUMBER和DIFFICULTY)会使用这个区块的数据,除了COINBASE操作码,它会使用分片的coinbase;

  • parent_collation_hash 是父collation的哈希;

  • tx_list_root 是包含在当前collation中的交易数据的查找树(trie)根哈希;

  • post_state_root 是分片中当前collation之后的新状态根;

  • receipts_root 是收据查找树(receipt trie)根哈希;

  • sig 是一个签名。

当 addHeader(header) 的调用返回true时,* collation header *有效。验证器管理合约会在满足下列条件时这么做:

  • shard_id 是0到 SHARD_COUNT 之间的数值;

  • expected_period_number 与当前周期号相等(比如 floor(block.number / PERIOD_LENGTH) )

  • 一个具有相同的分片 parent_collation_hash 的collation已经被接受;并且

  • sig 是一个有效的签名。就是说,如果我们计算 validation_code_addr = getEligibleProposer(shard_id, current_period) ,然后使用 sha3(shortened_header) ++ sig (这里的 shortened_header 是“collation header” 去掉 sig之后的RLP编码格式)来调用 validation_code_addr 的话,调用结果应该为1。

当满足以下条件时,* collation *有效:

(i) 它的“collation header”有效;

(ii) 在 parent_collation_hash 的 post_state_root 上执行collation的结果为给定的 post_state_root 和 receipts_root ;

并且 (iii) 总共使用的气(gas)小于等于 COLLATION_GASLIMIT 。

Collation状态转换函数

执行一个collation时的状态转换处理如下:

  • 按顺序执行由 tx_list_root 所指定的树上的每个交易;并且

  • 将 COLLATOR_REWARD 的奖励分配给coinbase。

getEligibleProposer 的细节

这里是用Viper写的一个简单实现:

image

3

无状态客户端(Stateless Clients)

当验证器被要求在一个给定的分片上创建区块时,一个验证器仅会被给予数分钟的通知(准确地说,就是持续 LOOKAHEAD_PERIODS * PERIOD_LENGTH 个区块的通知)。在Ethereum 1.0中,创建一个区块需要为验证交易而访问全部的状态。这里,我们的目标是避免需要验证器保留整个系统的状态(因为这样就将使运算资源需求变为 O(c^2) 了)。取而代之,我们允许验证器在仅知晓根状态(state root)的情况下创建collation,而将其他责任交给交易发送者,由他们提供“见证数据”(witness data),例如Merkle分支,以此来验证交易对账户产生影响的“前状态”(pre-state),并提供足够的信息来计算交易执行后的“后状态根”(post-state root)。

(应该注意到,使用非无状态范式(non-stateless paradigm)来实现分片,理论上是可能的;然而,这需要: (i) 租用存储空间来保持存储的有界性;并且 (ii) 验证器需要使用 O(c) 的时间在一个分片中创建区块。上述方案避免了对这些牺牲的需求。)

数据格式

我们修改了交易的格式,以使交易必须指定一个 访问列表 来列举出它可以访问的状态(后边我们会更精确的描述这点,这里不妨把它想象为是一个地址列表)。任何在VM执行过程中试图读写交易所指定的访问列表以外的状态,都会返回一个错误。这可以防止这样的攻击:某人发送了一个消耗5百万gas的随机执行,然后试图访问一个交易发送者和collator都没有见证人的随机账户;可以防止collator包含进像这样浪费collator时间的交易。

交易发送者必须指定“见证人”(witness),这在被签名的交易体 之外 ,但也被打包进交易。这里的见证人是一个Merkle树节点的RLP编码的列表(RLP-encoded list),它是由交易在其访问列表中所指定的状态的组成部分。这使collator仅使用状态根就可以处理交易。在发布collation的时候,collator也会发送整个collation的见证人。

交易打包格式

image

Collation格式

image

也请参考 ethresearch 上的帖子 无状态客户端的概念 。

无状态客户端状态转换函数

通常,我们可以将传统的“有状态”客户端执行状态转换的函数描述为: stf(state, tx) -> state’ (或 stf(state, block) -> state’ )。在无状态客户端模型中,节点不保存状态,所以 apply_transaction 和 apply_block 可以写为:

image

这里, state_obj 是一个数据元组,包含了状态根和其他 O(1) 大小的状态数据(使用的gas、receipts、bloom filter等等); witness 就是见证人; block 就是区块的余下部分。其返回的输出是:

  • 一个新的 state_obj 包含了新的状态根和其他变量;

  • 从见证人那里读取的对象集合(用于区块创建);和

  • 为了组成新的状态查找树而被创建的一组新的状态对象。

这使得函数是“单纯性的”(pure),仅处理小尺寸对象(small-sized objects)(相反的例子就是现行的以太坊状态数据,现在已经 数百G字节 ),从而使他们可以方便地在分片中使用。

客户端逻辑

一个客户端应该有一个如下格式的配置:

image

如果指定了validator地址,那么客户端会在主链上检查这个地址是否是有效的validator。如果是,那么在每次在主链上开始一个新周期时(例如,当 floor(block.number / PERIOD_LENGTH) 变化的时候),客户端将为所有分片的周期 floor(block.number / PERIOD_LENGTH) + LOOKAHEAD_PERIODS 调用 getEligibleProposer 。如果这个调用返回了某个分片 i 的验证器地址,客户端会运行算法 CREATE_COLLATION(i) (参考下文)。

对于 watching 列表中的每个分片 i ,每当一个新collation header出现在主链上,它就会从分片网络中下载完整的collation,并对其进行校验。它将内部保持追踪所有有效的header(这里的有效性是回溯的,例如,一个header如果是有效的,那么他的父header也应该是有效的),并且将head具有最高得分的分片链接受为主分片链,同时从创世(genesis)collation到head的所有collation都是有效的和可用的。注意,这表示主链的重组 和 分片链的重组都将影响分片head。

逆向匹配候选head

为了实现监视分片的算法和创建collation,我们要做的第一件事就是使用下面的算法来按由高到低的顺序匹配候选head。首先,假设存在一个(非单纯的、有状态的)方法 getNextLog() ,它可以取得某个还没有被匹配的给定分片的最新的 CollationAdded 日志。这可以通过逆向匹配最新的区块的所有日志来达成,即从head开始,反方向扫描receipt中的每个区块。我们定义一个有状态的方法 fetch_candidate_head :

image

用普通的语言重新表述,这里就是反向扫描 CollationAdded 日志(对正确的分片),直到获得一个 isNewHead = True 的日志。首先返回那个日志,然后用从老到新的顺序返回所有与那个日志分值相同的、 isNewHead = False 的所有最新日志。随后到前一个 isNewHead = True 的日志(即确保分值会比前一个NewHead低,但比其他人高),再到这个日志之后的所有具有该分值的最新collation,而后到第四个。

这就是说这个算法确保了首先按照分值的由高到低、然后按照从老到新的顺序检查潜在的候选head。

例如,假定 CollationAdded 日志具有以下哈希和分值:

… 10 11 12 11 13 14 15 11 12 13 14 12 13 14 15 16 17 18 19 16

然后, isNewHead 将被按如下赋值:

… T T T F T T T F F F F F F F F T T T T F

如果我们将collation命名为 A1..A5、 B1..B5、 C1..C5 和 D1..D5 ,那么精确的返回顺序将是:

D4 D3 D2 D1 D5 B2 C5 B1 C1 C4 A5 B5 C3 A3 B4 C2 A2 A4 B3 A1

监视一个分片

如果一个客户端在监视一个分片,它应该去尝试下载和校验那个分片中的所有collation(检查任何给定的collation,仅当其父collation已经被校验过)。要取得head,需要持续调用 fetch_candidate_head() ,直到它返回一个被校验过的collation,也就是head。通常情况下它会立即返回一个有效的collation,或者最多因为网络延迟或小规模的攻击导致生成过几个无效或者不可用的collation,而需要稍微尝试几次。只有在遭遇一个真正长时间运行的51%攻击时,这个算法会恶化到 O(N) 的时间。

CREATE_COLLATION

这个处理由三部分组成,第一部分可以被叫做 GUESS_HEAD(shard_id) ,其示意代码如下:

image

fetch_and_verify_collation(c) 包含了从分片网络取得 c 的所有数据(包括见证人信息)并校验它们的处理。上述算法等价于“选取最长有效链,尽可能的检查有效性,如果其数据无效,则转而处理已知的次长链”。这个算法应该仅当校验器执行超时时才会停止,这就是该创建collation的时候了。每个 fetch_and_verify_collation 的执行都应该返回一个“写集合”(参考上文的“无状态客户端”那节)。保存所有这些“写集合”,把它们组合在一起,就构成了recent_trie_nodes_db 。

我们现在可以来定义 UPDATE_WITNESS(tx, recent_trie_nodes_db) 了。在运行 GUESS_HEAD的过程中,某节点会接收到一些交易。当它要把交易(尝试)包含进collation的时候,这个算法需要先运行交易。假定交易有一个访问列表 [A1 … An] 和一个见证人 W ,对于每个 Ai 使用当前状态树的根取得 Ai 的Merkle分支,使用 recent_trie_nodes_db 和 W 一起作为数据库。如果原始的 W 正确,并且交易不是在客户端做这些检查之前就已经发出的话,那么这个取得Merkle分支的操作总是会成功的。在将交易包含进collation之后,状态变动的“写集合”也应该被添加到 recent_trie_nodes_db 中。

下面我们就要来 CREATE_COLLATION 了。作为例证,这里是这个方法中可能的、收集交易信息处理的完整示意代码。

image

最后,有一个额外的步骤,最终确定collation(给collator发放奖励,也就是 COLLATOR_REWARD的ETH)。这需要询问网络以获得collator账户的Merkle分支。当得到网络对此的回应之后,发放奖励之后的“后状态根”(post-state root)就可以被计算出来了。Collator就可以用 (header, txs, witness) 的形式打包这个collation了。这里,见证人(witness)就是所有交易的见证人和collator账户的Merkle分支。

4

协议变动

交易的格式

交易的格式现在将变为(注意这里包含了 账户抽象 和 读/写列表 ):

image

完成交易的处理过程也将变为:

  • 校验 chain_id 和 shard_id 是正确的;

  • 从 target 账户中减去 start_gas * gasprice wei;

  • 检查目标 account 是否有代码,如果没有,校验 sha3(code)[12:] == target ;

  • 如果目标账户为空,使用 code 作为初始代码,在 target 中执行一个合约的创建;否则,跳过这个步骤;

  • 执行一个消息,使用:剩余的gas作为startgas, target 作为地址,0xff…ff 作为发送者,0作为value,以及当前交易的 data 作为data;

  • 如果上述任何一个执行失败,并且消耗了 <= 200000 的气(例如: start_gas - remaining_gas <= 200000 ),那么这个交易是无效的;

  • 否则, remaining_gas * gasprice 将被退还,已支付的交易费将被添加到一个交易费计数(注意:交易费不会被直接加入coinbase余额,而是在区块最终确认时立即添加)。

双层查找树重新设计

现存的账户模型将被替换为:在一个单层查找树中收录进所有账户的余额、代码和存储。具体来讲,这个映射为:

  • 账户X的余额: sha3(X) ++ 0x00

  • 账户X的代码: sha3(X) ++ 0x01

  • 账户X的存储键值K: sha3(X) ++ 0x02 ++ K

请参考ethresearch上的帖子 单层查找树中的双层账户查找树 。

此外,这个查找树现在有了一个新的二进制查找树设计: https://github.com/ethereum/research/tree/master/trie_research 。

访问列表

一个账号的访问列表看起来大概像这样:

[[address, prefix1, prefix2…], [address, prefix1, prefix2…], …]

从根本上说,这意味着:“这个交易可以访问这里给定的所有账户的余额和代码,并且账户列表中给出的每个账户的前缀中至少有一个是该账户存储的一个键的前缀”。我们可以将其转换为“前缀列表格式”,基本上就是一个内部存储查找树的前缀列表(参考前面的章节):

image

我们可以通过取得交易的访问列表,将其变换为前缀列表格式,然后对前缀列表中的每个前缀执行 get_witness_for_prefix ,并将这些调用结果组成一个集合;以此来计算某个交易见证人。

get_witness_for_prefix 会返回查找树节点中可以访问以指定前缀开始的所有键值的一个最小集合。参考这里的实现: https://github.com/ethereum/research/blob/b0de8d352f6236c9fa2244fed871546fabb016d1/trie_research/new_bintrie.py#L250 。

在EVM中,任何尝试对访问列表以外的账户的访问(直接调用、SLOAD或者通过类似 BALANCE或 EXTCODECOPY 的opcode的操作)都会导致运行这种代码的EVM实例抛出异常。

请参考ethresearch上的帖子 账户读/写列表 。

gas的消耗

待定。

5

后续的阶段

通过分离区块proposer和collator,我们实现了二次扩展,这是一种快速、不彻底的中等安全权益证明分片,以此在不对协议或软件架构做太多更改的情况下增加了大约100倍的吞吐量。这也被用来作为一个完整的二次分片多阶段计划的第一阶段,后续阶段大致如下:

  • 第二阶段(two-way pegging,即双向限定) :参考 USED_RECEIPT_STORE 章节,仍在撰写;

  • 第三阶段,选项a :将collation header作为uncle加入,而不是交易;

  • 第三阶段,选项b:将collation header加入一个数组,数组中的元素 i 必须为分片 i 的collation header或者空字符串,并且额外的数据必须为这个数组的哈希(软分叉);

  • 第四阶段(tight coupling,即紧耦合) :如果区块指向无效或不可用的collation,那么区块也将变为无效;增加数据可用性证明。

内容来源:以太坊爱好者

原文作者:V神

译者:杨镇

原文链接:https://github.com/ethereum/sharding/blob/develop/docs/doc.md

以下是我们的社区介绍,欢迎各种合作、交流、学习:)

image

以太坊:以最容易的方式理解分片 阅读详情

相关推荐

以太坊分片设计简史:从Block到Blob

以太坊分片设计简史:从Block到Blob

qq_32193015的博客 638

以太坊 分片是什么

以太坊分片

软件工程小施同学 的专栏 666

GD32F470实战:如何用EXMC+SDRAM为LVGL打造超大内存池(附完整配置代码)

本文详细介绍了如何利用GD32F470的EXMC接口与SDRAM深度整合,为LVGL构建高性能内存解决方案。通过硬件架构设计、EXMC接口配置、高级内存管理策略及LVGL性能优化技巧,开发者可以突破微控制器内存限制,实现高分辨率显示和复杂动画效果。附完整配置代码,助力嵌入式GUI开发。

rrr55的博客 549

以太坊分片探究

以太坊分片探究 CAP难题 CAP问题说区块链试图拥有三个属性,常规情况下,只能得到这三个中的两个。这三个属性是: 可扩展性:该链可以处理比单个常规节点(想想:消费者笔记本电脑)可以验证的交易更多的交易。 去中心化:链可以运行,而无需依赖一小组大型中心化参与者。这通常被解释为意味着不应该有任何信任(或什至诚实多数假设)您无法仅使用消费笔记本电脑加入的一组节点。 安全性:链可以抵抗很大比例的参与节点试图对其进行攻击(理想情况下为 50%;任何高于 25% 的都可以,5% 绝对不行)。 对于以上三个问题,目

qq_50665031的博客 4854

Python量化交易实战:pytdx库高效获取通达信分笔成交数据

本文详细介绍了如何使用Python的pytdx库高效获取通达信分笔成交数据,为量化交易提供关键市场微观结构分析。通过环境搭建、服务器连接、数据获取与清洗的完整流程,帮助开发者快速掌握这一免费高质量数据源,并实现分笔数据的实战分析与应用。

weixin_29061509的博客 1359

Atlas 300I Pro推理卡性能深度测试:对比业界同类产品的能效比与算力表现

本文对昇腾Atlas 300I Pro推理卡进行了深度性能评测,重点对比了其与业界同类产品的能效比与算力表现。实测数据显示,该卡在运行BERT等模型时展现出高达39.6句子/秒/瓦的卓越能效比,电力成本可降低40%以上,同时其达芬奇架构和硬件加速特征检索能力,为高密度在线推理和向量检索场景提供了强大支撑。

weixin_29031161的博客 580

如何扩展以太坊:分片原理解释

关于扩展的讨论是加密社区的前沿和中心话题。以太猫游戏阻塞整个以太坊网络数天的重大事件的发生,让我们知道了最大的公有链在当前状态下无法扩展。 所以社区决定采取什么方法呢?有两种解决方案。第一种是通过脱链的方式(也叫做第二层扩展)来提高扩展性,让其中一些交易在区块链下被处理,并且仅与区块链进行必要的交互。另一种方法是通过完全修改协议的设计,来解决区块链所面临的并行性的根本问题。不幸的是,我们很多的协...

跨链技术践行者 8560

生成对抗网络——CGAN(代码+理解)

CGAN(Conditional Generative Adversarial Network)模型是一种 深度学习模型,属于生成对抗网络(GAN)的一种 变体。它的 基本思想是通过 训练生成器和判别器两个网络,使生成器能够生成与给定条件 相匹配的 合成数据,而判别器则 负责区分真实数据和 生成数据。相比于GAN它引入了条件信息(y),使得生成器可以生成与给定条件相匹配的合成数据,从而提高了生成数据的可控性和针对性。

CXDNW的博客 1万+

为什么分片是了不起的?V神亲自揭开分片技术特性的神秘面纱

出品 |Unitimes,作者 |Vitalik Buterin责编 | 晋兆雨头图 |付费下载于视觉中国分片 (Sharding) 是以太坊扩容的未来,它将是帮助以太坊生态系...

区块链大本营 3923

从原理到调试:一次搞懂Camera Sensor的曝光、增益与帧率三角关系

本文深入解析Camera Sensor中曝光、增益与帧率之间的动态平衡关系,揭示低光环境下帧率下降的根本原因。通过实际调试案例和底层公式分析,帮助开发者理解如何优化相机参数设置,实现画质与流畅度的最佳平衡。

weixin_31310913的博客 433

使用R语言绘制Logistic回归模型的亚组分析森林图

亚组分析是一种常用的统计方法,用于探索不同亚组之间的差异,并确定是否存在某些变量对结果的调节作用。在本文中,我们将使用R语言来绘制Logistic回归模型的亚组分析森林图。在该图中,每个亚组都用一个点表示,点的位置表示亚组的均值,而线段表示亚组的置信区间。垂直参考线用于表示效应值为0的点,帮助我们判断亚组之间的差异。希望本文对你有所帮助,让你能够使用R语言绘制Logistic回归模型的亚组分析森林图。是一个二分类的变量,我们希望在亚组分析中探索它与响应变量之间的关系。函数来计算每个亚组的均值,并使用。

PixelNinja的博客 2006

以太坊2.0究竟何时落地?V神这样说……

作者 | 晋兆雨、Carol责编 | 徐威龙图片来源 | 优快云 下载自视觉中国区块链:面向未来的技术如今的区块链,被认为是一种可重构各行业生态逻辑和架构的颠覆性技术,各行各业开始...

区块链大本营 2130

11、频率响应与伯德图详解

本文详细介绍了电子电路分析中的频率响应与伯德图,涵盖分贝的定义与计算、带宽与3dB点、放大器反馈机制、倍频程与十倍频程概念,并系统讲解了基于实数和复数零极点的伯德图构建方法。通过具体示例分析了传递函数的渐近近似、幅度与相位响应,并结合MATLAB工具展示了伯德图的绘制过程。文章旨在帮助读者深入理解电路在不同频率下的行为特性,为电路设计与优化提供理论支持。

white的博客 173

V 神呼吁宽大处理,以太坊开发者 Virgil Griffith 被判入狱 63 个月

你认为目前以太坊的发展如何?

优快云资讯 2万+

Pandas滚动窗口的妙用:动态计算列数据的最大值

Pandas的滚动窗口(rolling window)功能是数据分析中处理时间序列数据的重要工具。本文通过实例演示了如何使用rolling(window=4).max()计算DataFrame列A的滚动最大值,并将结果存入新列Max_Range。该方法会在4个元素的滑动窗口内计算最大值,前3行因数据不足显示为NaN。这种技术广泛应用于金融分析(如股价波动)、数据平滑和趋势识别等场景,能有效帮助分析数据的动态变化特征。示例展示了从数据准备到结果输出的完整流程,体现了Pandas在处理滑动窗口计算时的高效性和便

m0_74337424的博客 53

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

V神提到的作为以太坊可扩展性未来的分片是什么

4月7日,V神的网站更新了一篇名为《分片为何如此出色:揭开技术属性的神秘面纱》的文章,其中提到:分片是以太坊可扩展性的未来,它将是帮助生态系统每秒支持数千笔交易,并允许世界上大部分地区以可承受的成本定期使用该平台的关键。 你或许也知道,限制目前区块链技术大规模落地应用的一个很重要因素就是性能,这也是为什么很多传统互联网从业者不太看好区块链技术的一个原因。那么,如何解决区块链的性能问题呢?其中的一个解决方案就是分片技术(Sharding)。 什么是分片? 分片是数据库分区的一种形式,也称为水平分区,即将

q0123456789的博客 165

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

java统计点击量每秒100万_这速度嗖嗖嗖!V神:以太坊网络每秒处理量将超100万次...

以太坊创始人V神近日在一次会议中表示,采用分片技术(Sharding)和Plasma等第二层扩展解决方案后,以太坊网络最终将能每秒处理100万次交易,并且有可能超过每秒1亿次。同时,他也认为第一层和第二层网络是互补的。以前在各种公开场面,V神强调过,一般来说,以太坊区块链协议和去中心化区块链网络正在努力解决可扩展性问题。2017年9月, V神在接受风险投资人Naval Ravikant采访时指出,...

weixin_34929072的博客 355

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

以太坊第五年,未来该往哪走?

作者 | 晋兆雨、Carol责编 | 徐威龙图片来源 | 优快云 下载自视觉中国2020 年 3 月 4 日,我国提出“加快推进国家规划已明确的重大工程和基础设施建设,加快 5G 网...

区块链大本营 4170

V神入围时代杂志2021年100位最具影响力人物名单

​人们的目光总是会关注那些与众不同的“天才”,很多孩子少年时展现天赋,但长大之后有些不尽如人意,让人忍不住“伤仲永”,不过有些天才,却一直在“神坛”上让人仰望。 9月15日晚上,《时代》杂志正式公布了2021年最具影响力100人名单,以太坊创始人Vitalik Buterin(V神)成功入围。在关于其作为以太坊联合创始人的简介中,Reddit联合创始人Alexis Ohanian引用了V神在将以太坊网络建设到超过4000亿美元市值以及鼓励开发去中心化应用程序和NFT方面的作用。 作为以太坊的传奇创始

睡前人工智能共享实验室 7434

中国开发者地位渐高? V神二度来京, 竟是为了……

出品 | 优快云、灵钛科技还记得这张照片吗?这是去年,以太坊创始人Vitalik Buterin(大名鼎鼎的V神)中国行与中国开发者见面的现场照片。在去年的「2018以...

区块链大本营 1万+

V神·以太坊上的分片

译者序 本文是我应以太坊中文社区(Ethfans.org)之邀做的翻译稿,原文取自以太坊社区的Github: [https://github.com/ethereum/sharding/blob/develop/docs/doc.md] 。原文最后更新于2018年1月5日。 2017年8月,比特币网络进行了硬分叉,产生了比特币现金(Bitcoin Cash),这个硬分叉的技术解释就是对比特币...

tianlongtc的博客 1017

被DeFi吞噬的以太坊

近日,随着 DeFi 用例骤增,以太坊又要被占满了。 据欧科云链OKLink统计,以太坊全网未确认交易维持在14万笔以上,并且呈持续上升的趋势。以太坊网络利用率目前已超过96%,创历史新高。由于以太坊网络利用率不足,导致区块链网络拥堵,运行速度急剧下降。 以太坊创始人V神曾多次在公开场合表示:“可扩展性仍是以太坊一个很大的瓶颈,因为以太坊区块链几乎已经满了。随着利用率的提高,以太坊的交易成本随之增加,这让潜在的企业用户在选择以太坊区块链时产生迟疑。” 一般情况下,DeFi 用户在部署一张抵押借贷合约单时,

OKLink_official的博客 593

以太坊区块链浏览器搭建

区块链浏览搭建

J_Lee 2948

以太坊大神深情告白: "因为你们, 我始终相信区块链 "

你这么帅,不来波关注吗?12月1日,以太坊联合创始人、ConsenSys 创始人 Joe Lubin 连发 20 条推文,详细阐述了区块链技术和去中心化现状。他认为,相...

区块链大本营 2473

V 神呼吁宽大处理!以太坊开发者 Virgil Griffith 被判入狱 63 个月

整理 | 郑丽媛出品 | 优快云(ID:优快云news)在加密货币市场逐渐步入寒冬时,曾在币圈大肆流传的 Virgil Griffith 被捕事件也终于在近日迎来了最终审判。据外媒 CoinDesk 报道,本周二美国纽约南区地方法官 Kevin Castel 对前以太坊开发者 Virgil Griffith 做出判决:Virgil Griffith 因帮助朝鲜使用加密...

区块链大本营 3992
上一篇: EOS劲敌叫阵,以太坊借力“分片技术”能否继续捍卫霸主地位?
下一篇: Linux环境下搭建Hyperledger Fabric(附流程代码)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值