Elasticsearch最佳实践:如何保证你的数据安全

ElasticSearch集群搭建与安全认证 参考文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.17/configuring-stack-security.html。每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息,其中包括:所有节点信息、所有索引信息以及相关的Mappings和Setting信息、分片的路由信息。ElasticSearch集群内部的数据是通过9300进行传输的,如果不对数据加密,可能会造成数据被抓包,敏感信息泄露。 阅读详情

c1731c6ff73adacaeb32914cb9f6feea.gif

作者:李捷,Elastic首席云解决方案架构师

关注Elasticsearch动态的朋友应该都会被一条关于数据泄露的新闻吸引。虽然,这个事件中泄露的数据并非直接发生在Elasticsearch身上,但任何时候,我们都需要保持警醒,并掌握保证你的数据安全所需的知识,以及建立能够快速检测,并响应相关事件的流程机制,以减少损失。

一直在发生的数据泄露

无需强调,其实类似的事情一直都在发生:

12fb49ef36121d11b95a33cdbef805ce.png

历年的重大数据泄露事故

而每当我们看到类似的新闻,多数人的第一反应是,或者说打趣调侃的论调就是一个“大四实习生”程序员,因为一个错误的安全配置,导致了数据泄露的发生。我们哀其不幸,怒其不争,同时指摘发生数据泄露的相关企业薄弱的安全意识与安全管理能力。似乎是这种错误本可以很轻松就能避免,管理上和专业上的缺失,才是导致任由无良程序员使用错误配置的原因。

其实,我们还可以有一些更加深入的角度看待这个问题:

一,安全问题向来不是一个简单的基础设施安全配置或者安全策略的问题,过度调侃一个“外包程序员的不做基本的安全设置”的故事,会让我们误以为网络安全、数据安全是一个轻易就可以避免的问题,让程序员背锅,会让我们忽略背后的黑客对抗性行为。网络安全所面对的可能是专业的团伙,甚至是国家组织性质的黑客集团。整个攻击链路,可能始于某次外围员工的社交媒体钓鱼事件,然后渗透、横向移动、提权、驻留,一次次的操作才最后引发最终的数据泄露。仅仅只是解决程序员的专业技能,或者管理上的缺失并不能避免类似的事情发生。至少我们看到,即便是FANG组之一,拥有着世界上最优秀的程序员和高级管理人员,甚至是已经数次发生过数据泄露事故,按理说,技术、经验、教训都已经到位了,应该不会再发生类似事故了,仍然免不了再次沦陷在这个战场。

二,当数据已经变为了一种可以变现的资产,有高额收益的存在,必然会有人为此铤而走险。当有人算计着你的数据,随时想方设法的想偷点什么的时候,就不再是一个孤立的事件,而是一个持续发生的对抗性行为。在安全思想上,应该承认风险、漏洞的必然存在,100%的攻击防御已经是天方夜谈,不能仅仅依靠各种边界防御设备,应同时着眼于被渗透之后的快速检测和响应机制,将损失收敛到最小的范围。

三,语言攻击并不能使用人成长,持续的指摘、抱怨并不能带给我们更多的保护,需要认清我们目前面临的情况。可以看到,个人隐私数据已经成为数据泄露事件的重灾区。数据无论是放在政府还是企业,风险敞口都是存在的。黑客无国界,我们面对的是以勒索或者贩卖为主要目的行为,更多应该要在数据安全立法和安全防护总体措施上去解决问题,而不是盯着程序员的错误。

6fb5683f9f741252b08fa1e6405dd4d2.png

按数据类型分类的数据泄露事件

Elasticsearch的数据安全设置

虽然绝大多数的数据泄露事件都并非来自于软件的漏洞或者不合理的设计。但充分了解如何正确的配置软件的安全选项仍然是软件开发人员,基础运维人员,安全运维人员需要掌握的技能。关于数据安全,至少需要包含以下几个方面:

  • 数据存储安全

  • 数据通信安全

  • 数据访问安全

这几个部分,由上至下,重要级递增。以下,我们按照顺序介绍Elasticsearch提供的相关能力

数据静态加密支持(数据存储安全)

虽然 Elastic Stack 不能直接实施数据静态加密,但我们建议在所有主机上都配置磁盘级别加密。此外,快照目标也必须确保对数据进行静态加密。例如,在Linux系统上,我们可以通过dm-crypt等软件对磁盘进行落盘加密。而对于快照数据,则经常是被或略的地方,特别是当我们选择将备份数据放在公共网络可访问的区域时,更应该小心。应该选择一个加密的快照存储仓库,然后使用elasticsearch-keystore工具,对数据加解密通道所需的密码或证书进行有效的保护:

./bin/elasticsearch-keystore add repository.encrypted.test_enc.password

安全设置

某些设置很敏感,所以依赖文件系统许可来保护它们的值不外泄是不足够的。对于这一用例,Elastic Stack 组件会提供密钥库来防止在未经授权的情况下访问敏感的集群设置。用户还可以选择对 Elasticsearch 和 Logstash 密钥库进行密码保护,从而进一步增强安全性。

数据通信安全

从下图可以看到,Elasticsearch提供了多种方式跟外部进行交互,我们可以通过Beats, logstash将采集和处理后的数据存储于Elasticsearch,也可以通过API接口,跟其他大数据平台进行对接。而通过Client & API的方式,对接的平台就更多了,比如,我们可以将快照的备份数据存储于对象存储仓库。

f8fbb02e6f29ebb12e3600781e536e1e.png

虽然说对接的生态极其丰富,但接口是统一的。主要集中在两个方面:

  • 集群外,通过HTTPS/HTTP协议,默认在9200端口上提供restful API交互能力

  • 集群内,通过传输层协议,默认在9300-9400端口上提供内部节点间的通信能力

因为数据通过网络传输,为了避免中间节点、网络流量镜像等带来的数据泄露风险,强烈建议通过流量加密,以及使用 SSL/TLS、节点身份验证证书等方式,来阻止针对 Elasticsearch 节点数据的网络攻击.

在大多数情况下,通信安全的最佳实践还会要求我们尽量把Elasticsearch集群部署在专有网络当中,避免直接暴露在公共网络下面,以此减少被攻击到的可能。

数据访问安全

Elasticsearch作为一个搜索引擎,其最主要的能力就是提供用户访问我们所希望获取的数据的能力,因此,无论是直接访问Elasticsearch,或者通过客户端,代理,网关访问,其实都是为所有人网络上直接或间接触达的用户开放了访问的权限。因此,数据访问安全会来得比前两个更复杂,也更重要。我们不仅仅需要通过用户名、密码,或者API key来做用户认证(Authentication)。还需要设置权限,确定特定账户对数据的访问级别(Authorization)。同时,对于一些更模糊的场景,比如,IP地址过滤,匿名共享,我们也需要更多的能力来支持。而对于企业内部共享,SSO,基于域的身份验证服务接入,也是必须的正确配置的;最后,对于访问安全,我们还会有审计和合规的需求需要去满足,以下,给大家简单介绍各个部分的功能:


以下为权限设置功能(Authorization)

基于角色的访问控制 (RBAC)

借助基于角色的访问控制 (RBAC),您能够通过为角色分配权限以及为用户或群组分配角色来为用户授权。

ed934b8edd8c78929e53f1dfc1cf310a.jpeg

基于属性的访问控制 (ABAC)

Elastic Stack 的 Security 功能同时还提供基于属性的访问控制 (ABAC) 机制,通过该机制,您能够使用属性来限制搜索查询和聚合中文档的访问权限。这一功能可让您在角色定义中实施访问政策,这样用户只有在拥有全部必备属性时,才能读取特定文档。

匿名访问控制(用于公开分享)

从地图到仪表板,再到任何 Kibana 保存的对象,您现在可以创建专门的链接,让任何人都可以访问其中的资产,而不会被提示输入凭据。

字段和文档级别安全性

字段级安全性能够限制用户有权访问的字段。具体而言,其能限制从基于文档的只读 API 中可以访问哪些字段。

文档级安全性能够限制用户有权访问的文档。具体而言,其能限制从基于文档的只读 API 中可以访问哪些文档。


以下为用户认证功能(Authentication)

Security Realm

Elastic Stack 的 Security 功能会使用 Realm 或者一个或多个基于令牌的身份验证服务来验证用户身份。Realm 可基于身份验证令牌来解决问题并验证用户身份。Security 功能提供大量内置 Realm。

单点登录 (SSO)

通过将 Elasticsearch 作为后端服务,Elastic Stack 支持通过 SAML 单点登录方式 (SSO) 登录 Kibana。通过 SAML 身份验证,可以允许用户使用外部身份提供商服务(例如 Okta 或 Auth0)登录 Kibana。

第三方安全性集成

如果 Elastic Stack 中提供的开箱即用型 Security 功能不支持您使用的身份验证系统,您可以创建一个自定义 Realm 来验证用户身份。


以下为审计和合规功能

审计日志

您可以启用审计来跟踪安全相关事件(例如身份验证失败以及遭拒的连接请求)。对这些事件进行日志记录能够让您监测自己集群中的可疑活动,并在遭受攻击时提供证据。

IP 筛选

您可以针对应用程序客户端、节点客户端或者传输客户端(而不仅局限于尝试加入集群的其他节点)应用 IP 筛选。如果某节点的 IP 地址在黑名单中,Elasticsearch 安全功能虽允许其连接至 Elasticsearch,但会立即断开连接且不会处理任何请求。

IP 地址或范围

xpack.security.transport.filter.allow:"192.168.0.1"xpack.security.transport.filter.deny:"192.168.0.0/24"

白名单

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]xpack.security.transport.filter.deny: _all

IPv6

xpack.security.transport.filter.allow:"2001:0db8:1234::/48"xpack.security.transport.filter.deny:"1234:0db8:85a3:0000:0000:8a2e:0370:7334"

主机名

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

FIPS 140-2 模式

Elasticsearch 提供一种符合 FIPS 140-2 规范的模式,此模式可以在已启用的 JVM 中运行。通过使用 FIPS 批准/NIST 推荐的加密算法,可以确保遵守处理标准。

Section 508 法案

如果您的 Elastic Stack 部署需要满足 Section 508 合规性标准,我们的 Security 功能可以满足您的需求。

标准 (GDPR)

按照 GDPR 指南,您的数据很有可能会归为个人数据。了解您可以如何使用 Elastic Stack 的功能(从基于角色的访问控制到数据加密)来保护自己的 Elasticsearch 数据,从而满足 GDPR 的安全和处理要求。

数据安全事件的检测和响应

即便我们已经完全按照建议的方式,正确的配置了所有的安全选项,其实还是无法100%的避免数据泄露的问题。试想,无论是一个程序员不小心在网络上发布了用于数据访问的地址,access id,access key,还是对手黑入你的电脑,获得了你的所有令牌和密码,在拥有正确钥匙的小偷面前,再高级的防护门都是没有用的。

在边界防御的基础上,我们还需要的一套更加全面的检测和响应机制。首先要做到的是,不能有数据盲点,所有的数据都处于可查,可监控的状态。第二,要有基础的防护规则,对于快照仓库,读写权限均应该只开放给特定用户,并且对读写流量进行监控。第三,应该建立正常的行为模式基线,对于没见过的ip、用户访问敏感数据,应该设置告警。

比如,对于数据泄露的案例,网络流量的监控就异常重要:

5196fda2dabd8483b7b9dd7b318505fb.png

来源ip、目的ip、对应的协议、流量等基础信息都应该处于被检测的状态。只有获取完成的数据并进行持续的监控,我们此有可能在侵害的开始阶段尽早发现并组织。

并且,应该有特定的规则,进行一些端口、网络流量的限制:

8d15600b5fa45aaee5efb8a4e78a8c7f.png

elastic内置的检测规则

更主要的,是需要结合机器学习的行为模式发现,当出现异常时间、异常地点、异常ip、异常流量的时候, 可以在没有阙值可以准确设置的情况下,由机器学习来进行预警

49dd87a65b5b85db56c7780418723f10.png

elastic内置的机器学习规则

ddd688faf94275a01fc4dd68d5ccb625.png

基于机器学习的网络流量异常检测

总结

数据安全,从来不是一件简单的事情。发展到现在,也不再是通过简单的防御就能够解决的问题。

数据可见性、检测与响应,成了摆在我们面前,非常迫切,且需要解决的事情。需要的技术不仅是数据的准确、有效、及时的采集,也包括各种分析技术的发展,从而准确的寻找数据中的异常。同时,安全响应流程、应急机制则需要规范建设。最后,所有的网络攻防,都是人与人之间的攻防,而非人与机器,战术,战略都需要参考其中。

人、技术、流程,会一直都是我们构建有效安全运营的核心。

Elasticsearch设置密码:核心要点解析集成方案 深入解析Elasticsearch设置密码的关键步骤与安全策略,涵盖内置用户管理、TLS配置及与Kibana的协同认证,帮助实现集群的安全访问控制,提升系统整体防护能力。 阅读详情

相关推荐

Elasticsearch 分片与副本深度解析:配置策略与最佳实践

Elasticsearch分片与副本最佳实践摘要(148字): 主分片(number_of_shards)决定数据分布,创建后不可修改,建议按数据量设置(20-50GB/分片)。副本分片(number_of_replicas)提供冗余和读取扩展,可动态调整。黄金配置公式:总分片数=主分片×(1+副本数)≤节点数×1000。写入密集型场景建议临时减少副本,搜索密集型可增加副本。生产环境应保证≥1副本,关键业务推荐2副本。监控分片大小,过大(>100GB)需拆分,过小(<1GB)可合并。避免分片过多

柯南小海盗 3016

安全与加密:ElasticSearch的安全与加密功能

1.背景介绍 在本文中,我们将深入探讨ElasticSearch的安全与加密功能。首先,我们将介绍ElasticSearch的背景和核心概念。然后,我们将详细讲解其加密算法原理和具体操作步骤,并提供数学模型公式的解释。接着,我们将通过具体的代码实例和详细解释来展示最佳实践。最后,我们将讨论实际应用场景、工具和资源推荐,并总结未来发展趋势与挑战。 1. 背景介绍 ElasticSearch是一...

AI天才研究院 2105

Elasticsearch 如何保证写入过程中不丢失数据的

在本文开始前,首先明白一个点,平时我们说的组件数据不丢失究竟是在指什么,如果你往ES写入数据,ES返回给你写入错误,这个不算数据丢失。如果你往ES写入数据,ES返回给你成功,但是后续因为ES节点重启或宕机导致写入的数据不见了,这个才叫数据丢失。4, 在文件系统缓存中的segment总归还是要写入磁盘,默认每30分钟,或者当translog的日志量达到某个量级时,segment会进行落盘,同时删掉translog日志。1,写入时,ES会首先往一块内存缓存中写入数据,这快内存缓存在ES中叫。

我活在当下,我巨他妈勇敢。 1424

Elasticsearch 加密和认证

随着大数据技术的广泛应用,Elasticsearch 作为一款功能强大的分布式搜索引擎,成为了众多企业和组织的核心技术基础设施。然而,随着数据量的增长和使用范围的扩大,数据安全和隐私保护成为了不可忽视的问题。本文将深入探讨 Elasticsearch 的加密和认证机制,帮助读者理解如何在 Elasticsearch 中保障数据的安全性和完整性。

得塔云的博客 1818

深度学习入门:使用CMSIS-NN在微控制器上部署模型的完整指南与Python Jupyter实践

CMSIS-NN是ARM为Cortex-M系列微控制器设计的神经网络库。它旨在提供一套高效、轻量级的神经网络API,使得开发者可以在资源受限的微控制器上运行深度学习模型。CMSIS-NN优化了各种常见的神经网络层,如卷积层、全连接层等,确保它们在微控制器上的运行效率。# 定义模型])# 编译模型# 训练模型这样,我们就得到了一个简单的手写数字识别模型。注意:为了简洁和清晰,本文中的代码可能不是最优的或最完整的实现。为了获得完整的项目和更多的优化技巧,请下载完整项目。

m0_57781768的博客 5886

Unity集成阿里Qwen2.5-Omni全模态大模型实战:语音交互与多模态AI开发指南

本文详细介绍了在Unity中集成阿里Qwen2.5-Omni全模态大模型的实战指南。通过C#脚本开发,实现语音交互、图像分析等多模态AI功能,涵盖API调用、音频处理、流式响应解析等核心步骤,为游戏、虚拟人等Unity应用提供沉浸式智能交互解决方案。

weixin_29005499的博客 317

Easticsearch7.4.2加密

1.标题第一步:切换到elastsearch的目录下,使用下列命令生成证书 bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass "" 2.第二步:打开config/elasticsearch.yaml,在尾部添加下面一行代码: xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.t

weixin_47148066的博客 595

自动驾驶仿真工具链集成:ECU TEST与VTD、VERISTAND的深度配置指南

本文详细介绍了自动驾驶仿真测试中ECU TEST、VTD与VERISTAND三大核心工具的深度集成与连接配置方法。通过解析工具链的角色分工,提供从单机到分布式部署的实战指南,并重点阐述了Test Bench Configuration与Test Configuration的关键参数设置、SSH免密登录配置,以及在线与离线工作模式的切换技巧,旨在帮助测试工程师高效构建稳定、自动化的硬件在环测试环境。

wind6的博客 792

Elasticsearch的数据安全:数据加密和数据审计

1.背景介绍 1. 背景介绍 Elasticsearch是一个分布式、实时的搜索和分析引擎,它可以处理大量数据并提供快速、准确的搜索结果。在现代企业中,Elasticsearch广泛应用于日志分析、实时监控、搜索引擎等场景。然而,数据安全和数据审计是企业管理的关键环节,Elasticsearch在这方面的表现也是非常重要。 在本文中,我们将深入探讨Elasticsearch的数据安全,主要关...

AI天才研究院 1117

手把手教你用Excel自动化处理G14大额风险暴露报表(含211版模板)

本文针对G14大额风险暴露报表(含211版)手工填报效率低、易出错的核心痛点,提供了一套基于Excel VBA的完整自动化解决方案。文章详细讲解了如何构建从数据采集、清洗、关联客户识别、风险暴露计算到自动化校验与归档的完整工作流,并附有可操作的代码示例,旨在帮助银行风控人员大幅提升报表处理效率与准确性。

weixin_29304985的博客 451

JLINK/SWD/STLINK下载选项区别

摘要: 本文对比了JLINK/SWD/STLINK的6种下载模式:Normal(硬件复位)、Hot plug(无复位)、Under reset(持续复位后连接)、Software reset(软件复位)、Hardware reset(全复位)和Core reset(内核复位)。重点分析了各模式的操作逻辑、适用场景及注意事项,其中Under reset模式是解决SWD禁用/程序异常的首选方案。通过对比表归纳了复位范围、NRST操作等核心差异,并给出场景选择建议:排查连接问题优先选Under reset,常规调

亚洲程序员盟主得博客 398

es搜索引擎

es

m0_73858774的博客 2546

CentOS7下NFS共享报错RPC问题的3种解决方案(含防火墙配置详解)

本文详细解析了CentOS7下NFS共享报错RPC问题的3种解决方案,包括防火墙配置详解。从基础连通性检查到RPC服务状态验证,再到精准开放必要端口和SELinux集成,提供全面的排查与解决指南,帮助用户快速解决'No route to host'等常见问题。

weixin_29274969的博客 455

【ES】Elasticsearch数据库

Elasticsearch (ES) 是一个开源的、高扩展性的分布式全文搜索引擎,支持近乎实时的数据存储与检索。作为一个分布式NoSQL数据库,它允许多台服务器协同工作,每个服务器可以运行多个ES实例。每个实例称为节点(node),多个节点组成集群(cluster)。

慕白Lee的博客 3699

31、贝叶斯认知建模与隐马尔可夫模型:理论与应用

本文探讨了贝叶斯认知建模与隐马尔可夫模型(HMM)的理论基础及其在认知科学和神经科学中的应用。重点介绍了贝叶斯定理和HMM的基本原理,并结合实际案例,如情绪识别系统和脑机接口(BCI),展示了它们在处理复杂认知任务中的强大能力。文章还讨论了贝叶斯-HMM模型的技术细节、优势与局限性,以及未来的发展前景。

meat5的博客 142

人形机器人电路板和算法分析

人形机器人电路板与算法深度剖析 电路板领域:人形机器人电子系统分为计算、驱动、感知、能源、通信五大模块。主控板采用高性能SoM(如NVIDIA Jetson AGX Orin),需满足严格电源完整性(PDN)与信号完整性(SI)要求;关节驱动板集成MCU、GaN/SiC功率器件及高精度编码器接口,采用刚柔结合PCB以适应狭小空间。挑战包括热-振可靠性(85°C/10G振动)、高密度互连(3mil线宽)及EMC兼容性。 算法领域:运动控制依赖MPC(模型预测控制)与强化学习(RL),实现实时动态平衡;感知算法

几十年资深高级架构师,技术专家的技术笔记。专注C、Java、Python、微服务、云原生、AI工程化及高并发系统分布式架构实战,分享源码剖析、性能调优与架构治理经验。 308

es搜索引擎的持久化机制原理

ES 的持久化机制核心是“Translog 保障数据安全 + Lucene Segment 保障查询性能”写入时:通过 “内存缓冲 + Translog” 实现高吞吐写入,同时确保数据不丢失;查询时:通过 “Refresh 生成内存 Segment” 实现近实时查询;持久化时:通过 “Flush 刷写磁盘 Segment” 实现数据永久存储;优化时:通过 “Segment 合并” 提升查询效率。

2401_89221445的博客 910

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Elasticsearch:ES 的近实时到底是因为什么?一文带你读懂 ES 的 translog refresh flush 原理

这篇文章主要介绍Elasticsearch的索引工作机制,探究它近实时查询的原因。探究它是如何利用translog来保证数据的安全,以及我们在生产环境中如何优化translog的参数来最大化性能。 主要会介绍到elastic中常见的2个操作:refresh和flush,以及这2个接口是如何保证数据能够被检索到的。 WAL translog 数据持久化 数据 fsync 落盘 我们把数据写到磁盘时,通常是先将数据写到操作系统的虚拟文件系统里,也既内存中,然后需要调用fsync才能把虚拟文件系统里的数据刷到磁盘

hugo_lei的博客 4916

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ElasticSearch(超详细解说)[springBoot整合ES并简单实现增删改查]

ElasticSearch简介 ElasticSearch:智能搜索,分布式搜索引擎。 是ELK的一个组成。是一个产品,而且是非常完善的产品,ELK代表的是:E就是ElasticSearch,L就是Logstach,K即使Kibana E:ElasticSearch 搜索和分析的功能; L:Logstach 搜索数据的功能,类似于flume(使用方法几乎跟flume一模一样)。是日志收集系统 K:Kibana 数据可视化(分析),可以用图标的方式来去展示,文不如表,表不如图,是可视化平台。 ElasticS

qq_45039852的博客 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

bool查询原理 es_Elasticsearch Lucene 数据写入原理 | ES 核心篇

前言最近 TL 分享了下 《Elasticsearch基础整理》https://www.jianshu.com/p/e8226138485d ,蹭着这个机会。写个小文巩固下,本文主要讲 ES -> Lucene的底层结构,然后详细描述新数据写入 ES 和 Lucene 的流程和原理。这是基础理论知识,整理了一下,希望能对 Elasticsearch 感兴趣的同学有所帮助。一、Elastics...

weixin_35538148的博客 166

ES常见问题(2)-ElasticSearch怎么样设置账号密码

ElasticSearch怎么样设置账号密码

m0_52887673的博客 1万+

如何在高并发环境下保证Elasticsearch的数据安全和稳定性

综上所述,通过备份恢复策略、分散负载、使用复制分片、监控和警报、安全认证、限制查询请求、使用负载均衡、优化硬件和网络配置、使用持久化存储以及定期更新和修补等措施,可以有效地保证Elasticsearch在高并发环境下的数据安全和。

技术与业务融合思维 428

ElasticSearch的数据安全与访问控制

1.背景介绍 ElasticSearch是一个开源的搜索和分析引擎,它基于Lucene库构建,提供了实时搜索和分析功能。ElasticSearch是一个分布式搜索引擎,可以处理大量数据,并提供高性能和高可用性。 数据安全和访问控制是ElasticSearch中非常重要的方面之一,因为它涉及到数据的保护和安全性。在ElasticSearch中,数据安全和访问控制涉及到以下几个方面: 数据加密...

AI天才研究院 1144

Elasticsearch的数据安全和隐私保护

1.背景介绍 1. 背景介绍 Elasticsearch是一个分布式、实时的搜索和分析引擎,它可以处理大量数据并提供快速、准确的搜索结果。在现代企业中,Elasticsearch广泛应用于日志分析、实时监控、搜索引擎等场景。然而,随着数据的增长和使用范围的扩展,数据安全和隐私保护也成为了关键问题。 本文旨在深入探讨Elasticsearch的数据安全和隐私保护,涵盖了核心概念、算法原理、最佳...

AI天才研究院 797

腾讯云ES AI搜索最佳实践:基于ES与Dify的企业级RAG应用方案

众所周知,RAG 已不再是早期的 Native RAG,而是作为 Agent 中的核心组件,作为企业级应用的决策大脑,是 Agent 获取知识、执行复杂任务的底层支持。本质上是有损压缩,在数学上也是多对一的映射,再加上模型内部的权重是复杂的非线性组合,导致这种转化是物理不可逆的。物理无存储:该服务被定义为“无状态计算单元”,其架构中不包含任何数据库或文件系统,文本流进入内存后,经由模型计算立即转化为向量或分值,原始文本在内存中停留时间以“毫秒”计,计算完成即释放,不留任何痕迹。

cloudbigdata的博客 980

解密ES-Client:让Elasticsearch数据探索变得简单的实战指南

你是否曾在面对Elasticsearch复杂的管理界面时感到无从下手?是否因为Kibana的笨重部署而放弃快速数据查询?或者因为传统工具的陈旧体验而影响工作效率?今天,我们将深入探索ES-Client——这款专为个人开发者和运维人员设计的轻量级Elasticsearch客户端工具,它将彻底改变你对ES数据管理的认知。 ## 🔍 发现痛点:传统ES工具为何让人头疼? ### 部署复杂性的困扰

gitblog_00567的博客 410
上一篇: 单集群1万节点!腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证...
下一篇: 腾讯云升级发布新一代云数仓产品 CDW ClickHouse,万亿规模数据分析毫秒级响应...
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值