Ambari 操作指南 (Ambari Operations) 之三

Ambari 详细使用案例 Ambari 是一款开源的工具,旨在帮助用户管理和监控 AWS 云环境中的虚拟机、容器和其他资源。它提供了一个易于使用的界面,可以帮助用户快速部署和管理云环境中的资源。部署和管理虚拟机和容器。监控和管理云环境中的资源。提供易于使用的界面和 API,方便用户进行资源的管理和监控。支持多种 AWS 服务,如 EC2、EBS、ELB 等。 阅读详情

继 (Ambari 操作指南 (Ambari Operations) 之二 :      https://blog.youkuaiyun.com/devalone/article/details/80800262 )

 

6 管理配置 (Managing Configurations)


可以通过调整配置设置和属性值来优化集群上的 Hadoop 组件的性能。也可以利用 Ambari Web 通过如下方法,来建立和管理配置分组及配置设置的版本:

    • Changing Configuration Settings
    • Manage Host Config Groups
    • Configuring Log Settings
    • Set Service Configuration Versions
    • Download Client Configuration Files



6.1 修改配置设置 (Changing Configuration Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
可以通过每一个服务的 Configs 页面优化服务性能。Configs 页面包含几个选项卡,用于管理配置版本,分组,设置,属性和值。可以调整设置,称为
"Smart Configs" 在宏级别(macro-level) 进行控制,每个服务的内存分配。调整 Smart Configs 要求相关配置的设置修改整个集群范围。Ambari 提示检验
并确认所有建议的修改并重启相关服务。

步骤:
    ①    在 Ambari Web 中,在左侧的服务列表上单击服务名称
    ②    从服务的 Summary 页面,单击 Configs 选项卡,然后利用如下选项卡管理配置设置
        
        利用 Configs tab 管理配置版本和分组
        利用 Settings tab 管理 "Smart Configs", 通过调整绿色的滑动按钮
        利用 Advanced tab 编辑特殊配置属性和值

    ③    单击 Save



6.1.1 调整智能配置设置 (Adjust Smart Config Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Settings tab 管理 "Smart Configs", 通过调整绿色滑动按钮

步骤:
    ① 在 Settings tab, 单击并拖拽绿色滑动按钮到理想值

    ② 编辑显示为 Override 选项的属性

    ③ 单击 Save



6.1.2 编辑特定属性 (Edit Specific Properties)
-----------------------------------------------------------------------------------------------------------------------------------------
利用每个服务 Configs 页面的 Advanced tab 访问影响该服务性能的属性组

步骤:
    ① 在服务的 Configs 页面,单击 Advanced
    
    ② 在 Configs Advanced 页面,展开类别
    
    ③ 编辑属性值

    ④ 单击 Save


6.1.3 检验并确认配置修改 (Review and Confirm Configuration Changes)
-----------------------------------------------------------------------------------------------------------------------------------------
当修改了一个配置属性值是,Ambari Stack Advisor 捕捉到修改,并建议修改受此修改影响的所有相关的配置属性。修改一个属性,一个 "Smart
Configuration", 以及其他动作,例如添加或删除一个服务、主机或 ZooKeeper server, 或迁移一个 master, 或者启用一个组件的高可用性,所有要求检验
(review)并确认相关配置的修改。例如,如果提升 YARN 的 Minimum Container Size (Memory), Dependent Configurations 列出所有建议的修改,对此必须
检验(review) 并(可选地)接受(accept)。

修改的类型突出显示为如下颜色:

    值修改                :黄色
    添加的属性             :绿色
    删除的属性             :红色

检验并确认配置属性修改

步骤:
    ①    在 Dependent Configurations, 对于每个列出的属性检验摘要信息
    ②    如果这个修改可以接受,继续检验列表中的下一条属性
    ③    如果这个修改不可接受,单击属性前边的蓝色复选框标记
        单击复选框标记会清除复选框,清除复选框的修改是没有确认的,并且也不会发生修改
    ④    检验所有列出的修改之后,单击 OK 以确认所有标记的修改会发生



6.1.4 重启组件 (Restart Components)
-----------------------------------------------------------------------------------------------------------------------------------------
编辑并保存配置修改之后,一个 Restart 指示器会出现在组件旁边要重启以利用更新的配置值

    ①    单击指示的 Components 或 Hosts 链接来查看有关请求重启的细节

    ②    单击 Restart 然后单击适宜的动作


    
6.2 管理主机配置分组 (Manage Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 初始将所有安装的服务分配集群上所有主机到一个默认的配置分组。例如,使用默认配置部署一个三个节点的集群,HDFS 服务的每个主机都属于一个
具有默认配置设置信息的配置组。

    ● 管理配置分组:
    
    ①    单击服务名称,然后单击 Configs
    
    ②    在 Configs 页面,单击 Manage Config Groups
    
    ● 要创建一个新配置组,重新分配主机,并覆盖主机组件的默认设置,可以利用 Manage Configuration Groups 控件:

    ①    在 Manage Config Groups 中, 单击 Create New Configuration Group 的 + 符号按钮
    ②    命名并描述配置组的名称,然后选择 OK
    
    
    ● 向新的配置组中添加主机
    
    ①    在 Manage Config Groups 中,单击配置组名称
    ②    单击 Add Hosts to selected Configuration Group + 符号按钮
    ③    利用 Select Configuration Group Hosts, 单击 Components, 然后从列表中单击一个组件名称
        
        选取一个组件过滤主机列表,只有所选服务组件存在的主机会列出。要进一步过滤可用主机名称列表,可以利用 Filter 的下拉列表。默认情况系,
        主机列表通过 IP 地址过滤
        
    ④    过滤主机列表之后,单击每个要包含进配置分组主机的复选框
    
    ⑤    单击 OK
    
    ⑥    在 Manage Configuration Groups 中,单击 Save


    ● 编辑配置分组设置

    ①    在 Configs, 单击组名称
    ②    单击一个 Config Group, 展开组件找到允许 Override 的设置
    ③    提供一个默认值,然后单击 Override 或 Save
        配置组强制配置属性允许覆盖,取决于所选服务和组安装的组件
    
    ④    Override 提示选取如下选项之一:
        
        a. 或者单击一个已存在配置组的名称,属性值被第三步提供的值覆盖
        b. 或者创建一个新的配置组,包含默认值,加上被第三步提供的值覆盖的值
        c. 单击 OK.

    ⑤    单击 Save



6.3 配置日志设置 (Configuring Log Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 利用 Log4j properties 属性集控制 Hadoop 集群上运行的每一个服务的日志活动。最初,每个属性的默认值在 <service_name>-log4j template
模板文件中。Log4j 的属性和值限制了日志文件的大小和日志文件备份的数量,每个服务会超过 log4j 模板文件的设置。要访问每个服务默认的 Log4j 设置,
在 Ambari Web 中,浏览到 <Service_name> > Configs > Advanced <service_name>-log4j

    ● 修改一个服务的日志文件大小和备份数量:
    
    ①     编辑 <service_name> backup file size 以及 <service_name> # of backup files 属性值

    ②     单击 Save

    ● 自定义一个服务的 Log4j 设置:
    
    ①    在 <service_name> log4j template 中编辑属性
    ②    复制 log4j 模板文件内容
    ③    浏览到 custom <service_name>log4j 属性组
    ④    将复制到内容粘贴到 custom <service_name>log4j properties, 覆盖掉默认掉内容
    ⑤    单击 Save
    ⑥    提示时,检验并确认建议的配置修改
    ⑦    如果提示,重启受影响的服务
    
    重启服务中的组件会推送显示在 Custom log4j.properites 中的配置属性到每一部运行该服务组件的主机。

    如果自定义了日志属性,定义每个服务怎样的活动记入日志,需要刷新每个服务名称前的指示器。确保显示在 Custom logj4.properties 中的日志属性
    包含自定义信息。
    
    可选地,可以创建配置组来包含自定义日志属性。
    
    
6.4 设置服务配置版本 (Set Service Configuration Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 可以管理配置相关的服务。可以修改配置信息,查看修改历史,比较并恢复修改,以及推送配置变化到集群主机



6.4.1 基本概念 (Basic Concepts)
-----------------------------------------------------------------------------------------------------------------------------------------
理解 Ambari 中服务配置如何组织和存储非常重要。属性分组成配置类型,一系列配置类型组成了一个服务的配置集。

例如, Hadoop Distributed File System (HDFS) 服务包括 hdfs-site, coresite, hdfs-log4j, hadoop-env, and hadoop-policy 配置类型。如果浏览到
Services > HDFS > Configs, 可以编辑这些配置类型的配置属性。

Ambari 在服务级别执行配置版本化。因此,当在一个服务上修改一个配置属性时,Ambari 创建一个服务配置版本。



6.4.2 术语 (Terminology)
-----------------------------------------------------------------------------------------------------------------------------------------
配置属性(configuration property)        : 配置属性由 Ambari 管理,例如 NameNode 堆大小和复制因子
配置类型(configuration type, config type): 配置属性的组,例如,hdfs-site
服务配置(service configurations)        : 特定服务的配置类型集,例如,hdfs-site 和 core-site 作为 HDFS 服务配置的一部分
修改注释(change notes)                    :作为服务配置修改可选的注释
服务配置版本(service config version, SCV)    : 特定服务的一个配置版本
主机配置组(host config group, HCG)        : 一系列配置属性应用到一个特定的主机集合


6.4.3 保存修改 (Saving a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
    ①    在 Configs, 修改某一配置属性的值
    ②    选择 Save
    ③    可选地,输入描述修改地注释
    ④    单机 Cancel 继续编辑,单击 Discard 保持控件没有任何修改,或者单击 Save 确认修改



6.4.4 查看历史 (Viewing History)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari Web 中,可以在两个位置查看配置变化历史:Dashboard 页面的 Config History tab, 和每个服务页面的 Configs tab

Dashboard > Config History tab 页面显示一个所有服务所有版本的表格,每个版本的号码和创建的时间日期。也可以看到是哪个用户修改的配置,以及修改
的注释。使用这个表格,可以过滤,排序,以及搜索版本。

Service > Configs tab 页面只显示最近配置的修改,当然也可以使用版本滚动条查看更早版本。利用这个选项卡可以快速访问服务最近的配置修改

利用这个视图,可以单击滚动条内的任何版本来查看,也可以将鼠标指针悬停在版本上以显示一个选项菜单,可以进行版本比较和执行恢复操作,可以选定
任何一个最为当前版本。


6.4.5 比较版本 (Comparing Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
当在 Services > Configs tab 页面浏览版本滚动时,可以将鼠标指针悬停在版本上显示 view, compare, or revert (make current) 选项。

比较两个服务配置版本:

    ①    导航到某个配置版本,如 V6
    ②    利用版本滚动条,找到要与 V6 进行比较到版本,利润 V2
    ③    将鼠标指针悬停在 V2 上显示选项菜单,然后单击 Compare.

Ambari 显示 V6 和 V2 的比较,伴随一个 revert to V2 ((Make V2 Current) 的选项。Ambari 也在 Filter 控件新,通过 Changed properties 过滤显示



6.4.6 恢复修改 (Reverting a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
通过 Make Current 特性可以恢复到一个旧的服务配置版本。Make Current 从选择恢复的版本上,创建一个新的服务配置版本,效果上,相当于一个克隆

启动 Make Current 操作后,在 Make Current Confirmation 提示上,输入注释并保存(Make Current)

有多种方法可以恢复到一个之前的配置版本:

    ● 查看一个特定的版本,然后单击 Make V* Current:
    ● 使用版本导航,然后单击 Make Current
    ● 将鼠标指针悬停到版本滚动条中到一个版本,然后单击 Make Current
    ● 执行版本比较,然后单击 Make V* Current



6.4.7 主机配置组 (Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
服务配置版本作用域范围是到一个主机配置组。例如,在默认组中的修改可以在那个配置组中被比较和恢复,自定义组中也应用同样的方式。








6.5 下载客户端配置文件 (Download Client Configuration Files)
-----------------------------------------------------------------------------------------------------------------------------------------
客户端配置文件包括:.xml 文件, env-sh 脚本, 以及 log4j 属性用于配置 Hadoop 服务。对于包括客户端组件的服务(大多数服务,除了 SmartSense 和
Ambari Metrics 服务),可以下载与那个服务相关联的客户端配置文件。也可以下载整个集群的客户端配置文件作为一个存档文件。

● 为单一服务下载客户端配置文件:

步骤:
    ①    在 Ambari Web 中,浏览到想要配置到服务
    ②    单击 Service Actions
    ③    单击 Download Client Configs
        
    浏览器下载一个 "tarball" 存档文件只包含选定服务的客户端配置文件到浏览器默认的,本地下载目录
    
    ④    如果提示保存或打开客户端配置文件    
    ⑤    单击 Save File, 然后单击 OK
    
● 要为整个集群下载所有客户端配置文件

    ①    在 Ambari Web, 在服务列表底部单击 Actions
    ②    单击 Download Client Configs

    浏览器下载一个 "tarball" 存档文件包含集群所有客户端配置文件到浏览器默认的,本地下载目录



7 管理集群 (Administering the Cluster)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Ambari Web Admin 选项:

任何用户(any user)                    : 可以查看有关安装栈和加入其中的每个服务版本的信息

集群管理员(Cluster administrators)    : 能够
                                    • 启用 Kerberos 安全性
                                    • 重新生成 key tabs
                                    • 查看服务用户帐号的名称和值
                                    • 启用服务的自动启动

Ambari administrators                :能够
                                    • 添加新服务到安装栈
                                    • 升级安装栈到一个新的版本            




7.1 利用安装栈和版本信息 (Using Stack and Versions Information)
-----------------------------------------------------------------------------------------------------------------------------------------
Stack tab 包含有关集群栈中已安装和可用的服务。任何用户都可以浏览服务列表。作为 Ambari 系统管理员,可以单击 Add Service 来启动向导来安装
服务到集群中。

Versions tab 包含有关哪个版本的软件当前已安装并运行在集群中的信息。作为集群管理员,可以在此页启动一次自动集群更新。



7.2 查看服务账号 (Viewing Service Accounts)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以查看集群服务的服务用户和用户组账号列表。

在 Ambari Web UI > Admin, 单击 Service Accounts



7.3 启用 Kerberos 和重新生成 Keytabs (Enabling Kerberos and Regenerating Keytabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以在集群上启用并管理 Kerberos 安全性。

前提准备:
    在集群上启用 Kerberos 之前,必须为集群做好准备,如下列新所描述:
    
    https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-security/content/ch_configuring_amb_hdp_for_kerberos.html


步骤:
    在 Ambari web UI > Admin 菜单,单击 Enable Kerberos 启动 Kerberos 向导

Kerberos 启用之后,可以在 Ambari web UI > Admin 菜单,重新生成 key tabs 以及禁用 Kerberos


7.3.1 重新生成 Keytabs (Regenerate Key tabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以再生维护 Kerberos 安全性要求的 key tabs


前提准备:
    再生 key tabs 之前:

    ● 集群必须 Kerberos-enabled
    ● 必须有 KDC Admin 凭证

步骤:
    ①    浏览到 Admin > Kerberos
    ②    单击 Regenerate Kerberos.
    ③    确认选择
    ④    Ambari 连接到 Kerberos Key Distribution Center (KDC) 并为服务和集群到 Ambari 负责人再生 key tabs. 可选地,可以只为那些丢失连 key
        tab 的主机生成 key tab, 例如,为那些在 Ambari 启用 Kerberos 时不在线或不可用的主机再生。
    
    ⑤    重启所有服务
    
    
7.3.2 禁用 Kerberos (Disable Kerberos)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以在集群上禁用 Kerberos

前提:
    禁用 Kerberos 安全性之前,集群必须已经是 Kerberos-enabled
    
步骤:
    ①    浏览到 Admin > Kerberos
    ②    单击 Disable Kerberos
    ③    确认选择
        集群服务停止,并且 Ambari Kerberos 安全性设置重置
    
    ④  要重新启用 Kerberos, 单击 Enable Kerberos 并跟随向导
    
    
    
7.4 启用服务自动启动 (Enable Service Auto-Start)
-----------------------------------------------------------------------------------------------------------------------------------------    
作为集群管理员或集群操作员,可以启用安装栈内每一个服务自动重启。一个服务启用了 auto-start 会使 ambari-agent 不需要用户手工作用重新启动
停止状态的服务组件。auto-start 服务默认是启用的,但只有 Ambari Metrics Collector 组件默认设置为 auto-start。

作为第一步,应该在核心 Hadoop 服务的工作节点上启用 auto-start, 例如 YARN 和 HDFS 的 DataNode 以 NameNode 组件。 也应该在 SmartSense 服务中
为所有组件启用 auto-start. 启用 auto-start 之后,在 Ambari Web 表盘中监控服务的操作状态。Auto-start 不会尝试显示为后台操作。诊断服务组件的
失败启动,检查 ambari agent 的日志文件,位于组件主机的 /var/log/ambari-agent.log
    
管理一个服务的组件 auto-start 状态

步骤:
    ①    在 Auto-Start Services 上,单击一个服务名称
        
    ②    在 Auto-Start Services 控件的至少一个组件,单击灰色区域,使其状态变为 Enabled
    
        服务名称右侧的绿色图标指示该服务启用了 auto-start 的组件的百分比
        
    ③    要启用服务的所有组件为 auto-start, 单击 Enable All
    
        绿色图标填满指示该服务的所有组件启用了 auto-start
        
    ④    要禁用服务所有组件的 auto-start, 单击 Disable All
    
        绿色图标清空指示该服务的所有组件禁用了 auto-start
        
    ⑤    要清除所有未定的状态改变,在保存它们之前,单击 Discard
    
    ⑥    结束修改 auto-start 状态设置时,单击 Save.
    
禁用服务当 auto-start :
    
    ①    在 Ambari Web, 单击 Admin > Service Auto-Start
    ②    在 Service Auto Start Configuration 中, 在 Auto-Start Services 控件上,单击灰色区域,使其状态由 Enabled 变为 Disabled

    ③    单击 Save

 

 

 

 

 

参考:

        Ambari 操作指南 (Ambari Operations) 之一

        Ambari 操作指南 (Ambari Operations) 之二

        Ambari 操作指南 (Ambari Operations) 之三

        Ambari 操作指南 (Ambari Operations) 之四

        Ambari 操作指南 (Ambari Operations) 之五

        Ambari 操作指南 (Ambari Operations) 之六

 

 

 

 

ambari全攻略流程,认识ambari(一) ambari介绍 Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI,由其 RESTful API 提供支持。 Ambari 使系统管理员能够: 配置 Hadoop 集群 – Ambari 提供了一个分步向导,用于在任意数量的主机上安装 Hadoop 服务。 – Ambari 为集群处理 Hadoop 服务的配置。 管理 Hadoop 集群 – Amb 阅读详情

相关推荐

关于BackgroundWorker进度报告时界面进度不能正常显示的问题

当后台任务进行时,需要在主程序给个延迟以保证后台在刷新进度显示时有足够时间显示出来 所以要在主进程里走进度,而不是BackgroundWorker的通知 举例如下: 1. 声明一个后台任务 readonly BackgroundWorker bgWorker; 2. 设置任务 /* ---------- 设置线程任务 ---------- */ bgWorker = new Ba...

FireGhost57的专栏 1133

Ambari2.7.0 + HDP3.1.4.0安装,hdfs数据备份和恢复,hive数据备份和恢复,hbase数据备份和恢复,常见错误总结,Ambari卸载,hadoop-ha,hive和ES整合

目录 1 Ambari + HDP离线安装 1.1 介绍 1.1.1 Ambari介绍 1.1.2 HDP 1.1.3 HDP-UTILS 1.2 登录ambari官网地址 1.3 Ambari和HDP下载 1.4 系统要求 1.4.1 软件需求 1.5 修改打开文件的最大数量 1.6 集群节点规划 1.7 防火墙设置 1.8 关闭selinux 1.9 安装jdk 1.10 设置hostname...

涂作权的博客 2万+

Ambari 安装部署教程(手把手教学)【超级详细】

本文为读者提供了一套超详细的 Apache Ambari 安装部署教程,采用手把手教学方式,适合初学者及大数据运维人员。内容涵盖前期准备、环境配置、Ambari Server 与 Agent 安装、集群初始化配置、常见问题排查等全流程操作,确保用户能够顺利搭建稳定的 Hadoop 大数据平台管理系统。

Five的博客 1万+

【史上最全】Ambari 大数据集群运维与管理操作指南

作 用 Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性, Apache Ambari 从集群节点和服务收集了大量的信息,并把它们表现为容易使用的,集中化的接口:Ambari Web 功 能 显示诸如服务特定的摘要、图表以及警报信息 创建和管理 HDP 集群并执行基本的操作任务,例如启动和停止服务,向集群 中添加主机,以及更新服务配置 执行集群管理任务,例如启用 Kerberos 安全以及执行 St

大数据研习社 7326

Apache Ambari 2.6.1.5 操作指南

Apache Ambari 2.6.1.5 操作指南,英文原版操作手册,适用于 HDP-2.6.4.0, Hadoop 2.7.3, HBase 1.1.2

泛微E9表单建模查询列表勾选后带入流程明细表中

注意:参照下图各项配置,否则会有问题。

泛微二次开发后端知识总结 5311

Ambari 操作指南 (Ambari Operations) 之一

1. Ambari 操作指南: 概述 (Ambari Operations: Overview) Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性, Apache Ambari 从集群节点和服务收集了大量的信息,并把它们表现为容易使用的,集中化的接口:Ambari Web Ambari Web 显示诸如...

devalone 的专栏 1万+

Obsidian跨设备同步实战:阿里云OSS与Remotely Save插件配置指南

本文详细介绍了如何利用阿里云OSS对象存储与Remotely Save插件,为Obsidian笔记软件搭建一个低成本、高可靠性的私有化多端同步方案。从创建OSS Bucket、配置CORS规则、生成子账户密钥,到插件安装与多设备同步策略,提供了完整的实战配置指南,有效解决Obsidian用户的跨设备同步痛点。

qsc901234567的博客 1284

Ambari 操作指南 (Ambari Operations) 之二

(继  Ambari 操作指南 (Ambari Operations) 之一  https://blog.youkuaiyun.com/devalone/article/details/80781652)   5. 管理服务高可用性 (Managing Service High Availability) Ambari web 提供了向导驱动的用户体验,可以配置一些 Hortonworks Data ...

devalone 的专栏 5793

利用Arcgis提取nc数据并计算区域年均温

1.下载数据。2.解压数据至不含中文的路径中。打开工具箱中的多维分析工具-创建NetCDF栅格图层,导入数据。3.打开工具箱中的数据管理工具-图层和表视图-创建栅格图层,导入数据,对输出数据进行命名,得到月均温栅格数据。4.选择工具箱-Spatial Analyst工具(空间分析工具)-地图代数-栅格计算器,计算全国一年年均温。​5.将其导出为.tif格式数据,方便后期使用。6.选择工具箱-Spatial Analyst工具(空间分析工具)-区域分析--以表格显示分区统计,得到分区域的气温数据。

什么都学亿点点的博客 7993

FPGA人脸识别检测(先获取人脸图像以及灰度二值化)

由于图片有空洞等缺陷,所以后面要进行中值滤波、腐蚀、膨胀等算法处理,然后再对人脸进行框选,最后显示出来。最终的成像应该是下面这样的。(后面有时间再接着做哈哈哈)5、通过modelsim将操作后的图片数据写入gray_img.txt里面后,用matlab将txt转成图片。1、先用matlab将图片转换成txt数据,代码如下。读取图片的方式按照博客咸鱼里的方式来做,如下。2、FPGA读取txt数据。4、FPGA顶层模块及仿真。3、FPGA灰度二值化。

weixin_46312715的博客 2531

Ambari 操作指南 (Ambari Operations) 之四

继  (Ambari 操作 (Ambari Operations) 之三 :      https://blog.youkuaiyun.com/devalone/article/details/80813176 )8 启用服务自动启动 (Managing Alerts and Notifications)-----------------------------------------------------...

devalone 的专栏 1万+

电子货架标签应用浅析(ESL)

​【 关注与分享,是对原创最大的鼓励 】 年底了,会断续介绍几个主要的BLE的应用及市场情况,这篇文章介绍的是电子货架标签, ESL (Electronic Shelf Label)。 文章将从应用简介,市场规模,产业链,头部玩家及系统框架进行介绍。只对技术感兴趣的可以直接拉到底。 ESL简介 ESL,是一种显示产品,其主要是替代传统的纸质标签,应用于大型商超,...

iotthings的博客 4691

Ambari 操作指南 (Ambari Operations) 之五

继  (Ambari 操作 (Ambari Operations) 之四 :      https://blog.youkuaiyun.com/devalone/article/details/80826036 )9. 使用 Ambari 核心服务 (Using Ambari Core Services)-----------------------------------------------------...

devalone 的专栏 2964

当R语言遇见MaxENT:参数优化的艺术与自动化调参实践

本文探讨了R语言与MaxENT在生态位建模中的结合应用,重点介绍了参数优化与自动化调参的实践方法。通过caret与ENMeval工具链,研究人员可以高效处理多物种、多环境变量的大规模分析任务,提升模型性能与工作效率。文章还涵盖了从数据准备到结果可视化的全流程,为生态学家提供了实用的技术指导。

corn8的博客 455

非洲秃鹫优化算法(AVOA)详解:从原理到实战

非洲秃鹫优化算法(AVOA)是一种模拟秃鹫觅食行为的元启发式算法。该算法通过数学建模秃鹫的群体分工、饥饿感知和食物竞争等行为,将优化问题转化为智能觅食过程。AVOA包含四个关键阶段:(1)种群初始化与最佳秃鹫选择;(2)饥饿率控制探索与开发平衡;(3)探索阶段模拟远距离飞行搜索;(4)开发阶段模拟食物源附近的竞争行为。算法采用饥饿率函数实现自适应搜索,初期偏向全局探索,后期转向局部开发。实验表明AVOA在标准测试函数和工程设计问题上表现出优越性能,其创新性在于将秃鹫独特的生物学特性转化为高效的优化机制。

qq_42212808的博客 229

Ambari 操作指南 (Ambari Operations) 之六

继  (Ambari 操作指南 (Ambari Operations) 之五 )   9.2 Ambari 日志搜索 (Ambari Log Search, Technical Preview) 下面几节描述 Ambari Log Search 的技术概览(Technical Preview), 只能在少于 150 个节点的非生产环境集群上使用。   9.2.1 Ambari 日志搜索体系结...

devalone 的专栏 5782

面向业务角色的 SAP Fiori Space 与 Page 创建全流程实战指南

业务角色导航设计:从Space与Page规划到实施 摘要:本文探讨了SAP S/4HANA Cloud和BTP ABAP环境中基于业务角色的导航设计方法。传统Fiori Launchpad的Group+Tile模式存在应用堆积问题,而新的Space与Page模型将导航按工作领域(如应付会计、销售代表)组织,每个Space包含多个任务导向的Page。文章详细介绍了从业务角色建模到Space/Page创建、分配的完整流程,包括核心概念解析、规划思路和具体操作步骤。重点阐述了如何根据业务需求选择创建方式(基于预交

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 186

Ambari在线repo安装

1、虚拟机建立两台电脑,分别为hdp01和hdp02. 2、服务器基本设置vim /etc/hosts 192.168.1.210 hdp01 192.168.1.220 hdp02 vim /etc/selinux/config SELINUX=disabled vim /etc/sysconfig/network HOSTNAME=hdp01 #主机名分别为hdp01, hdp

li575098618的专栏 3343

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Ambari Metrics监控界面不显示问题

解决方案一:修改配置中的参数->在configs中(亲测有效) #修改下面的value Metrics Service operation mode = embedded hbase.cluster.distributed=false #更改为: hbase.cluster.distributed=true Metrics Service operation mode = distributed 按推荐值保存后:->重启Ambari Metrics组件 解决方案二: 删除(删除重启后自动生成

lcm_linux的博客 1418

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Step by Step Recipe for Securing Kafka with Kerberos

Short Description: Step by Step Recipe for Securing Kafka with Kerberos. Article I found it is a little tricky to get started with a Kerberos enabled Kafka cluster. I created this step by...

weixin_30687051的博客 108

Hadoop集群的执行作业时一直卡着不动问题的解决

现象描述:当我们搭建好集群之后,初次执行hadoop作业时成功的,但是过了一段时间之后会一直卡着不能继续执行,想要重启集群,但是考虑到可能会造成数据丢失,这种情况下该怎么办呢。 现象如下: 20/08/04 11:02:53 INFO input.FileInputFormat: Total input paths to process : 1 20/08/04 11:02:53 INFO mapreduce.JobSubmitter: number of splits:1 20/08/04 11:02:5

qq_44982182的博客 3251

Ambari WebUI-集群管理操作使用说明

【总览】【集群操作】【配置文件下载】【图表操作】【图表时间配置】【集群总体监控图表】Memory Usage:整个集群的内存使用情况,包括 cached,swapped,used,和shared。Network usage:整个就群的网络流量,包括上行和下行;CPU Usage:集群的CPU使用情况;Cluster Load:集群整体加载信息,包括节点数目,总CPU个数,正在运行的进程【HDFS层面】左图:整个集群的磁盘使用情况。右图:DFS的使用情况;non DFS的使用情况;

杜海的博客 1982

ambari使用最全面解析

大家好,我是binso,之前在【知乎】上发表这个文章,也是我,谢谢!!!其他更多关于大数据的使用和交流,请加QQ群讨论:主要是spark kudu impala hbase hive kafka等1.ambari安装准备1.1 准备安装包安装文件下载:ambari地址:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2...

爱自立--专业博客 9684

Ambari Auto Start(进程自动拉起)

文章作者:luxianghao 文章来源:http://www.cnblogs.com/luxianghao/p/7886850.html 转载请注明,谢谢合作。 免责声明:文章内容仅代表个人观点,如有不当,欢迎指正。 --- 一 引言Ambari作为一个集群管理工具自然不能少了进程自动拉起这个功能,具体的场景就是 1 当你的进程异常挂掉后,Ambari...

weixin_30367543的博客 606

Ambari启用HDP服务的自动重启/恢复?

作为群集管理员或群集操作员,您可以启用堆栈中的每个服务以自动重新启动。启用服务的自动启动会导致ambari-agent尝试在停止状态下重新启动服务组件,而无需用户手动操作。作为第一步,您应该为核心Hadoop服务中的工作节点,YARN和HDFS中的DataNode和NameNode组件启用自动启动。您还应该为SmartSense服务中的所有组件启用自动启动。启用自动启动后,在Ambari...

qq_21153619的博客 4693
上一篇: Ambari 操作指南 (Ambari Operations) 之二
下一篇: Ambari 操作指南 (Ambari Operations) 之四
devalone
博客等级 码龄17年 108粉丝 80原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值