准备集中做一些事情

最新推荐文章于 2022-09-04 15:41:07 发布
原创 最新推荐文章于 2022-09-04 15:41:07 发布 · 760 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

准备集中做一些事情

一个大型集中项目的性能测试实例(下)
03-23
一个大型集中项目的性能测试实例(下)软件测试4....测试环境　测试环境的部署和维护是一件需要详细策划的事情，部署了合理的测试环境是测试达到目标效果的前提条件。一般来说，在考虑部署和维护测试环境时，需要考虑以下
新员工集中培训心得体会精选.doc
10-11
培训前期的准备工作充分体现了所领导对我们的关注，他们为我们安排了完善的衣食住行，确保我们能够全身心投入学习。在迎新见面会上，所领导的欢迎词以及各级负责人的详细介绍，使我感受到了组织的温暖和对新员工的...
PrimeUI介绍
海瑟天涯
10-25 370
作者：chszs，转载需注明。作者博客主页：http://blog.youkuaiyun.com/chszs PrimeFaces团队最近宣布一个新的分拆项目——PrimeUI，它来自PrimeFaces项目。 PrimeUI是一套JavaScript Widget控件，可用于创建UI。PrimeUI是把原PrimeFaces的组件进行解耦，提取出来的JS控件可以用于PHP、ASP、Wicket、GWT等等的...
阿里双十一大促，技术准备只做了这两件事情？
gb4215287的博客
04-11 4452
来源:https://yq.aliyun.com/articles/73185?utm_campaign=wenzhang&utm_medium=article&utm_source=QQ-qun&201746&utm_content=m_16234 摘要： 双十一的技术准备在做两件事情：第一是系统的准备尽可能的接近真实，包括容量确定性和资源的确定性；第二是整个过程中的效率，包括人和单位
为时间序列分析准备数据的一些简单的技巧
deephub
05-23 6418
每个时间序列(TS)数据都装载有信息;时间序列分析(TSA)是解开所有这些的过程。然而，要释放这种潜力，需要在将数据放入分析管道之前对其进行适当的准备和格式化。 TS可能看起来像一个简单的数据对象，易于处理，但事实是，对于新手来说，在真正有趣的事情开始之前，仅仅准备数据集就可能是一项艰巨的任务。 因此，在本文中，我们将讨论一些简单的技巧和技巧，以获得准备好分析的数据，从而潜在地节省大量工作时间。 找到数据 如果您正在使用自己的数据集进行分析，那么您已经拥有了它。但是对于那些刚刚学习TSA的人来说，找到正确的
回顾大一|我们要做的是提前准备，而不是提前焦虑
只想和你一起进步
09-04 4237
我们要做的是提前准备，而不是提前焦虑。如果文章能引发你的一些思考，那便是最大意义。
服务器数据库维护需要做哪些,数据库运维究竟需要做什么?
weixin_35346761的博客
08-06 7741
数据库是存放数据、经常是那些高敏感度数据的宝库，因此它也毫无疑问的是合规检查程序的重点区域。几乎所有的企业合规都会对哪些人、能在什么时间、访问什么数据库作出规定，并且需要一个专职人员来管理这些权限。那么，作为管理数据库的专职人员，需要做些什么呢？下面来了解一下~一.数据库生命周期结合软件生命周期、项目的开展，数据库的生命周期，大致可分为这么几个阶段。1.规划在立项后，对于数据库平台的软硬件选型，以...
如何做职业规划并进行求职准备（持续更新）
热门推荐
08-03 2万+
读《这些道理没有人告诉过你》的职业规划思考 1.根据初步判断，我最适合的职位应该是软件测试工程师 2.根据初步判断，我最适合的行业应该是软件测试行业?互联网行业？互联网金融行业？电商行业？（不太清楚行业的分类，暂时先这么写吧） 3.根据职位与行业，我选定的目标公司应该是： 最高目标公司三家：阿里巴巴集团 、天猫 、京东 （亚马逊、沃尔玛百货公司、 苏宁云商集团股份有...
测试工程师需要准备哪些知识
小菜鸡
10-13 5265
零基础测试工程师的必备技能概述测试基础理论软件测试的分类研发管理模型测试流程测试方法（比较重要的测试方法）（用来设计测试用例）BUG的管理测试的应用总结 概述 本文会记录一些本人有关于测试工程师岗位的学习的整个过程和理解，如有错误或不足欢迎指正。下文会从测试基础理论，测试的工具学习，代码学习，自动化几个方向记录。测试，文档，编程能力 软件测试工程师实际上是看预期结果和实际结果是否相符 软件测试的发展历程 证明软件测试是正确的：因为初期的软件产出很不稳定，证明软件的功能是可以运行的。 证明软件测试是错误的：
Kaldi学习之数据准备详细解释说明
llearner的博客
08-25 1万+
文章对Kaldi数据准备做更详细的解释，如有错误，还请指正。 数据基本源自Kaldi官网：http://www.kaldi-asr.org/doc/data_prep.html数据准备详细介绍 在run.sh中有数据准备各个阶段的脚本。 例子中的local/文件夹下是数据准备专用的一些东西。 比如RM下的脚本run.sh部分内容：local/rm_data_prep.sh /export/c
研究生期间如何做研究：一些建议
CHIERYU的专栏
01-18 1万+
这篇文章翻译自《How to do Graduate-level Research: Some Advice》。1. 介绍这篇文章是为了给研究生，尤其是博士研究生提供些有用的建议的，你们即将开始在USC的电子工程系统部门的自动网络研究组开始你们研究生涯。希望这篇文章也能给在其他机构相同研究领域的研究生提供有用的帮助。 没有经验的研究生通常对研究的本质存有误区。例如，他们认为搞研究跟上课一样相似或只
SICATR PLM项目实施前需要做的事情.pdf
05-12
明确项目的目标可以帮助团队集中精力，确保资源的合理分配和运用。同时，界定项目范围能够有效避免实施过程中的范围蔓延，即项目范围超出了最初的计划，导致资源浪费和时间延误。 其次，进行彻底的现状评估。企业...
如何把事情做漂亮主管入门教程.pptx
10-14
本教程将引导我们深入理解如何将事情做得漂亮，从项目的基本概念到实际操作技巧，全方位提升项目管理水平。 首先，我们需要明确项目的定义。项目是以一组相互关联的任务为载体，有效利用资源，为达成特定目标而进行...
关于SetLength报Out of memory的研究及解决办法
指尖上的探戈!
01-12 2400
关于SetLength报Out of memory的研究及解决办法 最近在做一个GIS系统， 在读GIS数据时采用了动态数组，突然读一个数据时SetLength报错！Out of memory 仔细研究了代码， 发现代码没有问题。问题应该动态数组的问题。 接下来查看各种资料，发现也有一些人发现了类似的问题，一般认为是频繁SetLength造成的, 具体为什么为造成错
WebXone V2400 Sp1发布！
指尖上的探戈!
05-10 1832
WebXone V2.4.0.0发布！ WebXone是一个面向RIA（Rich Internet Applications，富互联网应用）的快速开发平台。是集桌面应用程序的最佳用户界面功能与Web应用程序的普遍采用和快速、低成本部署及互动多媒体通信的实时快捷于一体的新一代网络应用程序。采用WebXone技术，可以用Delphi/CBuilder/VC等常用桌面应用程序工具快速开发出
完成了基于Delphi的推理机，可以用来做专家系统，庆贺下！
指尖上的探戈!
11-18 1280
最近完成了基于Delphi的推理机，感觉比较爽！ 原来有个项目需要用到专家系统， 但和原系统藕合比较厉害。  前些天为了更通用，把这块拆出来，单独做了一个模块，运行比较爽！ 今天在浏览网页，突然想起来，可以用它来做图像识别或其它的， 直接写判据即可，方便多了 输入： 1 . Datas : array of array of double 2. XML: 判据XML文件
选开发工具, 在IntraWeb和C#间纠结!
指尖上的探戈!
03-02 1202
<br />各有所长吧. <br />IntraWeb比较快, 但C#更有前景, 资料也更丰富!
哥的平台功能很强大！
指尖上的探戈!
07-04 714
五十多套系统需要集成在一起，哥太强了，自恋一哈！
你再讲仔细一些，airflow所在的服务器要做什么事情，目标服务器要做什么事情
最新发布
11-29
<think> 我们正在讨论Airflow通过SSHOperator连接目标服务器执行任务时，Airflow所在服务器和目标服务器各自需要完成的工作。根据引用[1]中提到的架构思维，我们需要明确两个服务器的职责边界。 关键点： 1. Airflow所在服务器（控制端）：负责任务调度和连接管理 2. 目标服务器（执行端）：负责接收并执行命令 根据SSH协议的工作机制，我们可以这样分解： ### Airflow所在服务器（控制端）职责 1. **身份认证**：使用私钥（如`id_rsa`）向目标服务器证明身份。注意：这里必须使用私钥文件，而不是公钥（引用[1]中已明确）[^1]。 2. **任务调度**：根据DAG定义，在指定时间触发SSH连接请求。 3. **连接建立**：通过SSH协议与目标服务器建立安全通道（包括TCP三次握手、密钥交换、加密通道建立等）。 4. **命令传输**：将需要执行的命令（如`bash script.sh`）通过安全通道发送至目标服务器。 5. **结果获取**：接收目标服务器返回的命令执行结果（标准输出、标准错误）和退出状态码。 6. **日志记录**：将执行结果和日志存入Airflow元数据库，供用户查看。 ### 目标服务器（执行端）职责 1. **身份验证**：检查Airflow控制端提供的公钥是否存在于目标用户的`~/.ssh/authorized_keys`文件中（引用[1]中强调公钥部署于此）[^1]。 2. **权限验证**：确认连接用户是否有权执行请求的命令（通过操作系统的权限控制）。 3. **命令执行**：在安全通道建立后，接收命令并在目标用户的上下文环境中执行（如通过`bash`解释器执行）。 4. **结果返回**：将命令执行的输出流（stdout/stderr）和退出状态码通过SSH通道返回给控制端。 5. **资源释放**：命令执行结束后，释放相关进程资源并关闭会话。 ### 安全配置要点（双方协作） | 步骤 | 控制端（Airflow服务器） | 目标服务器 | |------|-------------------------|------------| | 密钥准备 | 生成密钥对（`ssh-keygen`），私钥本地保存（如`/opt/airflow/.ssh/id_rsa`） | 将控制端公钥（`id_rsa.pub`内容）追加到目标用户的`~/.ssh/authorized_keys`文件 | | 权限设置 | 私钥文件权限设为`600`：`chmod 600 id_rsa` | `authorized_keys`文件权限设为`600`，`.ssh`目录权限设为`700` | | 连接测试 | 使用`ssh -i /path/to/private_key user@host`手动测试 | 检查`/var/log/auth.log`（Ubuntu）或`/var/log/secure`（CentOS）中的登录日志 | ### 典型错误场景分析 1. **控制端私钥权限过宽**： - 现象：连接失败，日志报错`Permissions 0644 for 'id_rsa' are too open`。 - 解决：`chmod 600 id_rsa`。 2. **目标服务器公钥未部署**： - 现象：认证失败，日志报错`Permission denied (publickey)`。 - 解决：检查`authorized_keys`文件是否存在且内容正确（注意换行符问题）。 3. **目录权限问题**： - 现象：SSH连接时忽略`.ssh`目录。 - 解决：确保目标服务器上用户主目录、`.ssh`目录、`authorized_keys`文件的权限正确（依次为`755`、`700`、`600`）。 ### 配置流程示例（以引用[1]为基准）[^1] 1. **控制端操作**（Airflow服务器）： ```bash # 生成密钥对（若尚未生成） ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa_airflow -N "" # 记录公钥路径 cat ~/.ssh/id_rsa_airflow.pub ``` 2. **目标服务器操作**： ```bash # 切换到目标用户（如airflow_user） su - airflow_user # 确保.ssh目录存在 mkdir -p ~/.ssh && chmod 700 ~/.ssh # 将控制端公钥写入authorized_keys echo "ssh-rsa AAAAB3NzaC1yc2E..." >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ``` ### 在Airflow中的配置 - **Connection配置**： - Host：目标服务器IP - Username：目标服务器用户（如`airflow_user`） - Extra：`{"key_file": "/opt/airflow/.ssh/id_rsa_airflow"}` 通过以上步骤，Airflow即可安全地调度远程任务。这种分离设计（控制与执行分离）体现了引用[2]中提到的“存算分离”架构思想，提升了系统的灵活性和可维护性[^2]。 §§相关问题§§ 1. 如何为多台目标服务器配置不同的SSH密钥？ 2. 目标服务器如何限制Airflow用户的命令执行权限（如仅允许运行特定脚本）？ 3. Airflow SSHOperator执行失败时如何自动重试？ 4. 如何加密存储Airflow中的SSH私钥以避免明文保存？ 5. 目标服务器的SSH端口非标准（非22）时如何配置？ </think>### Airflow 所在服务器与目标服务器的职责分工 以下从**控制流**（Airflow 服务器）和**执行流**（目标服务器）两个维度详细说明各自职责，结合引用[1]的架构思维和引用[4]的分层设计原则[^1][^4]： --- ### **一、Airflow 所在服务器（控制端）职责** 1. **任务调度与触发** - 解析 DAG 定义，按计划触发 SSH 任务 - 管理任务依赖关系（如 Task A 成功后再执行 SSH 任务） 2. **连接管理与认证** - 读取 SSH Connection 配置（包括 `key_file` 指向的**私钥文件**）[^1] - 建立 SSH 连接前验证私钥有效性（格式、权限等） - 发起 SSH 握手协议（如 Diffie-Hellman 密钥交换） 3. **命令编排与传输** - 通过 `SSHOperator` 发送待执行命令（如 `bash /scripts/etl.sh`） - 传输必要的辅助文件（通过 `SSHHook` 的 `put_file()` 方法） 4. **结果监控与处理** - 捕获目标服务器返回的： - 标准输出（`stdout`） - 标准错误（`stderr`） - 退出状态码（`exit_status`） - 根据状态码决定任务成功/失败（非 0 视为失败） - 将日志写入 Airflow 元数据库 --- ### **二、目标服务器（执行端）职责** 1. **身份验证** - 检查 Airflow 服务器公钥是否存在于 `~/.ssh/authorized_keys` 中 - 验证 SSH 握手过程中的签名（用公钥解密私钥生成的签名） 2. **命令执行与环境准备** - 在**目标用户上下文**中执行接收到的命令（如 `airflow_user`） - 确保执行环境满足要求（如 Python 版本、依赖库等） - 为命令分配临时资源（进程、内存等） 3. **权限控制** - 根据系统权限策略（如 `sudoers` 配置）限制操作范围 - 若需特权操作，需提前配置免密 sudo（如添加 `airflow_user ALL=(ALL) NOPASSWD: /path/to/script.sh`） 4. **结果返回** - 实时传输命令输出流（通过 SSH Channel） - 返回最终退出状态码（通过 `$?` 捕获） --- ### **三、双端协作流程示例** ```mermaid sequenceDiagram participant A as Airflow服务器 participant T as 目标服务器 A->>T: 1. 发起SSH连接请求(携带私钥签名) T->>A: 2. 发送随机质询码 A->>T: 3. 用私钥加密质询码后返回 T->>T: 4. 用authorized_keys公钥解密验证 T->>A: 5. 验证成功，建立加密通道 A->>T: 6. 发送命令: bash run_etl.sh T->>T: 7. 执行命令并捕获输出 T->>A: 8. 返回stdout/stderr/exit_code A->>A: 9. 记录日志并更新任务状态 ``` --- ### **四、关键配置对比表** | **配置项** | **Airflow 服务器** | **目标服务器** | |---------------------|----------------------------------------|-------------------------------------| | **密钥文件** | 存储私钥 (`id_rsa`) | 存储公钥 (`authorized_keys`) | | **权限要求** | 私钥权限 600 | `.ssh` 目录 700, `authorized_keys` 600 | | **网络配置** | 允许访问目标服务器的 SSH 端口（默认 22） | 防火墙放行 Airflow 服务器的 IP | | **用户环境** | 无需特殊配置 | 确保目标用户有脚本执行权限 | | **日志存储** | 在 Airflow 元数据库集中存储 | 本地生成临时日志（可选） | --- ### **五、常见问题定位技巧** 1. **连接失败** - 控制端检查：`ssh -vvv -i /path/to/private_key user@host` - 目标端检查：`tail -f /var/log/auth.log`（Ubuntu） 2. **权限不足** - 确保目标服务器脚本有可执行权限：`chmod +x /path/to/script.sh` - 检查 `sudo` 免密配置（如需特权命令） 3. **环境差异** - 在目标服务器预先验证命令：`sudo -u airflow_user bash /path/to/script.sh` > 如同引用[3]的案例启示：若忽略执行环境差异（如实验室 vs 工厂），即使模型完美也会失败[^3]。务必在目标服务器充分验证执行环境。 --- ### **六、最佳实践** 1. **最小权限原则** - 为目标服务器创建专属用户（如 `airflow_executor`） - 通过 `sudo` 精细控制可执行命令列表 2. **环境隔离** - 使用 Docker 容器执行命令（需目标服务器安装 Docker） - 或通过 `virtualenv` 隔离 Python 环境 3. **密钥轮转** - 定期更新密钥对（如每 90 天） - Airflow 中使用 `Variables` 动态管理密钥路径 如同引用[2]的架构演进思想：将控制与执行分离，正像“轻薄笔记本+云存储”模式提升系统灵活性[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值