Quickwit项目在AWS上的集群部署指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00909/article/details/148416355

Quickwit项目在AWS上的集群部署指南

quickwit Sub-second search & analytics engine on cloud storage 项目地址: https://gitcode.com/gh_mirrors/qu/quickwit

前言

Quickwit作为一款高性能的分布式搜索和分析引擎，在AWS云环境中的部署需要特别注意几个关键配置环节。本文将详细介绍在AWS上部署Quickwit集群的完整流程，帮助开发者避免常见错误，确保集群顺利运行。

AWS凭证配置

Quickwit节点启动时，会按照以下顺序自动查找AWS凭证：

环境变量：优先检查AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY和AWS_SESSION_TOKEN（可选）环境变量
凭证配置文件：默认查找~/.aws/credentials文件，也可以通过AWS_SHARED_CREDENTIALS_FILE和AWS_PROFILE环境变量指定其他位置
ECS容器凭证：如果设置了AWS_CONTAINER_CREDENTIALS_RELATIVE_URI环境变量，会从ECS容器获取凭证
EC2实例配置文件：在EC2实例上运行时，会通过EC2元数据服务获取凭证

重要提示：如果凭证链中找不到有效凭证，Quickwit将返回错误。建议在部署前使用AWS CLI验证凭证是否有效。

AWS区域设置

Quickwit确定AWS区域的优先级如下：

环境变量（先检查AWS_REGION，然后是AWS_DEFAULT_REGION）
配置文件（默认~/.aws/config，可通过AWS_CONFIG_FILE环境变量覆盖）
EC2实例元数据服务（自动获取当前EC2实例所在区域）
默认回退值：us-east-1

性能注意：AWS凭证或区域解析可能需要几秒钟时间，特别是在EC2实例元数据服务响应较慢或不可用时。

IAM权限管理

S3存储桶权限

Quickwit需要以下S3操作权限：

ListBucket（直接针对存储桶）
GetObject
PutObject
DeleteObject
ListMultipartUploadParts
AbortMultipartUpload

示例IAM策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": ["arn:aws:s3:::my-bucket"]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:ListMultipartUploadParts",
        "s3:AbortMultipartUpload"
      ],
      "Resource": ["arn:aws:s3:::my-bucket/*"]
    }
  ]
}

验证命令：

MY_BUCKET=<bucket name>
aws s3 ls $MY_BUCKET
echo "Hello, World!" | aws s3 cp - $MY_BUCKET/hello
aws s3 ls $MY_BUCKET/hello
aws s3 cp $MY_BUCKET/hello -
aws s3 rm $MY_BUCKET/hello

Kinesis流权限

使用Kinesis数据流时需要以下权限：

GetRecords
GetShardIterator
ListShards

验证命令：

MY_STREAM=<my stream name>
SHARD_ID=$(aws kinesis list-shards --stream-name $MY_STREAM | jq -r .Shards[0].ShardId)
SHARD_ITERATOR=$(aws kinesis get-shard-iterator --stream-name $MY_STREAM \
                                               --shard-id $SHARD_ID \
                                               --shard-iterator-type TRIM_HORIZON \
                          | jq -r .ShardIterator)
aws kinesis get-records --shard-iterator $SHARD_ITERATOR | jq -r .Records[0]

网络配置

安全组设置

Quickwit节点间通信需要开放以下端口：

UDP端口：用于集群成员发现和健康检查
TCP端口1：用于节点间RPC通信
TCP端口2：用于HTTP API访问

最佳实践：建议为Quickwit集群创建专用的安全组，仅允许集群内部节点间的这些端口通信，同时根据实际需要限制管理API的访问来源。

常见错误排查

凭证错误：

Command failed: Another error occurred. `Metastore error`. Cause: `StorageError(kind=Unauthorized, source=failed to fetch object: s3://quickwit-dev/my-hdfs/metastore.json)`

解决方案：检查AWS凭证是否正确配置，确保具有足够的权限。

区域错误：

Command failed: Another error occurred. `Metastore error`. Cause: `StorageError(kind=Internal, source=failed to fetch object: s3://your-bucket/your-index/metastore.json)`.

解决方案：确认AWS区域设置是否正确，存储桶是否存在于指定区域。