rav009的专栏

AWS中所有与数据科学有关的服务一览表（MLS-C01）

"grant all on all tables" 只会将已有的对象进行赋权。对于未来新建的对象，不会赋权。为了解决这个问题， Redshift 中有一个 "DEFAULT PRIVILEGES" 的概念。可以让新建的对象自动赋权给某个Role或User。中的所有Table对象的所有权限。

2. 在浏览器按F12进入源代码模式。在网络中找到名为creds的链接。点击creds，在Cookie中找到“aws-creds”，根据过期时间即可计算得知当前登陆链接的有效时间。如上链接， AWS支持自己写代码生成登陆链接（ Sign-URL）来登陆的模式。每个登陆链接都有一个过期时间，最小15min，最大36hours。1. 打开链接登陆AWS Console。那么如何判断自己登陆链接的有效时间呢？在企业中这种方式比较常见。

一般情况下Auto Scaling Group中的Instance如果重启，会被ASG的健康检查发现，导致ASG立刻新建新机器。把 Launch和Health Check暂时关闭，再去重启instance就OK啦，不用担心ASG多此一举啦。办法很多，一个最简单的办法就是暂时关闭ASG的Launch和Health Check。本文要讲的是在这种情况下，如何避免ASG新建新机器。（有的时候单纯想重启一下机器）

76bdfdd2-91c7-4d88-84e0-6ebe4d25bfa6/d-6BTWU2CDK/”这部分每个人都不一样，不要照抄。如果appspec.yml中location的值是“a.sh”，那么CodeDeploy Agent就会去找一个全路径为。当指定runas的时候，CodeDeploy Agent会以runas的值作为用户，去执行脚本。CodeDeploy Agent执行location指定脚本的执行路径是根目录: /。具体source的配置文件，根据实际情况调整。

AWS DAS认证考点整理（EMR QuickSight Lakeformation等）

KDSKDS重复数据：1. Producer有网络延迟，2. Shards、Record Processors有增减。由于网络等不可抗力造成的KDS数据重复可以通过加入唯一码（Unique ID）来去重解决。

Copy命令优化手段： 压缩， 2. 对大文件进行分割，一次copy多个文件。（文件数对应slice个数）3. 使用temporary staging table（这种方法的本质利用table的drop和create代替delete， update，insert，因为后者是DML会触发事务。）

AWS DAS认证考点整理（Athena&Glue篇）Athena查询隔离=Work Group, 可以control per-query data usage limit.Athena查询速度优化：1. 压缩 2. 列式存储 3. S3和Athena同一个RegionAthena查询成本优化：1.Partition by，2. 列式存储，3.合并小文件Athena partition快速生成or恢复=MSCK REPAIR TABLE，Athena使用hive style partition。

本文记述的事发生在2022年11月，环境是AWS China Region，不是AWS Gobal。 Elastic Beanstalk简称EB。尝试把一个Python Flask Web部署到Elastic Beanstalk上去，过程中发现了AWS无论是中国区还是全球区的文档和实际情况不符。具体情况：EB会把你上传代码放到EC2服务器上的 /var/app 路径下。

这个引擎默认使用双引号所谓封闭符，逗号作为CSV的分隔符。不用配置任何Serde parameters就能用。但是如果CSV用双引号作为封闭符的话，这个引擎会把双引号当作数据的一部分，不能正确识别出封闭符。解决办法就是把一些可能是空的列，点击“Edit Schema”改成string类型。作为CSV文件的解析引擎。...

研究了一天的ruby编译和安装，最后发现SSM安装一键搞定：

AWS Lambda支持Python的多个版本作为runtime在Lambda上使用Python的常用问题：1. Python libraryAWS Lambda Runtime只支持原生的runtime，并没有预装任何library。在Lambda中引入library，利用 “pip install -t”, 将library安装到项目工程中。然后打成zip包上传。2. Handler在每个Python Lambda中，可以定义如下这个函数作为Lambda调用的Handler。

概述AWS中与安全相关的组件主要有如下5个：AWS Inspector： 为EC2打漏洞补丁。 AWS Shield Advance： 在OSI第4层，防止DDoS攻击。 AWS WAF： 防火墙，工作在OSI第7层，可以防止DDoS，SQL注入和XSS等攻击。 AWS GuardDuty：安全监控，监控VPC flow日志，Cloudtrail日志等，可以发现问题创建CloudWatch事件触发AWS Lambda进行防御。 AWS Macie：识别数据中的敏感信息。防火墙WAF

加密RDS启用加密：备份snapshot，备份的页面中有一个选项可以选择加密，然后还原被加密的snapshot。 RDS启用加密后，log/snapshot/backup都是自动加密的。 RDS启用TLS加密，需要下载AWS提供的根证书。 RDS MySQL强制数据库连接使用SSL，需要在MySQL使用“Grant/Alter user .... Require SSL” RDS support IAM role authentication容灾备份Single-RegionRDS

最近在备考AWS架构师认证，发现一道有意思的题目。网上都找不到正解。题目如下：A company's operations team has an existing Amazon S3 bucket configured to notify an Amazon SQS queue when new objects are created within the bucket. The development team also wants to receive events when new obj