daiqinge的博客

原创 card from manager

原创 golang code use s3

packageserverimport("bytes""crypto/sha256""encoding/hex""fmt""io""io/ioutil""mime""os""path/filepath""strings""github.com/aws/aws-sdk-go/aws""github.com/aws/aws-sdk-go/servic...

原创 golang read message from aws sqs

typeServerstruct{pipeline.Envsession*session.SessionsqsClient*sqs.SQSsnsClient*sns.SNSs3Client*s3.S3b stringch string}func(s*Server)Message()error{//URLtoourqueueqURL:=...

原创 common use commands in development work

1. get tokencurl --request POST --url https://xxx.com/v1/user/token --header 'content-type: application/x-www-form-urlencoded' --data username=axxx --data 'password=1xxxx' -k2. use token to getcurl --request GET --url https://xxx.com/api/xx...

原创 golang+ginswagger

1. step 1 related command(download swagger, then use related command)go mod init xxx(this name you can give any name, up to you)------ generate go.mod automaticallyGo build main.go (update go.mod file and create go.sum file automatically)When you im.

原创 golang+get token

typeTokenstruct{Statusstring`json:"status"`Metadatastruct{Trace_idstring`json:"trace_id"`}`json:"metadata"`Datastruct{Access_tokenstring`json:"access_token"`Expires_inint`json:"ex...

原创 golang main() + docker configuration

1. create Dockerfile, go folder and main.gocd /appmkdir gotouch cd ./gotouch Dockerfiletouch main.go2. write DockerfileFROM golang:1.12 as builderCOPY ./go ./RUN go build -o appENTRYPOINT ["/go/app"]3. write main.go(golang)packagema...

原创 golang+swagger+mux配置

1. install and import swagger参考https://www.soberkoder.com/swagger-go-api-swaggo/step 1:install swagger related tool:go get -u github.com/swaggo/swag/cmd/swaggo get -u github.com/swaggo/http-swaggergo get -u github.com/alecthomas/templateste.

原创 python + aws sqs + boto3 + docker +bitbucket

1. command, install all depedenciespip install -r requirements(git clone gitxxxxxbs/pyxxxxt.git)2. if install individually, depends on you use pip or pip3pip install boto3 (pip install boto3=1...

原创 terraform的安装和应用

一. linux机器上安装terraformsudo curl -O https://releases.hashicorp.com/terraform/0.11.13/terraform_0.11.13_linux_amd64.zipsudo yum install -y unzipsudo unzip terraform_0.11.13_linux_amd64.zip -d /usr/...

原创 Azure---创建一个virtual machine和visual studio

1. azure服务service概览2. 创建一个资源 create a resource（1）点击 create a resource（2）选择visual studio创建选择最新版的visual studio，创建：（3）修改size（4）设置用户名密码等信息下图可以看出36.9$一个月（5）review and create，用的RDP...

原创 GCP---Compute---Disk

1. 创建一个disk2. 修改disk的size双击已经建好的disk，点击edit，修改：3. 新建一个vm instance4. 配置步骤3的instanceregion和zone可以选择。disk选项卡中attach更多的disk，在添加额外的disk时，只显示instance所在的zone里的disk。5. 建好的instan...

原创 GCP---Big Data大数据

1. 大数据Big Data---big query2. 查询查询语句：SELECT * FROM `cloud-training-prod-bucket.arch_infra.billing_data`

原创 GCP---Google cloud Platform

1. 查看存储bucket2. 拷贝bucket id点击其中一个bucket进来，拷贝id3. 新建一个vm instance点击create按钮，3秒之内instance会建好。下图右侧可以看出，一个instance一个月的费用是24.67$...

原创 AWS IAM---Group、User、Role、Policy

1. AWS IAM页面的Groups2. AWS IAM页面的users3. group中添加user4. group中添加policy，其中show policy可以看到policy对应的代码5. 创建policyIAM页面的policy选项卡，可以创建policy...

原创 AWS EBS---resize EBS

1. EC2页面，跳转到volume选中一个ec2，description---点击root device的信息---点击EBS id的信息，跳转到volume页面2. 对volume创建一个snapshot选中volume---action---create snapshot3. 创建一个EBS volume根据左侧导航栏，来到snapshot页面，看到步骤2创建的s...

原创 AWS S3---Lifecycle Policy生命周期

1. 创建S3---new bucket---上传一张.jpg图片2. 创建lifecycle policy在这个bucket中，选择management---add lifecycle rule如下图，current version选择transition to glacier after 30 days而previous version选择transition to g...

原创 AWS DMS---database migration service数据库迁移服务

1. AWS database migration service页面新建一个replication instances，配置信息如下：2. 新建一个target endpoint3. 新建一个source target接着选择test：4. 创建一个task填写schema name为classicmodels，其他信息默认。5. 查看...

原创 AWS Config（二）---EC2

本文任务：创建一个config，选择其中一个EC2的AMI做为标杆，其他EC2若是不符合这个标杆的配置，那么会显示为noncompliance。如果经过你的更改，符合了，你可以在config页面选择 re-evaluate1. AWS Config页面新建一个config2. AWS EC2（1）AWS EC2页面对现有的instance创建image（2）然后选择左侧导航栏的...

原创 AWS Cloudwatch（一）----创建dashboard

1. cloudwatch页面，create dashboard-----line 图形---------ec2-----pre-instance metrics然后输入cpuutilization ，选中 bastion host那一条：2. 选择其中一个dashboard，add widget在此新建一个widget：...

原创 AWS EC2（二）----用Cloudformation定时关闭EC2

本文任务：根据solution网页中给的模板，新建instance scheduler（其实就是cloudformation中新建的stack），会 自动生成2个dynamoDB表和1个lambda函数。再新建一个cloudwatch发起每分钟调用一次lambda。dynamoDB中其实保存的是模板，也就是触发条件，你可以在这个表中更改触发条件。lambda函数实现的是查看dynamo...

原创 AWS---Cloudwatch、SNS

监控到EC2停止了，就发邮件通知1. SNS页面，创建一个topic，输入topic name，接着创建subscription，选择email。由下图看出，可以选择http、email、SQS、lambda等2. Cloudwatch页面，event---新建rule.（1）由下图可以看出，可以选择event pattern和schedule两种。event patte...

原创 AWS EC2（一）----EC2修改大小

1. EC2页面，选中EC2，选择action---instance state，选择stop2. 步骤1做完等待几秒钟，让它完全stop了，接着选择action---instance settings--instance type为 另外一个大小3.接着选择action---instance state---start...

原创 AWS---Lambda@Edge和cloudfront结合使用

1.Lambda@Edge的概念每个 Lambda@Edge 函数都必须包含callback参数，以成功处理请求或返回响应2. Lambda@Edge在CloudFront 的应用（1）A/B测试如果要测试主页的两种不同版本，但是不想创建重定向或更改 URL，则可使用以下示例。此示例会在 CloudFront 接收到请求时设置 Cookie，随机将用户分配至版本 A 或...

原创 AWS---AWS Route 53

1. hosted zones选择一条，然后点击 go to record sets然后选择create record set：然后填写，其中value这里，填写你创建的EC2的public ip

原创 AWS---AWS Code Star & Cloud9

1. Code StarCode Star可以发起创建一个project，输入project name，选择开发语言，选择开发IDE2. Cloud9是一款云上的IDE，利用Code Star新建一个project的时候可以选择IDE，可选择的IDE包括Eclipse、Cloud9、Command line、Visual studio...

原创 AWS---AWS trusted advisor

原创 AWS---AWS Step Functions创建--未完待续。。。

1. aws 的IAM 页面，新建一个 role,界面如下2. step function页面，新建一个state machinestep function页面选择get started，或者create在role 这个选项里，选择步骤1创建的role3. 再创建一个role跳转到lambda页面，再创建一个role，这次service选择lambda...

原创 AWS Config（一）---S3

1. 在aws config页面，新建一个config2. 新建rules(1) 点击add rules，然后输入cloudtrail，接着选择cloudtrail-enabledsave保存(2) 接着再 add rule，这次点击向右翻页的按钮，选择desired-instance-type在下一页中输入value为t2.microsave保存...

原创 AWS---Elastic Beanstalk创建

1. 创建elastic beanstalk application（1）aws官网搜索elastic beanstalk---get started（2）配置vpc在步骤（1）中的configure more options中选择network---modify，然后在network的页面中选择vpc和所有的subnet2. 创建s3 bucket，并上传一个文件...

原创 AWS---OpsWorks Stack创建

OpsWorks Stack创建1. aws官网搜索 opsworks，选择第一个opsworks stacks2. 接着创建layer或者如下图

原创 AWS VPC（三）-----创建VPC flowlog

保存VPC flow log的两个目的地：s3 bucket 和 cloudwatch log group一. 保存到 s3 bucket1. S3页面，创建一个s3 bucket，用来存储vpc flow log选中创建好的bucket，右侧会跳出来 copy bucket arn，点击一下，一会在步骤2中会用到2. VPC页面，创建一个VPC，并配置它的flow lo...

原创 AWS VPC（二）-----创建VPC Peering

本文任务：实现VPC Peering。VPC Peering的作用，就是不同的VPC之间的通信，原理图如下（其中instance1和instance2是public的，它们有public ip；instance3是private的，它只有private ip）：1. 创建3个VPC创建3个VPC，ipv4分别配置为10.1.0.0/16、10.2.0.0/16、10.3.0.0/1...

原创 AWS VPC（一）-----创建VPC、Internet gateway、Route Table、Subnet 以及DHCP

本文任务，创建一个VPC，接着在VPC里面创建路由表route table和子网subnet，然后再创建VPC和外界联系的internet gateway。关系为：子网subnet （连向）--->路由表（连向） --->internet gateway ，而VPC包含这三个东西。原理图如下：1. 创建一个VPC2. 创建Internet Gateways还...

原创 AWS DynamoDB（二）--- 创建一个DynamoDB

创建一个DynamoDB的四种方法：1. 在DynamoDB页面，创建一个2. 通过cloudformation创建一个创建的模板 JSON代码如下：{ "AWSTemplateFormatVersion": "2010-09-09", "Resources": { "PetTable": { "Type": "AW...

原创 AWS DynamoDB（一）--- 数据库简介和对比

1. 关系型数据库和 分布式存储二者相比，后者的优缺点是什么？优点是读取速度快，缺点是不能联表查询。比如现在有100条数据：（1）如果用关系型数据库mysql查询，它会在数据库100条中查询你要的那一条。（2）如果用hadoop 集群，它部署了5台机器，每台机器存储了20条，共100条。你需要查询一个数据，5台同时在自己的20条里面找，在20条中找和在100条中找，速度当然快了...

原创 AWS Lambda（九）---用Lambda部署ECS

本次任务：aws上创建容器repository，然后push一个image到这个repository，cloudtrail和cloudwatch检测到变化后，调用lambda函数，执行部署到ECS的任务1. 创建IAM用户access key（1）IAM页面---user，创建一个user（2）点击创建好的user，创建access key（3）本地安装awscli客户...

原创 AWS Lambda（八）---用API Gateway

1.新建lamda function，选择python，使用代码如下，之后save，然后action下拉框依次执行publish和aliasimport jsonprint('---Loading function---')def lambda_handler(event, context): # print("Received event: " + json.dumps(...

原创 AWS Lambda（七）---用CloudTrail

本文任务：利用cloud trail和cloud watch检测 cloudformation中配置的component的异常，然后cloudformation中配置发邮件通知给指定邮箱。1. s3页面新建一个bucket2. 新建cloudtrailcloudtrail页面，新建cloudtrail，过程中配置如下：然后选择步骤1中新建号的bucket：在tra...

原创 AWS Lambda（六）---别名和版本号（Aliases and Versions）

操作介绍：本文的操作目的，就是同样的lambda函数，不同的source bucket，发布两遍，实现的功能还是一样的。此篇我没成功。。。。1. s3页面，新建3个bucket，名字可以叫为 bucket a， bucket b， bucket c。2. aws lamda页面，创建一个新的function，语言选择nodejs。创建好后，在code entry type下...