
google cloud
文章平均质量分 87
nvd11
大龄程序员
展开
-
Sonarqube 和 Sonar-scanner的安装和配置
所谓sonarqube 就是代码质量扫描工具。官网:在个人开发学习中用处不大, 我草, 我的代码质量这么高需要这玩意?但是在公司项目中, 这个可是必须的, 你永远都不知道你的队友写了什么进git 仓库至于SanarScanner 就是1个本地工具, 用于把你的代码push 到SonarQube server 用于分析参考:steps:args:- '-c'- |set -xpwdargs:- '-c'- |set -xwhoamipwdls -l。原创 2024-09-08 02:23:42 · 1811 阅读 · 0 评论 -
K8S ingress 初体验 - ingress-ngnix 的安装与使用
1个ingress controller 可以对应多个ingress 吗?答: 可以的如果1个ingress 的controller 配有多个ingress instance, 里面的配置会冲突吗?如果有相同的path 设置答: 会冲突, 所以要保证多个ingress instance 的配置中 path 互相不重复如果一个 Ingress 控制器对应两个 Ingress 资源,并且这两个 Ingress 的配置中具有相同的路径,那么会发生冲突。原创 2024-07-12 03:16:18 · 1334 阅读 · 0 评论 -
VPC Access Connector 介绍 - 让 Non-VPC product 也可以访问VPC Network内的资源
在GCP 上, VPC product 指的是属于某个制定的vpc subnet, 具有至少1个 该 subnet 的内网ip的产品某些dataflow job (指定了 可选参数subnet )Cloud Composer (基于airflow)而 Non VPC product 通常是1个共用产品和 server less 的平台,例如:5. Pubsub。原创 2024-06-19 02:30:43 · 1217 阅读 · 0 评论 -
摆脱Jenkins - 使用google cloudbuild 部署 java service 到 compute engine VM
在之前 介绍 cloud build 的文章中已经介绍过, 用cloud build 去部署1个 spring boot service 到 cloud run 是很简单的, 因为部署cloud run 无非就是用gcloud 去部署1个 GAR 上的docker image 到cloud run 容器。原创 2024-06-09 05:33:17 · 966 阅读 · 1 评论 -
创建google cloud storage notification 的权限问题
Google 文档也不是很靠谱, 更新并不是非常及时。原创 2024-06-08 13:31:04 · 593 阅读 · 0 评论 -
Google Cloudbuild yaml file 中 entrypoint 和 args 的写法
id: 显示在 cloud build logs 里的item 名字name: docker 镜像名字 - 下面的命令会在这个镜像的1个容器instance 内执行entrypoint: 执行的命令入口 , 只能有1个对象args: 命名的参数, 它是1个list问题来了, 如何理解深而慢是entrypoint 和 argsentrypoint 就是执行的命令 bin file 名字, args 是参数, 不能混淆中cat 就entrypoint。原创 2024-06-01 21:41:40 · 1094 阅读 · 0 评论 -
初探 Google 云原生的CICD - CloudBuild
Google Cloud Build(谷歌云构建)是谷歌云平台(Google Cloud Platform,GCP)提供的一项服务,可帮助开发人员以一致和自动化的方式构建、测试和部署应用程序或构件。它为构建和部署应用程序提供了一个完全托管、可扩展和灵活的环境。使用Cloud Build,开发人员可以使用配置文件(如YAML或JSON)定义构建流水线,指定构建过程中要执行的步骤和操作。可以根据事件(如代码库提交或更改)自动触发这些流水线,也可以由开发人员手动触发。原创 2024-05-02 03:42:50 · 1922 阅读 · 0 评论 -
使用 proxySQL 来代理 Mysql
我有若干台云主机, 但是只有1个台vm 具有外部ip而在另1台vm上我安装了1个mysql instance, 正常来讲, 我在家里的电脑是无法连接上这个mysql尝试过用nginx 代理, 但是nginx只能代理http协议的, mysql 3306 并不是http协议解决方案两种。原创 2024-04-09 00:05:05 · 1946 阅读 · 0 评论 -
让数据在两个buckets之间传输 - Google Storage Transfer Service
Google 已经具有个产品叫 Storage Transfer Service, 可以帮我们把文件在两个bucket 之间传输(甚至包括AWS S3 Bucket, 不在本文讨论范围内)就是storage transfer service 的源bucket参考https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/storage_transfer_job.html。原创 2024-03-21 02:48:06 · 1227 阅读 · 0 评论 -
google cloud run service - 用CMEK 加密容器
GCP 的 CMEK 指的是 Customer-Managed Encryption Keys(客户管理的加密密钥)。在 Google Cloud Platform(GCP)中,CMEK 允许客户自行管理用于加密其云服务数据的加密密钥。简单来讲, 我们可以利用1个 Key 去加密保护我们的GCP component , 例如cloud run service 和 bigquery dataset, bucket 等等WTF, 我先检查一下service accounts 列表。原创 2024-03-15 03:51:15 · 817 阅读 · 0 评论 -
Nginx 配置反向代理 - part 3
一张图很清楚地表达了。原创 2024-01-14 02:34:21 · 1179 阅读 · 0 评论 -
GCP 创建1个windows vm 并连接
有时需要临时使用1台windows 的机器既然是临时直接用gcloud command最后1个参数是开启intel VT-X or AMD-v 硬件虚拟化UI 上直接操作原创 2023-12-31 23:35:16 · 630 阅读 · 0 评论 -
BigQuery Clustered Table 简介 - 聚簇表
聚簇可以提高某些类型的查询(例如,使用过滤条件子句的查询和聚合数据的查询)的性能。当通过查询作业或加载作业将数据写入聚簇表时,BigQuery 会使用聚簇列中的值对这些数据进行排序。这些值用于将数据整理到 BigQuery 存储的多个块中。当您提交的查询包含基于聚簇列过滤数据的子句时,BigQuery 会使用已排序的块来避免扫描不必要的数据。如果表或分区低于 1 GB,则聚簇表和未聚簇表之间的查询性能可能不会有显著差异。...原创 2023-12-24 04:46:13 · 1286 阅读 · 0 评论 -
一个简单例子更深入地理解BigQuery 的分区表
首先本文不会讲得很系统, 可以理解为是1个练习, 从这个简单例子中, 我们会体会到分区表与非分区表的操作和效果的区别。原创 2023-12-24 01:19:51 · 1285 阅读 · 0 评论 -
BigQuery 分区表简介和使用
我们先看定义:分区表是一种数据库表设计和管理技术,它将表中的数据划分为逻辑上的多个分区,每个分区包含一组特定的数据。每个分区都根据定义的分区键(通常是一个列或字段)的值进行分类,使得数据可以按照特定的逻辑规则进行划分和组织。通过使用分区表,可以将大型表分解为更小的、可管理的部分,以提高查询性能、数据维护效率和存储资源的利用率。分区表的实现方式和语法可能因数据库管理系统而异,但基本概念和原则是相似的。具体给个例子:当这个表的数据量增大时, 去查询这个表的性能会变慢。原创 2023-12-23 05:05:15 · 2286 阅读 · 1 评论 -
如何修复Terraform state file 中丢失的资源
有时天灾人祸, 当本人尝试利用terraform 创建1个vm时, 当执行到最后一步时出现了问题从日志看出, 其实资源能正确创建, 但是同步state file时出现了问题, 这个项目的state file是存放在GCS /bucket 上的。日志上写的是网络问题, 估计是踮脚的东西突然塌了几秒先试下rerun, 其实我已经知道rerun注定失败, 因为这时, gcs 上的state file 并没有这个vm资源, 但是这个vm资源其实已经被创建。原创 2023-12-22 03:15:09 · 1112 阅读 · 0 评论 -
使用terraform 来创建GCP的instance template 和基于它的vm
本人在上一篇的文章中已经介绍了如何去创建 google cloud的 vm 的image 和 instance template了但是里面的操作是基于gcloud CLI的。在实际项目上, 我们对google cloud infra的change 更常有的是terraform。原创 2023-12-22 02:27:56 · 1175 阅读 · 0 评论 -
快速构建自定义配置好的VM - 使用GCP instance-template 和 custom-image
简单来讲, instance-template 可以让用户定制1个 vm 的模板规格(cpu / mem/ vpc-network/ disk…)等image 系统镜像注意, 第2点并不是必须的, 如果我们在创建模板时没有指定镜像, 实际上创建出来的vm也是1台刚装好系统的vm.实际上, 第2点在我的测试中并不成功这里建议只用instance-template 去定义vm的规格。原创 2023-12-19 03:55:49 · 1057 阅读 · 0 评论 -
Google cloud 的VPC Network 虚拟局域网 介绍
相信很多人都知道, 要真正地掌握GCP, VPC 是1个避吾开的一关。VPC 的全称是 Virtual Private Cloud 虚拟私有云… 但是实际上, 我们提起它, 更多的是指的是VPC Network , 而不是VPC 本身。VPC Network 我们可以理解为它就是1个虚拟局域网.而 1个VPC network 中, 我们可以创建多个子网(subnet)。例如下面的表格包含了2个vpc network3个subnet, 其中 两个子网属于同1个vpc network。原创 2023-12-10 04:57:27 · 660 阅读 · 0 评论 -
让你的内网的GCE 也可以访问外网,Google Cloud Nat 介绍
Nat 的全程是 Network address tranformation , 网络地址转换…通常是1台具有双网卡 (双 ip)地址的机器, 1个公网ip, 1个内网ip功能是让局域网的各个内网主机可以通过这个Nat gatway , 去访问公网。但是公网是不能通过这个Nat gateway去访问指定内网主机的。是的, 我们的家用路由器实际上应该是1个Nat 网关, 而不是一台狭义的路由, 只不过名字叫路由器而已。原创 2023-12-05 02:47:09 · 677 阅读 · 0 评论 -
使用gcloud SDK 管理和部署 Cloud run service
重点来了, 部署某个service , 只要service name 和 region相同会覆盖旧的service, 不用先停止再部署。命令行部署 cloud run service 和 在 google console 上部署的是差不多的。这里我把jenkins file 和 jenkins library 发出来作为参考。建议你直接删除不必要的service, 或者修改权限设置让它不能被访问。-q 这里意思是quite , 避免删除确认提问, 小心用就是了。参考下面google的官方说明。原创 2023-12-03 03:39:00 · 372 阅读 · 0 评论 -
利用 Google Artifact Repository 构建docker 镜像仓库
参考了google 官方文档。原创 2023-11-12 03:59:27 · 1215 阅读 · 0 评论 -
利用 Google Artifact Repository 构建maven 存储仓库
参考了google 官方文档。原创 2023-11-11 04:40:58 · 1413 阅读 · 0 评论 -
在Google cloud上创建VM虚拟机
一般来讲, 一台VM需要绑定1个service account, 这样这个VM不需要其他任何配置就可以用这个service account去访问其他GCP资源, 具体权限就看这个service account的权限了, 个人建议实现create 1个 vm-common的service account for 所有的vm, 如果不配置, 默认下会为这个VM创建1个新的service account, 具体怎么配置看需求了。关于收费的问题,通常来说,调整MTU的大小不会直接导致额外的费用。原创 2023-10-16 02:24:27 · 1777 阅读 · 0 评论 -
Google Cloud dataflow streaming job简介
首先 gcp 的dataflow 是1个ETL 组件, 它是基于Apache beam的Apache beam 是1个较新的开源ETL 框架。对于我们常用的ETL tool Spring batch 有下面的区别spring batch 更偏向batch (后台处理)的ETL, 而apache beam 同时支持batch 和 streaming 的ETL, 对streaming 的ETL 有更好的支持。原创 2023-10-08 05:48:55 · 574 阅读 · 0 评论 -
创建GCP service账号并管理权限
包括seviceAccountUser等。原创 2023-10-03 04:55:46 · 1031 阅读 · 0 评论 -
用postman 推送消息到GCP的pubsub
url 是 https://pubsub.googleapis.com/v1/projects/我们可以用terraform 去创建1个topic 和 2个subscriptions。其实GCP products 的 rest url 有规律的。Content-Type 是 application/json。获得 这个Topic 的publish Rest url。我们在postman 新建1个 request。基于某个gcp 账号获得1个临时的token。然后用下面命令获得1个token。原创 2023-09-10 20:43:10 · 769 阅读 · 0 评论 -
持续更新 - 常用Google Cloud CLI 命令
如果是在CLI下, 我们需要手动复制这个网址去另一台有浏览器的机器上登录, 然后把验证码复制回来。如果是linux 桌面 环境下, 直接会弹出浏览器让你在浏览器登录。### 用service account 登录 gcloud。接下来 它会列出1个网址。原创 2023-09-10 18:25:08 · 690 阅读 · 0 评论