
Cloud
文章平均质量分 73
nvd11
大龄程序员
展开
-
fluentd 简介,日志收集并导入BigQuery
Fluentd 是一个开源的数据收集器,旨在实现日志数据的统一收集、处理和转发。它支持多种数据源和数据格式,并具有灵活性和可扩展性,使得在大规模分布式系统中处理日志数据变得更加容易。以下是 Fluentd 的一些关键特点和优势:多源数据收集:Fluentd 支持从各种数据源收集数据,包括日志文件、系统日志、应用程序日志、传感器数据等。数据格式转换:Fluentd 可以将不同格式的数据转换为统一的格式,使其更容易进行处理和分析。原创 2024-09-06 03:15:34 · 1611 阅读 · 0 评论 -
K8S ingress 初体验 - ingress-ngnix 的安装与使用
1个ingress controller 可以对应多个ingress 吗?答: 可以的如果1个ingress 的controller 配有多个ingress instance, 里面的配置会冲突吗?如果有相同的path 设置答: 会冲突, 所以要保证多个ingress instance 的配置中 path 互相不重复如果一个 Ingress 控制器对应两个 Ingress 资源,并且这两个 Ingress 的配置中具有相同的路径,那么会发生冲突。原创 2024-07-12 03:16:18 · 1334 阅读 · 0 评论 -
VPC Access Connector 介绍 - 让 Non-VPC product 也可以访问VPC Network内的资源
在GCP 上, VPC product 指的是属于某个制定的vpc subnet, 具有至少1个 该 subnet 的内网ip的产品某些dataflow job (指定了 可选参数subnet )Cloud Composer (基于airflow)而 Non VPC product 通常是1个共用产品和 server less 的平台,例如:5. Pubsub。原创 2024-06-19 02:30:43 · 1217 阅读 · 0 评论 -
创建google cloud storage notification 的权限问题
Google 文档也不是很靠谱, 更新并不是非常及时。原创 2024-06-08 13:31:04 · 593 阅读 · 0 评论 -
初探 Google 云原生的CICD - CloudBuild
Google Cloud Build(谷歌云构建)是谷歌云平台(Google Cloud Platform,GCP)提供的一项服务,可帮助开发人员以一致和自动化的方式构建、测试和部署应用程序或构件。它为构建和部署应用程序提供了一个完全托管、可扩展和灵活的环境。使用Cloud Build,开发人员可以使用配置文件(如YAML或JSON)定义构建流水线,指定构建过程中要执行的步骤和操作。可以根据事件(如代码库提交或更改)自动触发这些流水线,也可以由开发人员手动触发。原创 2024-05-02 03:42:50 · 1920 阅读 · 0 评论 -
快速构建自定义配置好的VM - 使用GCP instance-template 和 custom-image
简单来讲, instance-template 可以让用户定制1个 vm 的模板规格(cpu / mem/ vpc-network/ disk…)等image 系统镜像注意, 第2点并不是必须的, 如果我们在创建模板时没有指定镜像, 实际上创建出来的vm也是1台刚装好系统的vm.实际上, 第2点在我的测试中并不成功这里建议只用instance-template 去定义vm的规格。原创 2023-12-19 03:55:49 · 1056 阅读 · 0 评论 -
Google cloud 的VPC Network 虚拟局域网 介绍
相信很多人都知道, 要真正地掌握GCP, VPC 是1个避吾开的一关。VPC 的全称是 Virtual Private Cloud 虚拟私有云… 但是实际上, 我们提起它, 更多的是指的是VPC Network , 而不是VPC 本身。VPC Network 我们可以理解为它就是1个虚拟局域网.而 1个VPC network 中, 我们可以创建多个子网(subnet)。例如下面的表格包含了2个vpc network3个subnet, 其中 两个子网属于同1个vpc network。原创 2023-12-10 04:57:27 · 659 阅读 · 0 评论 -
让你的内网的GCE 也可以访问外网,Google Cloud Nat 介绍
Nat 的全程是 Network address tranformation , 网络地址转换…通常是1台具有双网卡 (双 ip)地址的机器, 1个公网ip, 1个内网ip功能是让局域网的各个内网主机可以通过这个Nat gatway , 去访问公网。但是公网是不能通过这个Nat gateway去访问指定内网主机的。是的, 我们的家用路由器实际上应该是1个Nat 网关, 而不是一台狭义的路由, 只不过名字叫路由器而已。原创 2023-12-05 02:47:09 · 675 阅读 · 0 评论 -
手动部署1个Cloud Run service
来自chatgpt:Google Cloud Run 是一项全托管的服务器托管平台,它允许您在容器化的环境中运行无服务器应用程序。Cloud Run 提供了一种简单而灵活的方式来构建、部署和扩展应用程序,无需管理底层基础设施。以下是 Cloud Run 的一些关键特点和功能:无服务器架构:Cloud Run 是一种无服务器计算平台,您只需要提供应用程序的容器镜像,而无需关注服务器的管理和配置。它会根据请求的负载自动扩展和缩减容器实例的数量,以确保您的应用程序能够处理任意数量的请求。原创 2023-12-01 04:07:52 · 490 阅读 · 0 评论 -
解决Spring Cloud Config API 暴露密码的问题
根据 https://blog.youkuaiyun.com/nvd11/article/details/126169409Spring Cloud config 可以方便地对配置内容加密解密, 但是即使我们完成了加解密。一旦某人知道config server的真实ip地址, 他可以通过下面的url 看到明文密码。...原创 2022-08-07 00:52:00 · 572 阅读 · 0 评论 -
Spring Cloud Config 对配置内容加密
一般在spring boot 项目中, 我们会写一个AES 加密的类, 并把加密解密的key写在项目或配置文件中。但 spring cloud config已经集成了这个功能。原创 2022-08-05 02:50:12 · 878 阅读 · 0 评论 -
Spring Cloud Config 入门
cloud.config.server.git.search-paths, 这个也关键, 如果没有这个配置, config server只会从git remote repo的根目录去找配置文件, 如果加上这个, 会参考各service的application name去子目录下查找。cloud.config.server.git.uri 这个是 git remote repo 的url, 我这里使用的ssh登陆模式。如图, 我创建了两个bootstrap 1个for prod, 1个 for uat...原创 2022-08-04 01:53:12 · 213 阅读 · 0 评论 -
创建公共的Feign api项目
在微服务框架中,假如有个Userserviceprovide了若干接口查询用户数据。而其他若干微服务,例如ordersevice,billservice,paymentservice都要访问userservice我们则会在这3个微服务都编写对应FeignClientforUserservice。font-size16px;fill#333;#552222;#552222;stroke#552222;2px;3.5px;0;3;2;#333333;stroke。.........原创 2022-07-25 02:39:20 · 839 阅读 · 0 评论 -
Http Client - OpenFeign 入门
OpenFeign是1个声明式客户端https官方介绍Feign的基本客户端代码定义1个Userservice的Client接口}其中包含了Get/usr/{id}LongidUser}是不是很简洁优雅,定义interface的写法就像是写controller使用的客户端的代码就像是简单调用另1个service函数OpenFeign内部已经继承Ribbon,默认就已经开启LoadBalancerItemdescremark。.........原创 2022-07-23 23:08:30 · 428 阅读 · 0 评论 -
Eureka 入门
对于这点,Eureka有个心跳续约机制,各个注册的微服务都必须每30秒发送1个请求给Eureka证明自己存在,否则就会被踢出注册中心,就避免消费者找到坏的提供者。很简单,当一个项目拥有多个微服务的时候,互相调用时,消费者(Consumer)需要记住提供者(provoide)的url地址。当其他微服务通过Eureka查找提供者地址时,Eureka会发送不同的提供者实例地址给消费者,就可以方便地实现负载均衡。在相应的springboot项目中,引用如Eureka相同的。.........原创 2022-07-22 01:27:25 · 307 阅读 · 0 评论 -
解决用docker 微服务注册Eureka的问题
但是如果这个微服务会被部署到不同的server,或者多个server,那么我们就不能把上面的配置项hardcode在配置文件中.这样注册后,instance_id的值还是不变的,亦即系讲在Eureka管理页面,你见到的仍然是。如果做足上面的三点,我相信用docker微服务注册Eureka的问题会被解决。所以个人建议只能保证微服务端口和docker容器映射的端口保持一样。但是上图的172.17.0.2只微服务所在容器内的ip地址。还有一样,微服务会吧程序在容器内的端口注册上Eureka....原创 2022-07-22 00:38:09 · 2254 阅读 · 0 评论 -
笔记 - AliCloud 云上安全防护 简介
DoS 攻击: 谷歌原创 2021-10-06 00:45:39 · 343 阅读 · 0 评论 -
笔记 - AliCloud CDN 分发网络简介
CDN Content Delivery Network 可以提高Client 访问server 的速度。解决最后1公里的传输质量加入当你的server locate在广州, 但是西安客户的访问就较慢。那么解决方案是, 在西安也放服务器, 这样的话成本很高。假如你想全国都能访问, 那么服务器很多, 而且数据同步成本高。CDN就是另1个相对低成本的方案。相当于源站的缓存。提前把数据准备在对应的CDN 加速节点中, 那么用户可以去最近都CDN的节点去访问数据。特别适合视频网站。CDN 可以按流..原创 2021-10-06 00:14:34 · 647 阅读 · 0 评论 -
笔记 - AliCloud 云数据库 简介
3个独立引擎,MySQL, PostgreSQL, Oracle.存储容量高达100TB, 单库最多可扩展到16个节点。计算和存储分离, 可以单独添加计算节点(性能)or存储节点(容量)所有计算节点share 同1份数据。多个read 节点(性能), 1 个write 节点(数据一致性)。集群 - 节点 - 数据库 , 多个节点里的数据库是一样的还是不建议备份时写数据一写多读: 1个写节点, 最多15 个读节点, 一旦写节点鼓掌, 读节点能马上变成写节点。计算存储分离: 省钱读写.原创 2021-10-05 22:30:19 · 1377 阅读 · 0 评论 -
笔记 - AliCloud Auto Scaling(弹性伸缩)简介
有时高峰期的访问量预测不准, 所以提前准备ECS不是很work弹性AS能根据CPU 使用率 来自动调整 ECS的数量先找1台可用的ECS 创建1个镜像, 然后利用镜像创建新的ECS。AS 本身不负责SLB, 所以要配合SLB来实现完整的功能。创建 伸缩组 , 伸缩配置, 伸缩规则, 伸缩触发任务。伸缩组冷却功能: - 减少伸缩活动的频率。 当伸缩事件触发后, 在冷却时间不会触发下次伸缩事件, 防止频繁触发伸缩活动导致业务不稳定。弹性伸缩不支持 提升单个ECS的配置, 例如cpu 内.原创 2021-10-05 15:13:23 · 592 阅读 · 0 评论 -
笔记 - Ali Cloud网络(VPC, SLB) 简介
VPC的概念VPC 全称 Virtual Private Cloud 虚拟私有云。是基于Ali Cloud构建的1个隔离带网络环境, 专有网络之间逻辑上彻底隔离。VPC 主要提供两个能力:用户可以自定义网络拓扑, 包括自有ip地址范围, 划分网段, 配置路由表和网关等;通过专线或VPN与原有数据中心连接, 云上和云下的资源使用同1个网络地址规划, 实现应用的平滑迁移上云。两个VPC 之间正常是隔离的, 无法相互通信。可以限制用于彼此互联。VPC的组成路由器:实现不同网络的互通, 是专有网络的原创 2021-10-05 00:20:28 · 3151 阅读 · 0 评论 -
笔记 - Ali Cloud 块存储简介
什么是块存储Ali Cloud 块存储的类型要性能(性价比)选本地, 要高性能可用性选云盘, 注意系统盘肯定是云盘。云盘只能被挂载在同地域同可用区的ECS中块存储于对象存储原创 2021-10-03 23:28:59 · 335 阅读 · 0 评论 -
笔记 - Ali Cloud OSS 简介 三种常见数据存储类型
OSS (Ojbect Storage Service)块存储定义:需要分区格式化才能使用, 以数据块为存储单位常见的存储结构, 家庭电脑就是这个结构。常见: 直接访问存储DAS, 存储区域网络SAN等。优点:技术成熟, 速度尚可缺点:不适合存放大文件,成本高(购置硬盘), 难以夸操作系统访问(例如windows很难访问linux格式的硬盘)文件存储由文件存储服务器NAS提供文件访问服务, 以文件为存储单位。常见: CIFS(samba 文件共享), NFS, 各种NAS产品优点:方便共原创 2021-10-03 21:44:21 · 1151 阅读 · 0 评论 -
笔记 - Ali cloud ESC 简介
1. 阿里云云服务器 ESC1.1 What is ESC ESC(Elastic Compute Service) is a computer service based on Iaas (infrastrcture as a Service) provided by Ali Cloud.1.2 ESC 的产品优势1.3 ESC 的实例规格2. 弹性裸金属服务器(神龙)3. ESC 的使用...原创 2021-09-28 22:01:56 · 292 阅读 · 0 评论