<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hack1015的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/hack1015</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; hack1015]]></copyright><item><title><![CDATA[DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/123265214</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/123265214</guid><author>hack1015</author><pubDate>Thu, 03 Mar 2022 22:02:37 +0800</pubDate><description><![CDATA[背景
MySQL库A 到 MySQL库B的增量数据同步需求 
DolphinScheduler中配置DataX MySQL To MySQL工作流
工作流定义
工作流定义 &gt; 创建工作流 &gt; 拖入1个SHELL组件 &gt; 拖入1个DATAX组件
SHELL组件(文章)
脚本 
echo &#39;文章同步 MySQL To MySQL&#39;DATAX组件(t_article)
用到2个插件mysqlreader^[1]、mysqlwriter^[2]
选 自定义模板：
{
    &q.]]></description><category></category></item><item><title><![CDATA[DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/123242224</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/123242224</guid><author>hack1015</author><pubDate>Wed, 02 Mar 2022 22:32:56 +0800</pubDate><description><![CDATA[数据同步的方式
数据同步的2大方式

基于SQL查询的 CDC(Change Data Capture)：
离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取；
无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；
不保障实时性，基于离线调度存在天然的延迟;
工具软件以Kettle（Apache Hop最新版）、DataX为代表,需要结合任务调度系统使用。


基于日志的 CDC：
实时消费日志，流处理，例如 MySQL 的 bin.]]></description><category></category></item><item><title><![CDATA[使用微创联合M5S空气检测仪、树莓派3b+、prometheus、grafana实现空气质量持续监控告警WEB可视化]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/109405630</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/109405630</guid><author>hack1015</author><pubDate>Sat, 31 Oct 2020 17:32:49 +0800</pubDate><description><![CDATA[1.简介
使用微创联合M5S空气检测仪、树莓派3b+、prometheus、grafana实现空气质量持续监控告警WEB可视化
grafana dashboard效果：

2.背景
2.1 需求：
1.过段时间公司要搬新办公室，较多同事担心甲醛(HCHO)、异味（TVOC）这些重要的空气指标，所以需要能够对其检测
2.能够把这些空气指标进行WEB展示
3.监控告警关心的空气指，告警发送到钉钉群
2.2 已有硬件：
树莓派3b+ （长期吃灰中）以下简称树莓派
微创联合M5S空气检测仪（版本：M5S温湿+锂电+]]></description><category></category></item><item><title><![CDATA[解决问题黄金三步：定义问题—分解问题—归]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/106173768</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/106173768</guid><author>hack1015</author><pubDate>Sun, 17 May 2020 14:06:30 +0800</pubDate><description><![CDATA[转载，原文 张建飞（Frank）解决问题黄金三步：定义问题—分解问题—归
我们经常说软件开发中，没有银弹。的确，单看软件领域，很少有什么方法论是普适的。然而再拔高一些，跳出软件的范畴，是有一些东西是普世的，比如老子说的“道”。
好吧，“道”说的有点大。不过，最近我的确有一个新发现——我发现“归类分组”在我们解决问题中起着巨大的作用。而这里的“问题”不仅仅限于软件设计，从日常生活、产品设计到公司战略、生物分类。都有它的身影。
这是为什么呢？究其原因可能有两个：
一、归类分组是抽象的重要方法，解决复杂问题我们离]]></description><category></category></item><item><title><![CDATA[Sentry实时应用错误跟踪系统在Kubernetes中私有化部署]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/105624707</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/105624707</guid><author>hack1015</author><pubDate>Sun, 19 Apr 2020 23:06:27 +0800</pubDate><description><![CDATA[应用错误跟踪系统：对软件系统运行过程中产生的错误日志进行收集从而实现监控告警。
虽然软件错误❌是不可避免的，但是可以降低错误数。
提高对错误的治理能力能让错误带来的损失降到最低 ​???????? 。
错误日志监控在最顶层的业务层监控,有他将会帮助你打造更好的软件！
我们需要业务场景下自己发现Bug的速度快于用户报告Bug的速度，毕竟让用户报告已经晚了。
典型的这套系统的架构：错误日志(前端、后端)  =&g...]]></description><category></category></item><item><title><![CDATA[Kubernets中获取客户端真实IP总结]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/105624669</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/105624669</guid><author>hack1015</author><pubDate>Sun, 19 Apr 2020 23:03:58 +0800</pubDate><description><![CDATA[1. 导言
绝大多数业务场景都是需要知道客户端IP的
在k8s中运行的业务项目，如何获取到客户端真实IP？
本文总结了通行的2种方式
要答案的直接看方式一、方式二和总结
SEO 关键字
nginx ingress客户端真实ip
kubernets获取客户端真实ip
rke获取客户端真实ip
rancher获取客户端真实ip
本文由 www.iamle.com 流水理鱼 原创，wx公众号同名
1.1...]]></description><category></category></item><item><title><![CDATA[Kubernets中获取客户端真实IP总结]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/105335468</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/105335468</guid><author>hack1015</author><pubDate>Sun, 05 Apr 2020 22:45:08 +0800</pubDate><description><![CDATA[1. 导言
绝大多数业务场景都是需要知道客户端IP的
在k8s中运行的业务项目，如何获取到客户端真实IP？
本文总结了通行的2种方式
要答案的直接看方式一、方式二和总结
SEO 关键字
nginx ingress客户端真实ip
kubernets获取客户端真实ip
rke获取客户端真实ip
rancher获取客户端真实ip
本文由 www.iamle.com 流水理鱼 原创，wx公众号同名
1.1...]]></description><category></category></item><item><title><![CDATA[Cloud Native 云原生时代如何不落伍？]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/104227684</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/104227684</guid><author>hack1015</author><pubDate>Sat, 08 Feb 2020 20:13:06 +0800</pubDate><description><![CDATA[1.综述
一句话： 关注 CNCF 基金会 Cloud Native  云原生互动全景图
CNCF云原生互动全景图打开网站，全景图是可以点击的，在图中找你关注的领域
2.找到你关注的分类领域
比如我关注“API Gateway API网关”，就点击他的图标就可以看到相关信息APISIX
KrakenD
非常直观的一个概览项目开发语言，代码提交柱状图，等开源代码维护情况信息
可以说CNCF的全景图...]]></description><category></category></item><item><title><![CDATA[Golang写的程序注入一些版本信息，Debug速度自然快几倍！]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103949768</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103949768</guid><author>hack1015</author><pubDate>Sun, 12 Jan 2020 21:15:29 +0800</pubDate><description><![CDATA[背景
Go程序运行时打印git提交信息编译信息Golang编译信息注入程序当在debug的过程中，我们需要明确当前运行的go程序是什么版本不要浪费时间在确认版本的问题上在go build编译的时候是可以注入外部参数的让go程序在运行的时候就可以打印编译时候的参数情况
以gitlab-runner为例
gitlab-runner -v
Version:      11.10.1
Git revisi...]]></description><category></category></item><item><title><![CDATA[开源API网关，你选对了么？]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103916752</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103916752</guid><author>hack1015</author><pubDate>Thu, 09 Jan 2020 22:32:36 +0800</pubDate><description><![CDATA[开源API网关，你选对了么？
api网关的本质
不用扯那么多，也不用画图，一句话说清楚api网关：流量总入口，得以集中控制！就这么简单
api网关协议上最基本要支持HTTP 和 WebSocket，功能强大点的更会支持tcp/udp的负载均衡接入正因为支持的是http协议，所以api网关不仅仅可以作为 RESTful API 接入，接入带页面的web都可以的，完全可以当成一个web负载均衡器使用
...]]></description><category></category></item><item><title><![CDATA[Service Mesh服务网格清单]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103747680</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103747680</guid><author>hack1015</author><pubDate>Sat, 28 Dec 2019 19:28:16 +0800</pubDate><description><![CDATA[Service Mesh服务网格清单

Istio
Istio官网Istio中文官网Istio开源无需太多介绍Service Mesh明日之星，扛把子，截止2019.11还有太多问题没解决复杂性，性能让人望而却步，能上生产的是真要技术厉害，还得内心强大，项目允许
Linkerd
Linkerd官网Linkerd中文官网A service mesh for Kubernetes and beyond...]]></description><category></category></item><item><title><![CDATA[使用Portainer集中管理多地域内网运行的Docker实例]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103623959</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103623959</guid><author>hack1015</author><pubDate>Thu, 19 Dec 2019 21:40:20 +0800</pubDate><description><![CDATA[1. 单机运行的Docker
容器化部署是现在进行时，开源应用大多数支持容器化部署在少量机器的场景下往往采用docker cli 和 docker-compose管理，进行“单机式管理”机器稍多点会采用Docker Swarm群集的方式，毕竟k8s稍重如果有更多的机器情况下一般会采用k8s的方式在个人、创业公司、小团队的场景下我们往往在多个云、家里、vps上拥有少量虚拟机服务器，这些服务器上都运行...]]></description><category></category></item><item><title><![CDATA[API接口访问频次限制 / 网站恶意爬虫限制 / 网站恶意访问限制 方案]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103586611</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103586611</guid><author>hack1015</author><pubDate>Tue, 17 Dec 2019 19:56:07 +0800</pubDate><description><![CDATA[API接口访问频次限制 / 网站恶意爬虫限制 / 网站恶意访问限制 方案
采用多级拦截,后置拦截的方式体系化解决
1 分层拦截

1.1 第一层 商业web应用防火墙(WAF)
直接用商业服务
传统的F5硬件,不过现在用的很少了云时代就用云时代的产品,典型代表 阿里云 web应用防火墙
1.2 第二层 API 网关(API Gateway)层
API 网关(API Gateway)
kong为代表...]]></description><category></category></item><item><title><![CDATA[让外部的开发机直接访问Kubernetes群集内的服务！]]></title><link>https://blog.youkuaiyun.com/hack1015/article/details/103570408</link><guid>https://blog.youkuaiyun.com/hack1015/article/details/103570408</guid><author>hack1015</author><pubDate>Mon, 16 Dec 2019 21:19:35 +0800</pubDate><description><![CDATA[1.场景
容器化 K8s编排已经是现在进行时把网站的多个项目设计为云原生（Cloud Native）或老项改造为云原生可以获得诸多能力例如无云绑定、弹性、部署环境一致性、微服务、DevOps、持续交付同时下一代微服务框架 服务网格（ServiceMesh） 也能无痛接入
博主现有项目后端开发语言为 PHP、GolangGolang做一些基础公共服务（短信、消息、搜索等）这些公共服务化的项目已经容器...]]></description><category></category></item></channel></rss>