<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[didi_cloud的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/didi_cloud</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; didi_cloud]]></copyright><item><title><![CDATA[来，动手搭个简单的图片编辑器！]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/118543929</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/118543929</guid><author>didi_cloud</author><pubDate>Tue, 06 Jul 2021 22:13:13 +0800</pubDate><description><![CDATA[一 前言网页中有很多图片，我们经常需要对图片进行一些基本的加工和处理，常见操作的有裁剪、伸缩、旋转、加水印、格式转换等。本文将使用开源的技术，主要使用 ImageMagick 和 OpenResty，通过编写少量的 Lua 代码和 Nginx 配置文件修改，来实现一个简单的图片处理服务，ImageMagick 处理图片会略耗资源，因此我们对已经处理过的图片用Redis做缓存，相同的URL请求再次过...]]></description><category></category></item><item><title><![CDATA[大数据实践之Kafka未来之路]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/118543803</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/118543803</guid><author>didi_cloud</author><pubDate>Tue, 06 Jul 2021 22:06:18 +0800</pubDate><description><![CDATA[滴滴Kafka的使用规模应该算是在国内互联网领域里数一数二的企业，Kafka承载日增2PB的日志的流转和缓存，其下游要经受住100W + Producer同时写入数据，自身集群峰值可达 2000W/s，集群流量可达 30GB/s，集群中有2W+ topic、20+ cluster、单集群 370+ Broker，上游要对接3W+Consumer，最大数据消费可达600MB/s，面对这么大规模数据流...]]></description><category></category></item><item><title><![CDATA[滴滴如何基于开源引擎，打造自主可控服务体系]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117954892</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117954892</guid><author>didi_cloud</author><pubDate>Wed, 16 Jun 2021 12:48:37 +0800</pubDate><description><![CDATA[一、分享背景

在滴滴负责过LogAgent、Kafka、Flink、Elasticsearch、Clickhouse等开源大数据引擎服务体系建设工作，走过很多弯路，趟过很多坑，积累了一些实战经验；近年疫情肆虐，加速了企业数字化转型的步伐，与数十家互联网、金融、证券、教育企业进行了深度交流，大家对基于开源数据引擎建设自主、可控、安全的服务体系有强烈诉求，常见的困惑是如何基于开源引擎，结合企业特点与发展阶段，进行高ROI的服务体系建设。

二、建设实践

滴滴基于开源引擎搭建大数据基础设施...]]></description><category></category></item><item><title><![CDATA[滴滴高级专家工程师保姆级运维监控科普（五）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117811698</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117811698</guid><author>didi_cloud</author><pubDate>Thu, 10 Jun 2021 17:08:55 +0800</pubDate><description><![CDATA[在第一章里，我们对监控系统做了概要介绍，这一章，重点深入讲解监控数据采集。监控数据采集是整个监控系统的第一环节，小伙伴们搬个小板凳，注意听讲了。来，开篇一张图，内容全靠编，监控指标全景蓝图：说是监控指标全景蓝图，略有噱头之嫌，其实缺少了链路和端的监控指标，这个图描述的主要是服务端相关的指标。一、资源层面这个层面的指标，主要是包括各种硬件设备、操作系统等，比如通过ipmi采集到的一些风扇转速、CPU...]]></description><category></category></item><item><title><![CDATA[滴滴共享两轮车供需策略探讨]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117811700</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117811700</guid><author>didi_cloud</author><pubDate>Thu, 10 Jun 2021 16:11:15 +0800</pubDate><description><![CDATA[​​共享两轮车作为短途出行的重要工具，为用户的城市出行提供了极大便捷。由于用户的骑行会使得车辆在城市中的分布产生差异，所以为了更好地服务、满足用户的短途出行需求，需要一线运维同学对车辆进行调度，从而适应城市的供需状态变化。本篇文章将针对两轮车供需策略中的一个问题进行展开和探讨。1. 前言在短途出⾏场景中，共享两轮⻋是⼀种“所⻅即所得”的出⾏⽅式，⼀个地点是否有⻋，对于⽤户的使⽤体验和⽤户的需求满⾜...]]></description><category></category></item><item><title><![CDATA[中国信通院牵头、滴滴参与的三项云原生AI国际标准在ITU-T成功立项]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117774208</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117774208</guid><author>didi_cloud</author><pubDate>Wed, 09 Jun 2021 16:36:25 +0800</pubDate><description><![CDATA[1、前言云原生作为云计算的下一站，在重构IT架构的同时，也为更多垂直领域释放了新的技术红利与增长机遇。云原生对于资源与任务的灵活调度极大地满足了人工智能算法对更高算力、更高稳定性的需求。在此背景下，中国信息通信研究院（以下简称“中国信通院”）将云原生赋能人工智能（Artificial Intelligence，以下简称“AI”）的方法和规范抽象为标准推向国际电信联盟电信标准化部门ITU-T，在云计...]]></description><category></category></item><item><title><![CDATA[运维人员如何利用Logi-KafkaManager了解、管控Kafka集群]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117532072</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117532072</guid><author>didi_cloud</author><pubDate>Thu, 03 Jun 2021 18:38:21 +0800</pubDate><description><![CDATA[前面的文章中，我们简单介绍了如何接入集群，以及Topic的申请和配额申请。这个时候，我们还不是很了解Logi-KafkaManager究竟有哪些优点，还有如何去管理如此众多的kafka集群。



那么今天这篇文章，就让我们来详细了解一下——运维人员是如何去了解和管控我们所有的集群的。



A.运维管控



运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的。



B.接入集群



如何接入集群请看往期内容优快云好文分享 | Kafka的灵魂伴侣滴滴Logi-KafkaManage...]]></description><category></category></item><item><title><![CDATA[滴滴在测试环境探索与实践中的四种模式]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117516545</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117516545</guid><author>didi_cloud</author><pubDate>Wed, 02 Jun 2021 19:02:12 +0800</pubDate><description><![CDATA[持续稳定并体验良好的测试环境，一直是影响产品迭代效率和稳定性的关键环节，也是DevOps自动化测试环节中最具挑战的一环，滴滴在测试环境上的探索从公司成立之初就从未停止，在这过程中沉淀了很多宝贵的经验和教训。本文细数滴滴在测试环境的发展历程，希望能给大家带来一些启发。1. 前言伴随着滴滴的不断成长，业务复杂度与日俱增，团队在协作和迭代效率问题上日益严重，"微服务"成了很多公司解决上述问题的必经之路，...]]></description><category></category></item><item><title><![CDATA[从Kafka版本迭代，一窥未来趋势]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117474711</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117474711</guid><author>didi_cloud</author><pubDate>Wed, 02 Jun 2021 17:01:59 +0800</pubDate><description><![CDATA[滴滴Kafka的使用规模应该算是在国内互联网领域里数一数二的企业，Kafka承载日增2PB的日志的流转和缓存，其下游要经受住100W + Producer同时写入数据，自身集群峰值可达 2000W/s，集群流量可达 30GB/s，集群中有2W+ topic、20+ cluster、单集群 370+ Broker，上游要对接3W+Consumer，最大数据消费可达600MB/s，面对这么大规模数据流转和分发虽然也会遇到因为Kafka磁盘IO热点导致的集群生产消费雪崩；或者因为Topic资源隔离差，流量突增、回]]></description><category></category></item><item><title><![CDATA[滴滴高级专家工程师保姆级运维监控科普（四）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117357803</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117357803</guid><author>didi_cloud</author><pubDate>Thu, 27 May 2021 18:07:33 +0800</pubDate><description><![CDATA[上一节给大家介绍了监控指标在code层面的数据结构，这一节讲解一下监控数据从采集到传输到处理的整个架构流程，大部分监控系统都超脱不了这个架构，理解本篇，就理解了大部分监控系统的架构啦。一、数据采集这块的手段比较多样，整体上会有这么几种情况，下面挨个讲解。1，在目标机器上部署agent这种是最常见的方式，互联网公司大都采用这种方式，agent部署上去，就可以自动采集一些cpu、内存、磁盘、io、网络...]]></description><category></category></item><item><title><![CDATA[JavaScript引擎深入剖析(一)：JSValue 的内部实现]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117088596</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117088596</guid><author>didi_cloud</author><pubDate>Thu, 20 May 2021 19:00:37 +0800</pubDate><description><![CDATA[在我们 Hummer 跨端技术框架 的研发过程中，不可避免会对 JavaScript 引擎有所探索和研究。只有深入了解了 JavaScript 的工作原理，才能在跨端研发的诸多细节上避免踩坑，并且做出更好地调优工作。对于很多前端同学来说，JavaScript 引擎就像一个难以触及的黑盒，既熟悉又陌生，因为它被内置在了浏览器内核中。即使在平时开发过程中天天和 JavaScript 引擎打交道，但大多也只是知道 JavaScript 引擎可以解释执行 JavaScript 代码，对于其内部实现原理并不是特别了解]]></description><category></category></item><item><title><![CDATA[滴滴高级专家工程师保姆级运维监控科普（三）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117115138</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117115138</guid><author>didi_cloud</author><pubDate>Thu, 20 May 2021 18:19:10 +0800</pubDate><description><![CDATA[上一章我们大体看到了Linux、Redis相关的一些指标，大伙可能对监控指标是啥有了个大概了解。那在监控系统里，怎么表示一条指标呢？本章来解释这个问题。比如我们要监控Linux系统的CPU、内存相关指标，我们通常会部署一个daemon进程在OS上，然后周期性去采集相关指标，上报给监控服务端。采集到的数据推送给服务端，具体是推送了个啥数据结构？我们来看看各个系统的实现。1、Open-Falcon指标...]]></description><category></category></item><item><title><![CDATA[Logi-KafkaManger之kafka针对Topic粒度的配额管理(限流)]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/117032871</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/117032871</guid><author>didi_cloud</author><pubDate>Wed, 19 May 2021 16:00:54 +0800</pubDate><description><![CDATA[项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台

本文主要是讲解 针对Topic生产/消费 的限流配置; 如果不需要设置限流 则可忽略;

申请配额(限流)

不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理（限速）机制
默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:

user + clientid
user
clientid
如果kafka集群没有开启身份认证，]]></description><category></category></item><item><title><![CDATA[滴滴高级专家工程师保姆级运维监控科普（二）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116841286</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116841286</guid><author>didi_cloud</author><pubDate>Fri, 14 May 2021 13:53:00 +0800</pubDate><description><![CDATA[监控指标的完备程度，是衡量一个监控系统优劣的重要因素。指标不仅是个名称+数值，更蕴含了目标监控对象的领域知识，理解指标，会加深对目标领域的认知。——晓辉说。前言很多用户来问，这个指标是什么意思，那个指标是什么意思，解释半天也解释不明白，核心原因是，用户对他要监控的目标本身就缺乏知识。比如Nightingale里的一个net.in.dropped指标，表示入方向的网卡每秒丢包量，如果你从来没有执行过...]]></description><category></category></item><item><title><![CDATA[连续因果森林模型在网约车交易市场策略上的应用]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116710406</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116710406</guid><author>didi_cloud</author><pubDate>Wed, 12 May 2021 15:42:37 +0800</pubDate><description><![CDATA[近年来，因果推断逐渐成为了机器学习中的热点话题。增益模型（Uplift Model）作为工业界因果推断与机器学习结合最成熟的算法之一，在智能营销中有着广泛的应用。但是目前大多数增益模型仅讨论了二元处理变量情况下的处理效应估计，然而在网约车市场中存在大量多维、连续的处理变量。针对这一困境，我们构造了连续因果森林模型，并成功地应用在了网约车交易市场策略上。

1.前言



在网约车供需策略技术基础能力团队，我们最关注的工作之一就是量化价格对网约车供需关系的影响。这对于精细化定价补贴策略的制定和优化有着重要的.]]></description><category></category></item><item><title><![CDATA[Kafka的灵魂伴侣Logi-KafkaManger集群介入及相关概念]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116537592</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116537592</guid><author>didi_cloud</author><pubDate>Sat, 08 May 2021 18:30:46 +0800</pubDate><description><![CDATA[今天给大家介绍一下，由滴滴开源的kafka的管理运维平台——Kafka的灵魂伴侣Logi-KafkaManger。

经过博主一番体验下来，感觉相比之前用过的所有kafka管理平台都要出色，所以在此开设一个专栏给大家介绍。

对于这款kafka的灵魂伴侣Logi-KafkaManger，大家完全可以顺着我的专栏文章顺序一篇一篇的阅读，看完全部专栏保准你对整个平台的应用炉火纯青 ???? ~

如果有疑问可以在评论区留言或者看本文最下方加官方小助手微信进官方群提问！

文章中如有错误❎ ~ 烦请提醒博主纠正✅]]></description><category></category></item><item><title><![CDATA[【滴滴专家小课堂】0门槛！小白都能看懂的运维监控课！（一）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116500176</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116500176</guid><author>didi_cloud</author><pubDate>Fri, 07 May 2021 19:05:35 +0800</pubDate><description><![CDATA[本文作者：秦晓辉-滴滴夜莺项目负责人、滴滴高级专家工程师

写在前面

笔者从Open-Falcon开源到现在，从事运维监控领域相关工作差不多7年，在做Open-Falcon和Nightingale的社区答疑过程中发现，有大量的小白问题，很多是因为对这个领域缺乏基础认识，所以，想写一个针对入门级用户的系列文章，做一下知识的普及。

另外，监控这个事情，其实也是研发人员走到某个段位之后必须要了解的。因为监控是稳定性体系建设中最重要的一环，普通研发人员往架构师转变，需要了解更多横向的知识，比如持续集成、服务治理]]></description><category></category></item><item><title><![CDATA[滴滴高级专家工程师保姆级运维监控科普（一）]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116522245</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116522245</guid><author>didi_cloud</author><pubDate>Fri, 07 May 2021 18:39:25 +0800</pubDate><description><![CDATA[写在前面笔者从Open-Falcon开源到现在，从事运维监控领域相关工作差不多7年，在做Open-Falcon和Nightingale的社区答疑过程中发现，有大量的小白问题，很多是因为对这个领域缺乏基础认识，所以，想写一个针对入门级用户的系列文章，做一下知识的普及。另外，监控这个事情，其实也是研发人员走到某个段位之后必须要了解的。因为监控是稳定性体系建设中最重要的一环，普通研发人员往架构师转变，需...]]></description><category></category></item><item><title><![CDATA[小样本学习在滴滴治理和安全场景应用]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/116049333</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/116049333</guid><author>didi_cloud</author><pubDate>Thu, 22 Apr 2021 19:33:52 +0800</pubDate><description><![CDATA[滴滴作为一家网约车交易平台，乘客和司机的体验和安全是其核心壁垒之一。在体验和安全优化过程中，缺少准确而大量的标注样本，是制约模型效果、进而影响业务优化的重要技术难题。在滴滴，我们使用few shot的方法，在治理和安全场景做了大量的探索，形成了一套系统的解决方案。1. 相关工作▍1.1 基本理论小样本学习技术主要研究如何利用少量有监督样本来解决机器学习任务。经常被提起的还有半监督学习，其主要区别在...]]></description><category></category></item><item><title><![CDATA[滴滴夜莺FAQ：滴滴夜莺v3版本升级相关问题]]></title><link>https://blog.youkuaiyun.com/didi_cloud/article/details/115900393</link><guid>https://blog.youkuaiyun.com/didi_cloud/article/details/115900393</guid><author>didi_cloud</author><pubDate>Mon, 19 Apr 2021 16:09:29 +0800</pubDate><description><![CDATA[滴滴夜莺v3大版本有很多小版本，当前最新的版本已经是v3.7.0，对于不同的版本升级，经常会收到各种问题，这里统一解答一下。不同的版本差异在哪里，以及如何升级，都在changelog里有写，changelog是个文件，在夜莺的代码根目录下可以找到。针对不同版本，我们会提供编译好的二进制（适用于64位Linux）和前端包，下载地址在releases页面可以看到：https://github.com/...]]></description><category></category></item></channel></rss>