
大数据
文章平均质量分 93
数据即未来
菠萝科技
"Java并没有衰落.而是刚刚开始"
展开
-
美团点评旅游搜索召回策略的演进
本文内容与6月22日第22期美团点评技术沙龙“美团点评AI实践”主题演讲一致,欢迎大家去现场和作者交流。关注“美团点评技术团队”微信公众号,第一时间获取沙龙最新信息,还可以查阅往期沙龙PPT/视频。美团点评作为最大的生活服务平台,有丰富的品类可供用户选择,因此搜索这个入口对各业务的重要性不言而喻,除了平台搜索外,业务搜索系统的质量和效果对用户体验、商家曝光、平台交易也有着关键作用。相对美团点评平台的O2O检索,旅游搜索系统主要面临以下几点挑战:本异地差异大。在本地生活场景中用户的搜索需求往往转载 2021-07-25 19:06:28 · 767 阅读 · 0 评论 -
flink:RoaringBitmap在亿级用户实时UV精确去重中应用
RoaringBitmap 是压缩位图,其性能往往优于传统的压缩位图,例如 WAH、EWAH 或 Concise。某些情况下可以快数百倍,甚至可以比未压缩的位图更快。RoaringBitmap 常用于去重、标签筛选、时间序列等计算中。原创 2021-07-04 21:14:31 · 2517 阅读 · 3 评论 -
分库分表方案对比
房晓乐(葱头巴巴),PingCAP 资深解决方案架构师,前美团数据库专家、美团云 CDS 架构师、前搜狗、百度资深 DBA,擅长研究各种数据库架构,NewSQL 布道者。原文链接:https://dbaplus.cn/news-11-1854-1.html一、分库分表的背景在谈论数据库架构演变和优化时,我们经常会听到分片、分库分表(Sharding)这样的关键词,在很长一段时间内,在各个公司、各中技术论坛里都很热衷谈论各种分片方案,尤其是互联网非常普及的 MySQL 数据库。但对笔者来说,分片、转载 2020-10-17 15:22:18 · 3175 阅读 · 1 评论 -
基于 Flink+Hive 构建流批一体准实时数仓
作者 | 李劲松(之信)策划 | 蔡芳芳转载自:https://weibo.com/ttarticle/p/show?id=2309404557437377053321#_0基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致重复开发。想要搭建.原创 2020-10-08 10:04:48 · 1283 阅读 · 0 评论 -
Kafka和RocketMQ底层存储之那些你不知道的事
我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的,那为什么消息存磁盘读写还可以这么快?有没有做了什么优化?都是存磁盘它们两者的实现之间有什么区别么?各自有什么优缺点?今天我们就来一探究竟。存储介质-磁盘一般而言消息中间件的消息都存储在本地文件中,因为从效率来看直接放本地文件是最快的,并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话,就多一个依赖少一份安全,并且还有网络的开销。那对于将消息存入磁盘文件来说一个流程的瓶颈就是磁盘的写入和读取。我们知道磁盘相对而言读写速度较转载 2020-08-22 11:40:55 · 642 阅读 · 0 评论 -
Apache Flink 1.9.0做了这些修改
阿里妹导读:8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更,修改代码达150万行,接下来,我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。Flink 1.9.0是阿里内部版本 Blink 合并入 Flink 后的首次发版,修改代码150万行,此次发版不仅在结构上有重大变更,在功能特性上也更加强大与完善。本文将为大家介绍 Fli转载 2020-06-26 18:43:25 · 374 阅读 · 0 评论 -
Flink 在快手实时多维分析场景的应用
视频:Apache Flink在快手实时多维分析场景的应用 | 企业实践专场6 人赞同了该文章简介:作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。作者:董亭亭、徐明摘要:作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主..转载 2020-06-26 21:16:50 · 627 阅读 · 0 评论