信息流产品内容处理系统设计
个人近几年一直从事信息流内容处理系统的架构设计和业务开发,过程中遇到不少坑,也收获不少经验,时间久了担心忘了,将“坑”和“经验”总结、分享出来,与大家一起成长!
jameswhale
腾讯、华为资深软件开发工程师,专注后台开发技术分享, 我的微信公众号是【jameswhale的技术人生】,希望与大家共成长!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何为信息流内容中心设计一个高效的处理链路,详解QQ看点在这方面的演进过程
Workflow Engine诞生的背景 这几年有幸主导QQ看点内容处理系统的架构设计与开发,见证了系统从0到1的演进过程,先来一张整体概图,让读者了解内容处理系统所处位置。 内容处理主要包括过滤、打标和内容本身的处理三部分,如下图所示: QQ看点初创阶段,每天的文章量非常少,图文5万篇/天,视频0.5万篇/天,内容中心的处理模块也只有10个左右。随着QQ看点业务的发展,目前每天的文章...原创 2019-11-19 00:09:21 · 688 阅读 · 0 评论 -
QQ看点内容中心存储系统介绍
本文主要介绍内容资讯类产品如何选择存储介质,在选取的时候应该做哪些维度的考量。同时也会介绍HBase是如何在Levledb、Rocksdb基础上做扩展,从而满足分布式可扩展要求的。原创 2019-11-10 17:59:22 · 1074 阅读 · 0 评论 -
视频基本概念以及在QQ看点内容中心的处理维度
引言 随着4G的普及,流量越来越便宜,在碎片时间能够毫无压力的刷视频内容。2018年春节抖音的火爆,全民都在刷抖音。据悉,抖音(包括海外版的TikTok)用户日产生短视频近百亿,一般来说,用户上传的短视频会自动加上对应短视频App的水印logo,我们今天就来聊一下视频处理。首先介绍一下视频基本概念和视频处理所用的API、工具。视频基本概念什么是视频?若有一组图片,以给定的速率(例如...原创 2019-11-09 23:50:55 · 1415 阅读 · 0 评论
分享