信息流产品内容处理系统设计
关注
分享
扫一扫
个人近几年一直从事信息流内容处理系统的架构设计和业务开发，过程中遇到不少坑，也收获不少经验，时间久了担心忘了，将“坑”和“经验”总结、分享出来，与大家一起成长！
jameswhale
腾讯、华为资深软件开发工程师，专注后台开发技术分享, 我的微信公众号是【jameswhale的技术人生】，希望与大家共成长！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何为信息流内容中心设计一个高效的处理链路，详解QQ看点在这方面的演进过程
Workflow Engine诞生的背景 这几年有幸主导QQ看点内容处理系统的架构设计与开发，见证了系统从0到1的演进过程，先来一张整体概图，让读者了解内容处理系统所处位置。 内容处理主要包括过滤、打标和内容本身的处理三部分，如下图所示: QQ看点初创阶段，每天的文章量非常少，图文5万篇/天，视频0.5万篇/天，内容中心的处理模块也只有10个左右。随着QQ看点业务的发展，目前每天的文章...原创 2019-11-19 00:09:21 · 688 阅读 · 0 评论 -
QQ看点内容中心存储系统介绍
本文主要介绍内容资讯类产品如何选择存储介质，在选取的时候应该做哪些维度的考量。同时也会介绍HBase是如何在Levledb、Rocksdb基础上做扩展，从而满足分布式可扩展要求的。原创 2019-11-10 17:59:22 · 1074 阅读 · 0 评论 -
视频基本概念以及在QQ看点内容中心的处理维度
引言 随着4G的普及，流量越来越便宜，在碎片时间能够毫无压力的刷视频内容。2018年春节抖音的火爆，全民都在刷抖音。据悉，抖音（包括海外版的TikTok）用户日产生短视频近百亿，一般来说，用户上传的短视频会自动加上对应短视频App的水印logo，我们今天就来聊一下视频处理。首先介绍一下视频基本概念和视频处理所用的API、工具。视频基本概念什么是视频？若有一组图片，以给定的速率（例如...原创 2019-11-09 23:50:55 · 1415 阅读 · 0 评论