- 博客(22)
- 收藏
- 关注
RSS订阅
原创 视频基本概念以及在QQ看点内容中心的处理维度
引言 随着4G的普及，流量越来越便宜，在碎片时间能够毫无压力的刷视频内容。2018年春节抖音的火爆，全民都在刷抖音。据悉，抖音（包括海外版的TikTok）用户日产生短视频近百亿，一般来说，用户上传的短视频会自动加上对应短视频App的水印logo，我们今天就来聊一下视频处理。首先介绍一下视频基本概念和视频处理所用的API、工具。视频基本概念什么是视频？若有一组图片，以给定的速率（例如...
2019-11-09 23:50:55
1369
原创 一种使用 AWS 云原生服务部署高可用 APACHE AIRFLOW 集群的方案
背景介绍很多机器学习、数据湖、自动驾驶项目都会用到Apache Airflow， Apache Airflow是一个以编程方式创作、安排和监控工作流的平台， 它将工作流创作为任务的有向无环图 ( DAG )， 调度程序遵循指定依赖项来执行任务， 丰富的用户界面使生产中运行的管道可视化、进度监控和问题定位变得容易。当工作流被定义为代码时，它们变得更加可维护、可版本化、可...
2022-08-10 21:58:27
959
原创 谷歌云计算平台GCP介绍
云计算的概况国内外多个大厂都提供了自己的云计算平台，包括亚马逊的AWS，微软的Azure，Google的GCP(Google Cloud Platform)，国内的有腾讯云，阿里云，华为...
2020-10-08 11:16:42
13591
2
原创 从虚拟机到容器，详谈各种服务虚拟化技术及其应用场景
前言近几年容器（Container）、Kubernetes等技术在数据中心、云计算、各互联网公司的业务服务中得到广泛应用，和20世纪60年代就兴起的虚拟机（Virtual Machine...
2020-06-01 22:20:16
3315
原创 Redis基础知识总结（面试必备）
Redis组件因其开源免费、出色的读写性能，备受广大互联网公司的热爱，许多公司用Redis作为缓存来抗住C端的请求，若没有Redis，许多公司的业务将不堪一击。Redis可以作为单机缓存...
2020-04-18 07:52:47
457
原创 详解固态硬盘的有趣知识及其底层原理
引言在随机IO访问场景下，固态硬盘（Solid State Drive，简称为 SSD）比传统机械硬盘（Hard Disk Drive，简称 HDD）快了大概2~3个数量级，随着闪存价格...
2020-03-28 07:20:50
2386
原创 跳表（SkipList）数据结构介绍
使用场景跳表（Skiplist）是一个特殊的链表，相比一般的链表，有更高的查找效率，可比拟二叉查找树，平均期望的查找、插入、删除时间复杂度都是O(logn)，许多知名的开源软件（库）中的...
2020-03-14 21:02:40
804
原创 基本数据结构介绍及其C++实现（上）
数组、链表、队列、栈、树、图是最基本的数据结构，其中“数组、链表、队列、栈”属于线性结构，每个节点只有一个前节点和后节点（若不是循环线性结构，头节点没有前节点，尾节点没有后节点），“树、...
2020-03-08 15:49:00
528
原创 RocksDB内部数据组织方式介绍及性能压测
RocksDB和LevelDB都属于嵌入式数据库，内部没有设计成C/S网络结构，必须和服务部署在同一台服务器。LevleDB是Google的两位Fellow（Jeaf Dean和Sanj...
2020-02-25 19:43:31
950
原创 详解计算机领域最重要的技术之一《地址转换》
地址转换（Address Translation）负责将虚拟地址转换成物理地址，正因为有了这层转换，好多技术才可以发展起来，比如虚拟机、容器、沙盒等，其中的Page Table以及Cache（提高查找效率）的设计思想也被其他路由（查找）系统借鉴着。
2020-01-29 16:47:48
2453
原创 聊一聊计算机科学领域最重要的抽象之一，地址转换
地址转换（Address Translation）负责将虚拟地址转换成物理地址，正因为有了这层转换，好多技术才可以发展起来，比如虚拟机、容器、沙盒等，其中的Page Table以及Cac...
2020-01-27 17:58:50
245
原创 java知识点总结
本文列举一下java的重要知识点，做一下知识总结和沉淀。1.JRE、JDK、J2SE、Java SEJRE仅包含运行java程序的必须组件，包括java虚拟机以及java核心类库。JD...
2020-01-24 19:51:28
187
原创 C++11新特性总结（相比C++98）
本文列举一下C++11相比C++98的一些重要变化，做一下知识总结和沉淀。1. C++11 新增_Pragma("once")来保证头文件只会被include一次，用以代...
2020-01-20 22:49:08
1101
原创 为了提升用户阅读体验，信息流产品是如何避免给用户推荐重复内容？
记得去年某个时候，某一款内容资讯产品的Feeds流持续1天刷到重复的内容，从产品角度讲，这无形中浪费了很多推荐位资源，若换成广告位则是直接的收入损失。当时特意看了一下，文章的ID（url...
2020-01-07 19:04:09
1069
原创 详解操作系统内核对线程的调度算法
操作系统内核对线程的调度非常有意思，因为他的一系列思想和方法论都能从生活和业务开发中找到影子，比如：超市收银台会分多个收银通道，快速通道针对那些提篮子的客户，慢速通道针对那些推购物车的客...
2019-12-16 00:52:38
1202
原创 操作系统知识之内核与进程学习总结
引言操作系统内核的很多设计思想对计算机科学的其他领域和上层应用业务都有很好的借签意义，例如，”错误隔离（Fault Isolation）“思想，某个应用程序的错误不能影响到其他应用程序，...
2019-12-06 01:14:20
670
原创 如何为信息流内容中心设计一个高效的处理链路，详解QQ看点在这方面的演进过程
Workflow Engine诞生的背景 这几年有幸主导QQ看点内容处理系统的架构设计与开发，见证了系统从0到1的演进过程，先来一张整体概图，让读者了解内容处理系统所处位置。 内容处理主要包括过滤、打标和内容本身的处理三部分，如下图所示: QQ看点初创阶段，每天的文章量非常少，图文5万篇/天，视频0.5万篇/天，内容中心的处理模块也只有10个左右。随着QQ看点业务的发展，目前每天的文章...
2019-11-19 00:09:21
652
原创 如何为信息流内容中心设计一个高效的处理链路，简单聊聊QQ看点在这方面的演进过程...
Workflow Engine诞生的背景这几年有幸主导QQ看点内容处理系统的架构设计与开发，见证了系统从0到1的演进过程，先来一张整体概图，让读者了解内容处理系统所处位置。内容处理主要包...
2019-11-14 00:46:01
301
原创 QQ看点内容中心存储系统介绍
本文主要介绍内容资讯类产品如何选择存储介质，在选取的时候应该做哪些维度的考量。同时也会介绍HBase是如何在Levledb、Rocksdb基础上做扩展，从而满足分布式可扩展要求的。
2019-11-10 17:59:22
1003
原创 浅析信息流产品内容中心的存储
存储系统对一个产品的数据安全、服务可扩展性有着重要影响，今天结合信息流内容的特点，介绍信息流产品内容处理系统的存储选择以及对应的考量。下图是内容处理系统在整个信息流产品中的位置：...
2019-11-10 17:51:12
336
原创 简单聊聊视频基本概念以及在信息流内容中心的处理
随着4G网络的普及以及5G网络的展开，单位流量越来越便宜，人们从而能在碎片时间内通过移动网络毫无压力的观看视频内容。抖音在2018年春节突然火爆，全民都在刷抖音，据悉，抖音（包括...
2019-11-09 01:31:03
826
原创 Mac OS上使用ffmpeg的“血泪”总结
这几天在整理视频相关的处理流程，为了获得一些性能数据，打算在自己的MacBook pro 上面装ffmepg，这一折腾4、5天就过去了。有些问题，在解决之后就豁然开朗了，没有解决之前，真的是百思不得其解，中间就好像隔着一层纱一下。现在将这几天的经历记录下来，一是方便自己后面查看，二是希望节省大家的时间。 我的Mac OS版本是macOS Catalina 10.15.1，Xcode版本是...
2019-11-03 17:35:09
10616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人