
引擎优化篇
海角天涯_945
这个作者很懒,什么都没留下…
展开
-
Java 性能监控工具 Stagemonitor 在推荐架构中的应用详解
随着业务增长,推荐架构 Java 服务的压力也逐渐增加。为了及时处理应用程序性能问题,定位故障并分析原因,我们迫切需要一款能够提供全方位监控的工具。我们对市面上应用较多的三款性能监控和管理方案进行了多方面比较,结果见下图可以看出,三个方案对类似请求、JVM、OS 这种常规的监控都可以支持。但除此之外,根据推荐的实际需求,我们还需要具备历史信息存储和分析、创建自定义报警机制并为指标定义阈值,以及集群监控的能力,这样看下来只有 Stagemonitor 可以满足。因此,我们最终选定 Stagemonito原创 2020-10-22 10:21:22 · 1518 阅读 · 5 评论 -
Java堆外缓存OHC在马蜂窝推荐引擎的应用
在推荐系统中,通常由推荐引擎提供线上推荐服务。推荐引擎的工作流程主要包括召回、排序等阶段,每个阶段都需要大量的数据支撑,快速读取这些数据对提升推荐引擎的性能起着重要的作用。缓存在企业级Web系统中使用非常广泛,举例来说,业务程序和数据库通常运行在不同的物理服务器上,并通过网络访问数据库。网络传输的耗时,自然会增加系统的响应时间。为了降低响应时间,业务程序可以将从数据库中读取到的部分数据,缓存在本地服务器以供后续使用。缓存框架OHC基于Java语言实现,并以类库的形式供其他Java程序调用,是一种以单机模原创 2020-10-21 09:36:15 · 1404 阅读 · 0 评论 -
马蜂窝推荐系统容灾缓存的设计与实现
数据库突然断开连接、第三方接口迟迟不返回结果、高峰期网络发生抖动… 当程序突发异常时,我们的应用可以告诉调用方或者用户,「对不起,服务器出了点问题」;或者,在不违反正确性的前提下,我们也可以返回缓存的数据,从而达到提高用户体验的目的。背景用户在马蜂窝 App 上「刷刷刷」时,推荐系统需要持续给用户推荐 TA 可能感兴趣的内容,主要步骤为:根据用户特性和业务场景,「召回」根据各种机器学习算法计算过的内容,对这些内容进行「排序」,然后返回给前端。这个过程涉及到 MySQL 和 Redis 查询、REST原创 2020-10-20 18:18:04 · 356 阅读 · 0 评论 -
xgboost多线程优化(修复C++线程安全问题)
xgboost多线程优化xgboost简介背景xgboost版本第一版优化问题分析优化方式实现原因第二版优化问题分析优化方式实现原因打包方式xgboost简介XGBoost[1] 是一个开源软件库,它为 C++、Java、Python、[2] R、[3]和Julia[4]提供了一个梯度提升框架,适用于Linux、Windows、[5]和 mac os。[6] 根据项目的描述,它的目的在于提供一个"可扩展、可移植和分布式梯度提升(GBM、GBRT、GBDT)库"。 XGBoost除了可以在单一机器上运行,原创 2020-10-20 09:52:17 · 1184 阅读 · 0 评论