大数据负载分析
文章平均质量分 91
该专栏主要是针对Hadoop、Spark等分布式集群运行的多种负载进行分析,识别出分布式集群的负载类别和特征,从而提升对资源分配和job调度的管理
wychen_sunshine
一生最忌见识短浅,故步自封。
展开
-
论文分享-Characterizing and Evaluating a Key-value Store Application on Heterogeneous CPU-GPU Systems
Characterizing and Evaluating a Key-value Store Application on Heterogeneous CPU-GPU Systems最近在阅读异构环境中的负载特征分析,想深入调研有关cpu与GPU异构环境下的应用运行特征,在一篇survey中看到了这篇paper,做个总结,加深一下印象。这篇paper发表于2012年,比较久远,但采用的性能分析方法比较经典,对于初步进行异构应用分析的同学大有裨益。引用地址是:Hetherington T H, Roge原创 2020-06-02 11:13:44 · 250 阅读 · 0 评论 -
NVIDIA Profiling Tools
前言:目前在用的监控GPU的工具有很多,比较常用的有nvprof和nvvp,还有Nsight。对这三种工具的使用不是很熟练,尚在学习当中。NVprofNvprof 是一款用以监控GPU和CPU的运行状态的工具。可以采集程序的运行热点,运行时间线,并进行任务以来分析和kenel函数调度分析等。NVVP是可以对Nvprof的trace结果.nvvp文件记性图形化展示,也可以直接连接物理机运行你的...原创 2019-12-04 20:47:55 · 2240 阅读 · 0 评论 -
Benchmark: A survey
前言在进行大规模集群问题的研究时,我们往往没有足够多的服务器来搭建一个真正的大规模云计算集群,通常有以下几种方案解决此问题:租用云计算集群服务,如Amazon,华为云和阿里云等云服务。但该方式需要投入大量资金,有些同学在刚接触云计算时往往申请不到该资金,当然有收入的同学也可以选择自己购买。采用开源的云计算集群模拟平台,如Cloudsim。这种方式好像做通信方向的使用的较多,有兴趣的可...原创 2019-11-19 19:33:30 · 817 阅读 · 0 评论 -
ubuntu-修改python默认版本
在linux跑python脚本时默认是2.7版本,但是有许多组件在2.x已经摒弃了,最熟悉使用的还是3.x版本,为了一致性,不免要将linux系统上的python版本调整。 本机在ubuntu14.04 系统上进行更改设置。1.查看本地已安装的pythonroot@ccrfox111:/home/wychen/python_code# ls /usr/bin/python*/usr...原创 2018-09-06 15:29:55 · 720 阅读 · 0 评论 -
Prometheus-Linux系统监控时序数据库
在做负载分析时,需要用到时序数据进行分析和可视化,一个专门用于存储时序数据的数据库就非常必要了。在同学的推荐下,发现并开始使用prometheus。正在慢慢探索当中…Prometheus1.定义Prometheus是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud公司开发的。随着发展,越来越多公司和组织接受采用Prometheus,社...转载 2018-09-04 16:11:56 · 1740 阅读 · 0 评论 -
Perf-Linux性能测试工具
perf1. 首先看一下英文给出的解释 Performance analysis tools for Linux Performance counters for Linux are a new kernel-based subsystem that provide a framework for all things performance analysis. It covers ...原创 2018-09-03 15:28:36 · 7244 阅读 · 0 评论 -
ubuntu安装perf
perf 是一款检测linux性能状况的工具安装sudo apt-get install linux-source打开文件目录:cd /usr/src找到linux文件解压 进入到 tools/perf 目录cd tools/perf#编译make && make install...原创 2018-08-31 13:44:30 · 13977 阅读 · 2 评论 -
Hadoop-深入实践(一)
1. 大数据概念 无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征 数据量大 类型繁多 价值密度低 速度快时效高 3. 大数据处理平台 离线处理平台 交互式处理平台 流处理平台 4.大数据技术路线图 5. Hadoop 定义 Apache开源软件基金会开发的运行于大规模服务器上的大数据存...原创 2018-07-04 09:33:24 · 1386 阅读 · 0 评论