看看谁的进程最费内存

最新推荐文章于 2024-08-17 19:55:33 发布
原创 最新推荐文章于 2024-08-17 19:55:33 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ps auxw #top

本文探讨了使用Hive和Spark进行大规模数据处理的效率差异。通过对比发现，尽管Spark在小规模数据处理中表现优异，但在大规模数据处理时，由于内存限制可能导致任务失败。相比之下，Hive能够稳定处理大规模数据，即使数据量庞大也能顺利完成任务，展现出其在大数据处理方面的优势。

ps auxw |head 1;ps auxw| sort -rn -k4|head -1

分号前面的是提取表头

 

我用hive -e 执行了一条sql

hive -e “select distinct android_id from hive_rcv_metrics where clicks>0 and day between 20190210 and 20190309" > aid_03_04

从截图上看到，真吃cpu，真吃内存

 

开始的时候为了快点跑，我用了spark-sql提任务，报错如下

spark-sql默认用的是yarn-client模式，当查询结果很大时driver内存不足会报错

然后我发现了hadoop一个巨大的好处

不论数据多大，都能跑完，不会出现奇奇怪怪的错误

然后我也不分一个月一个月的跑，直接一次跑完三个月

hive -e "select distinct android_id from hive_rcv_metrics where clicks>0 and day between 20190109 and 20190409" > result

耗时不到一个小时，完美

 

开始的时候我用hive一个一个月跑，而且不distinct，出来之后用sort -u去重

4000万行数据真慢啊，慢到接近半个小时

然后两个三千万行的文件求交集，半个小时

太慢了，考虑用spark-shell，求两个rdd的交集

python merge很费内存吗_Dask的Merge操作性能对比
weixin_39833687的博客
12-15 806
Dask的Merge操作性能对比标签：#dask##python##分布式计算#时间：2020/05/24 18:32:52作者：小木在前面的博客中，我们已经对`Dask`做了一点简单的介绍了，在这篇博客中我们来对比一下`Dask`的`DataFrame`在不同条件下的运算性能，主要是连接操作的性能(merge)。Dask中的DataFrame实际是多个pandas的DataFrame的集合，me...
介绍及线程池，C++实现内存池、进程池、线程池
Linux高级开发的博客
05-12 1057
内存池 平常我们使用new、malloc在堆区申请一块内存，但由于每次申请的内存大小不一样就会产生很多内存碎片，造成不好管理与浪费的情况。 内存池则是在真正使用内存之前，先申请分配一定数量的、大小相等(一般情况下)的内存块留作备用。当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够再继续申请新的内存。这样做的一个显著优点是尽量避免了内存碎片，使得内存分配效率得到提升。 进程池&&线程池 这两个问题有一定的相似度，在面向对象程序编程中，对象的创建与析构都是一个较为...
【linux系列】性能监控
qq_35789269的博客
06-11 966
我们在linux下，如果想要监控服务器性能。我们必须掌握以下常用的指标查看命令。
Linux终端命令大全
公西雒的技术站
01-09 6568
一．文件目录类  1. 建立目录：mkdir  目录名  2. 删除空目录：rmdir  目录名  3. 无条件删除子目录：rm -rf  目录名  4. 改变当前目录：cd  目录名  注：进入当前用户主目录：cd ~   或者cd ;  进入上一级目录：cd ..   5. 查看当前所在目录：pwd   6. 查看当前目录大小：du  7. 显示目录文件列表：ls –l ：列
Linux命令查漏补缺，查询CPU和内存占用前十名
Pansvfj的博客
07-25 3371
Linux命令
PS常见命令
weixing100200的专栏
12-25 1326
[root@i-3pedyvud ~]# ps -axjf|grep mutual 1303 580 580 1303 pts/0 1303 S 72 0:15 | \_ tcpdump -i eth0 host 10.140.19.9 -nn -w mutual 1303 669 669 1303 pts/0 1303 S 72 0:15 | \_ tcpdump -i eth0 host 10.140.1...
linux ps命令输出结果排序
...
01-18 7781
按实际内存消耗的指定序列显示前10条记录   用sort命令排序降序：ps auxw|head -1;ps auxw|sort -rn -k6|head -10升序：ps auxw|head -1;ps auxw|sort -n -k6|head -10 命令说明： ps auxw|head -1   # 获取第一行，即标题头                      sort -n -k6  ...
图解内存分配算法 -- 小内存分配算法
最新发布
爱出名的狗腿子
08-17 1701
小内存分配算法常用于内存大小在 2M 字节以下的内存单元分配管理，小内存分配算法是一种动态内存管理算法，且在内存块释放时支持合并处理以减少内存碎片，是一种高效的内存分配算法，常用于嵌入式MCU中的内存管理。本文用图片的形式，详细的对整个内存分配算法的原理进行了深入的讲解。
加密软件 绿色 不费内存，不费CPU
04-09
最后，虽然软件号称不费内存和CPU，但在大量文件加密过程中，仍需关注计算机性能，避免在重要任务进行时进行加密操作，以免影响其他程序的运行。 总的来说，这款“加密软件 绿色 不费内存，不费CPU”提供了一种便捷...
Android-Camera内存问题剖析，小白也能看明白
m0_56228922的博客
05-07 338
安卓基础知识 安卓基础知识确实很多，如果日常积累不够的话确实比较头晕，比如我承认我只在 APP 升级的时候搞过一个前台的 Service，但是面试的时候就会问你 Service 生命周期，如何绑定，如何跨进程通讯，如何关闭Service 等等，你肯定不能说"我没用过我不会"。 所以我们就要复习，一来我们可以应付面试，二来我们也可以通过基础知识的积累来提高我们的能力。 JetPack里的组件 上图就是JetPack中包含的组件列表，每个组件都是相对独立的，可以被单独使用和构建。其中像被介绍的最多，也是最常被
linux ps常用命令
weixin_34062329的博客
10-22 188
为什么80%的码农都做不了架构师？>>> ...
AIX下ps常用命令
在旅途。。。
12-15 4712
<br />1.CPU排序前十的进程<br /># ps aux |head -1; ps aux |sort -rn +2 |head -10<br /> <br />2.内存排序前十的进程<br /># ps aux |head -1; ps aux |sort -rn +3 |head -10<br /> <br />3.按优先级顺序显示系统中的进程：<br />#ps -eakl |sort -n +6 |head <br /> <br />4.按处理时间为顺序显示系统中的前十个进程：<br />#
Linux 运维必备的 40 个命令总结
qq_57520409的博客
02-10 1226
作者：NateIT 链接：https://zhuanlan.zhihu.com/p/457420950 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 分享转载---侵删 1 删除0字节文件 1.find -type f -size 0 -exec rm -rf {} \; 2 查看进程按内存从大到小排列 1. PS -e -o "%C : %p : %z : %a"|sort -k5 -nr 3 按 CPU 利用率从大到小排列 1. ps -e -o "
ps aux含义linux,Linux下ps aux解释
weixin_39810441的博客
05-16 1024
ps aux的功能是打印出所有进程ps是最基本也是最强大的进程查看命令aux都是参数a = show processes for all users 显示所有用户的进程u = display the process‘s user/owner 显示用户x = also show processes not attached to a terminal 显示无控制终端的进程在下面即将介绍的axo中o ...
10个重要的Linux ps命令实战
NFTercel的博客空间
01-27 859
Linux作为Unix的衍生操作系统，Linux内建有查看当前进程的工具ps。这个工具能在命令行中使用。 PS 命令是什么 查看它的man手册可以看到，ps命令能够给出当前系统中进程的快照。它能捕获系统在某一事件的进程状态。如果你想不断更新查看的这个状态，可以使用top命令。 ps命令支持三种使用的语法格式 UNIX 风格，选项可以组合在一起，并且选项前必须有“
【linux性能】【详细】内存性能分析---第3篇
qq_23150755的博客
01-26 795
一、内存指标说明 内存活动基本上可以用3个数字来量化: 活动虚拟内存总量 交换(swapping)率 调页(paging)率 其中第一个数字表明内存的总需求量,后两个数字表示那些内存中有多少比例正处在使用之中. 目标是减少内存活动或增加内存量,直到调页率保持在一个可以接受的水平上为止. 1、活动虚拟内存的总量(VM)=实际内存大小(size of real memory)(物理内存)+使用的交换空间大小(amount of swap space used) 2、当程序运行需要的内存大于物理内存时，UNI
ps -aux指令详解
热门推荐
夜夜夜夜
10-12 1万+
1）ps a 显示现行终端机下的所有程序，包括其他用户的程序。 2）ps -A 显示所有程序。 3）ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。 4）ps -e 此参数的效果和指定”A”参数相同。 5）ps e 列出程序时，显示每个程序所使用的环境变量。 6）ps f 用ASCII字符显示树状结构，表达程序间的相互关系。 7
ps aux排序
weixin_34236869的博客
09-25 669
按内存升序排列； ps aux --sort=+rss   按内存降序排列； ps aux --sort=-rss   按cpu升序排列； ps aux --sort=+%cpu   为按cpu降序排列。 ps aux --sort=-%cpu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值