Prime_DSC_MentionCalcSpark性能调优

最新推荐文章于 2024-02-26 11:06:51 发布
原创 最新推荐文章于 2024-02-26 11:06:51 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark调优

本文介绍了一种基于Spark的大数据处理系统——Prime_DSC_MentionCalcSpark，并针对其存在的计算时间长的问题提出了一系列优化措施，包括改进TweetBean构造方式、精简HBase字段读取、使用mapPartition函数以及调整RDD分区数等。

Prime_DSC_MentionCalcSpark系统简介

 

实现功能 : 根据条件(siteId, startTime, endTime, campaignId, folder)从HBase数据源中读取文本数据作为输入,把提交的关键词作为条件,输出在文本中关键词提及的次数

 

存在问题 : 对于大数据量的计算时间较长.

 

解决思路 : 

  1. 把HBase结果反射成TweetBean修改成TweetBean的setXXX的方式构造TweetBean

    1. 当有5W条数据,通过反射转成TweetBean需要60s,通过TweetBean的setXX的方法需要20s

  2. 把读取HBase的所有字段改成读取HBase的需要的字段

    1. 当有5W条数据,读取所有字段时需要60s,读取需要的字段需要25s

  3. 从UC取DC数据时,不使用map函数,替换成mapPartition函数,这样使用可以从HBase批量取数据,仅需要一次HBase连接即可

  4. 存储计算结果,使用foreachPartition函数. 当遍历Iterator时不是每次在循环里面都存储计算结果,而是在循环外面维护队列,批量存储结果

  5. 根据Spark集群资源,合理利用Spark集群的资源,如资源越多,集群计算能力越强.而比较合理的机器资源和任务并行度的关系是 : 任务数 = 机器CPU核数 * (2 或者 3), 所以设置RDD的分区数为集群CPU核数 * 2

  6. 从HBase读取数据的并行度跟表的region数相关.默认情况下,建表时只有一个region,而当region越来越大时,需要split成两个region,region越多split的阈值越大,导致很多数据都存在一个region中.此时如果需要查询一张表,假设该表有5个region,则会有5个线程同时查询5个region的数据,但是如果其中一个region很大,是其他region的10倍,则该region的读取是其他region读取性能的10倍,导致整个任务的delay. 解决该问题的方法可以先通过预分区和对rowkey使用hash/MD5等算法使数据均匀的分布在各个region,这样在读取数据时可以根据数据均匀分配而更好的并发读取数据.

精选资源
LynX_Prime_Interface.rar_lynx prime_lynx vega_vega_vega prime_ve
09-23
通过深入研究“LynX_Prime_Interface.pdf”文档，用户不仅可以了解到Vega Prime的每个模块如何运作，还能学习到如何优化配置和整合这些模块，以实现最佳性能。无论你是数据分析新手还是经验丰富的专业人士，这个...
精选资源
HP_Prime_Calculator_Firmware_20180706_hp_calc_prime_
10-01
2018年7月6日发布的固件版本（HP_Prime_Calculator_Firmware_20180706_hp_calc_prime_）是对该设备软件的重要更新，旨在提升性能、增加新功能并修复已知问题，以确保用户拥有最佳的计算体验。 本次固件更新主要包含...
prime_series_level-1靶场详解
苏生要努力
02-26 1957
将secret.php文件上传成功后，使用msf见天模块（exploit/multi/handler），设置lhost和lport和payload（php/meterpreter/reverse_tcp），开启监听后，浏览器打开secret.php页面。访问一下http://192.168.236.136/dev和http://192.168.236.136/wordpress。msf脚本数据库路径/usr/share/exploitdb/exploits/linux/local。
0x01--Prime_Series_Level-1靶场
growler67
09-16 2392
001–靶场介绍 Prime是vulnhub靶场环境的一个简单的利用靶场，我们可以在vulnhub的官网里搜索到它，Prime系列共有六个靶场，本次使用的是19年出的第一个靶场环境。 介绍及下载链接：https://www.vulnhub.com/entry/prime-1,358 002–安装 靶场下载后是一个压缩文件，解压后用vm打开就行了，默认网络连接方式是nat，开机后自动获取VM虚拟网卡的dhcp地址。 查看本地的nat网段的操作如下： 003–攻击 本次环境模拟在未知具体ip地址的环境进行渗
vulnhub-prime_series_level_1渗透测试
遇事不决冲冲冲
11-22 6394
环境搭建 官网https://www.vulnhub.com/entry/prime-1,358/ 将VMX文件(VMWare 文件格式详解 .VMX .VMSD .VMDK )直接拖进来 思路 扫描网站路径与敏感文件，通过不断的提示找到一个可用的fuzz工具。利用fuzzing爆破参数发现了可利用进行文件包含的参数file，这里再得到提示后，在仅有的一个php文件中利用secrettier360参数fuzzing系统敏感文件，找到一个密码后在wordpress页面进行登录，找到一个可以写入内容的页面，写
python中prime_Python prime
weixin_39972151的博客
12-22 2758
最新项目auto reload_prime----autoreload_prime应该与大多数服务器一起工作的自动重新加载模块(从tornado修补)。要安装autoreload_prime，只需执行以下操作 ...2020-12-22已阅读: n次PIAPI模块代表(Cisco)Prime Infrastructure API。该模块实现了piapi类，该类有助于使用可以请求数据或请求操作的简单...
python中prime_在Python中是否为Prime
weixin_29480659的博客
01-14 4597
质数在诸如密码学的许多应用中起着核心作用。因此，有必要在各种应用程序中使用Python程序检查素数。质数是一个除自身以外没有其他任何因素的数字。下面将看到可以找出给定数字是否为质数的程序。方法我们采用以下方法来确定数字是否为质数。开始时检查是否为正。因为只有正数可以是质数。我们将数字除以所有数字，并将其除以给定数字小于2的一个数字。如果此范围内任何数字的余数变为零，则它不是质数。示例x=23i...
质数(Prime_Number)
无限迭代中......
12-18 4751
一、定义 质数(prime number)又称素数，有无限个。一个大于1的自然数，除了1和它本身外，不能被其他自然数整除，换句话说就是该数除了1和它本身以外不再有其他的因数;否则称为合数。 二、相关定理 在一个大于1的数a和它2倍之间（即区间(a, 2a]中）必存在至少一个素数。 存在任意长度的素数等差数列。（格林和陶哲轩，2004年） 一个偶数可以写成两个数字之和，其中每一个数字都最多...
判断素数 is_prime()
脚踏实地，仰望星空
03-09 3427
1.donnot use this if x is very large or small int is_prime(int x) { int i; for(i = 2;i * i { if(x%i == 0) return 0; } return 1; } 2.better way int is_prime(int x) { int i,m; assert(x >=
python中prime函数_prime numb的Python函数
weixin_30054883的博客
01-13 7034
我想写一个函数，它返回在给定数之前存在的素数的个数。函数count_primes(100)应返回25我写了一个代码，从25改为23。函数跳过41和71，同时计算1到100之间的所有其他质数。有人能解释一下为什么我的代码跳过41和71吗。我的代码是import mathdef count_primes(num):current_number = 4number_of_prime = 2while c...
matlab如何用prime求质数,质数(Prime_Number)
weixin_39825854的博客
03-21 3367
一、定义质数(prime number)又称素数，有无限个。一个大于1的自然数，除了1和它本身外，不能被其他自然数整除，换句话说就是该数除了1和它本身以外不再有其他的因数;否则称为合数。二、相关定理在一个大于1的数a和它2倍之间(即区间(a, 2a]中)必存在至少一个素数。存在任意长度的素数等差数列。(格林和陶哲轩，2004年)一个偶数可以写成两个数字之和，其中每一个数字都最多只有9个质因数。(挪...
HP_Prime_Virtual_Calculator_2018_02_12
12-19
HP_Prime_Virtual_Calculator_2018_02_12 惠普图形计算器 模拟器 免注册，安装即可使用
Crack_Quartus_Prime_Standard_Pro_15.1_Windows
04-09
Crack_Quartus_Prime_Standard_Pro_15.1_Windows quartus15.1破解软件，亲测好用，安全无毒
prime_number.rar_All Out_Prime number
09-14
标题中的"prime_number.rar"表明这是一个关于质数的压缩包文件，而"All Out"可能意味着该程序或资源全面地处理了质数相关的各种问题。"Prime number"是关键词，直接指出了主题——质数。 在计算机科学和数学领域，...
TSIA 022.1—2021 工业互联网标识解析顶级节点服务能力成熟度第1部分：模型.pdf
11-27
TSIA 022.1—2021 工业互联网标识解析顶级节点服务能力成熟度第1部分：模型
【事件触发一致性】研究多智能体网络如何通过分布式事件驱动控制实现有限时间内的共识（Matlab代码实现）
11-27
【事件触发一致性】研究多智能体网络如何通过分布式事件驱动控制实现有限时间内的共识（Matlab代码实现）内容概要：本文档围绕多智能体网络中的事件触发一致性控制展开，重点研究如何通过分布式事件驱动控制策略实现多智能体系统在有限时间内达成共识，并提供了基于Matlab的代码实现。文档还涵盖了无人机路径规划、多目标跟踪、图像处理、故障诊断、优化算法等多个科研方向的技术实现与仿真案例，展示了事件触发机制在多智能体协同控制中的高效性与节能优势。核心技术包括分布式控制算法设计、事件触发条件设定、系统收敛性分析及仿真验证。; 适合人群：具备一定自动化、控制理论或计算机背景的研究生、科研人员及从事智能系统开发的工程师，熟悉Matlab编程与基本控制系统建模者更佳。; 使用场景及目标：①研究多智能体系统在资源受限条件下的协同控制问题；②掌握事件触发机制相较于传统周期采样控制的优势；③实现多无人机、机器人等系统的高效协同与节能通信；④为分布式控制算法的仿真与验证提供可复用的代码框架。; 阅读建议：建议结合Matlab代码逐模块理解算法实现流程，重点关注事件触发条件的设计逻辑与系统稳定性证明部分，可进一步拓展至其他分布式优化与协同控制应用场景。
【四轴飞行器】非线性三自由度四轴飞行器模拟器研究（Matlab代码实现）
最新发布
11-27
【四轴飞行器】非线性三自由度四轴飞行器模拟器研究（Matlab代码实现）内容概要：本文围绕非线性三自由度四轴飞行器模拟器的研究展开，重点介绍了基于Matlab的建模与仿真方法。通过对四轴飞行器的动力学特性进行分析，构建了非线性状态空间模型，并实现了姿态与位置的动态模拟。研究涵盖了飞行器运动方程的建立、控制系统设计及数值仿真验证等环节，突出非线性系统的精确建模与仿真优势，有助于深入理解飞行器在复杂工况下的行为特征。此外，文中还提到了多种配套技术如PID控制、状态估计与路径规划等，展示了Matlab在航空航天仿真中的综合应用能力。; 适合人群：具备一定自动控制理论基础和Matlab编程能力的高校学生、科研人员及从事无人机系统开发的工程技术人员，尤其适合研究生及以上层次的研究者。; 使用场景及目标：①用于四轴飞行器控制系统的设计与验证，支持算法快速原型开发；②作为教学工具帮助理解非线性动力学系统建模与仿真过程；③支撑科研项目中对飞行器姿态控制、轨迹跟踪等问题的深入研究； 阅读建议：建议读者结合文中提供的Matlab代码进行实践操作，重点关注动力学建模与控制模块的实现细节，同时可延伸学习文档中提及的PID控制、状态估计等相关技术内容，以全面提升系统仿真与分析能力。
沱江.zip
11-27
三级水系流域矢量数据，数据格式shp格式，坐标系wgs84，真实可靠可打开，放心使用
nuscene-infos-vals
11-27
nuscene-infos-vals
cpu_prime_core_lock
10-23
`cpu_prime_core_lock` 是一个与 **CPU 超大核锁定** 相关的参数，通常用于 **锁定或限制 CPU 超大核（Prime Core，如 ARM Cortex-X 系列）的运行状态**。该参数常见于某些 Android 设备的内核调优接口中，用于控制是否允许系统将负载调度到超大核上，或者是否锁定超大核的频率/状态。 --- ### ✅ 一、`cpu_prime_core_lock` 的含义 - **作用**：控制是否 **锁定 CPU 超大核（Prime Core）的行为**，如锁定频率、禁止关闭等。 - **单位**：无单位，通常为 **整数开关值**（0 或 1）。 - **默认值**：通常为 `0`，表示未锁定，系统可自由调度。 - **路径示例**： - `/sys/module/cpu_freq/parameters/prime_core_lock` - `/sys/devices/system/cpu/cpu0/cpufreq/prime_core_lock` - `/sys/kernel/cpufreq/prime_core_lock` > 注意：不同设备厂商实现方式不同，路径可能不同。 --- ### ✅ 二、如何通过 ADB 查看和修改 `cpu_prime_core_lock` #### 1. 查看当前值 ```bash adb shell su cat /sys/module/cpu_freq/parameters/prime_core_lock ``` 输出示例： ``` 0 ``` 表示当前未锁定 Prime Core。 #### 2. 修改值（例如设为 1） ```bash echo 1 > /sys/module/cpu_freq/parameters/prime_core_lock ``` > ⚠️ 注意： > - 需要 root 权限。 > - 不是所有设备都支持该参数。 > - 修改后为临时生效，重启后恢复默认。 --- ### ✅ 三、调整 `cpu_prime_core_lock` 的影响 | 设置值 | 影响说明 | |--------|-----------| | **0（未锁定）** | 系统正常调度 Prime Core，节能省电 | | **1（锁定）** | Prime Core 保持启用状态，可能保持高频运行，提升响应速度但增加功耗 | --- ### ✅ 四、适用场景 - **游戏优化**：锁定 Prime Core 可减少唤醒延迟，提升帧率稳定性。 - **后台多任务处理**：加快应用响应速度。 - **温控策略**：关闭锁定可减少发热。 - **Magisk 模块开发**：实现自定义性能/省电模式切换。 - **系统调试**：测试不同核心调度策略对性能的影响。 --- ### 📌 注意事项 - **需要 root 权限**：大多数设备需 root 才能修改。 - **路径可能不存在或不可写**：HyperOS 或 MIUI 可能限制访问。 - **重启后恢复默认值**：临时修改，需脚本或模块持久化。 - **不当设置可能导致发热或耗电增加**。 --- ### ✅ 替代方案 - 使用 **Magisk 模块**（如 KernelSU + 性能调优模块）实现持久化设置。 - 使用 **Termux + 自动化脚本** 实现开机自动设置。 - 使用 **系统性能管理 App**（如 Franco Kernel Manager、Kernel Auditor）进行调整。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值