SuperCreators的博客

大数据是不能使用传统计算技术处理的大型数据集的集合。这些数据集的测试涉及各种工具，技术和框架。大数据涉及数据创建，存储，检索和分析，数量，多样性和速度都要求非常高。

实际工作中需结合业务需求补充场景（如冷启动推荐、数据回溯测试等），并利用自动化框架（如Airflow调度测试任务）提升效率。），通过ELK（Elasticsearch+Logstash+Kibana）追踪全链路处理过程。监控集群资源：CPU利用率≤80%，内存无OOM（Out of Memory）错误。总数据量：10,000条（含浏览、点击、加购）。：消费到的数据量=10,000条，且字段无缺失。字段（从日志生成到推荐结果返回的时间）。工具构造每秒10万条日志的请求压力。：95%的请求端到端延迟≤1秒。

Hive的核心特点，比如使用HQL，底层是MapReduce或Tez，数据存储在HDFS。还要提到Hive的优缺点，比如适合批处理，延迟高，不适合实时查询。Hive 的核心特点基于Hadoop数据存储在HDFS（Hadoop分布式文件系统）中，计算依赖MapReduce、Tez或Spark引擎。适合处理批量数据（如日志、历史记录），但延迟较高（分钟级响应），不适用于实时场景。类SQL接口（HiveQL）支持SELECTJOINGROUP BY等SQL操作，但对复杂事务支持有限（如不支持行级更新）。