- 博客(18)
- 收藏
- 关注
RSS订阅原创 离线数据加载与存储
small_table = dict(user_rdd.collect()) # 假设用户表很小。region_mapping.get(x["region"], 99) # 地区映射。1 if x["gender"] == "M" else 0, # 性别编码。(x["age"] - 25) / 10, # 年龄标准化。# 保存为SequenceFile。# 加载SequenceFile。# 从HDFS加载文本文件。# 用户基本信息RDD。# 加载JSON文件。# 保存到HBase。
2025-06-09 21:51:32
795
原创 转换操作实战案例
rdd.persist(StorageLevel.MEMORY_AND_DISK) # 内存不足时溢写到磁盘。rdd.persist(StorageLevel.MEMORY_ONLY) # 默认。rdd.persist(StorageLevel.DISK_ONLY) # 仅磁盘。word_counts.take(10) # 显示前10个高频词。# 用户-物品评分数据 (user, item, rating)rdd.unpersist() # 释放缓存。# 原始数据：姓名,年龄,城市,薪资。
2025-06-09 21:49:23
949
原创 Spark Standalone集群安装配置
hadoop2/hadoop3应有：Worker。# hadoop1应有：Master。# 访问Web UI。
2025-06-09 21:42:40
438
原创 SparkSQL离线数据处理
config("spark.sql.shuffle.partitions", "200") // 设置shuffle分区数。.master("local[*]") // 生产环境应使用集群模式。.enableHiveSupport() // 如需集成Hive。// 从Parquet文件加载。// 从JDBC数据源加载。// 从JSON文件加载。// 从Hive表加载。// 查看Schema。
2025-06-09 21:35:12
308
原创 数据可视化
y2 = [round(v/10000/10000,2) for v in month_sale['金额'].tolist()]y1 = [round(v/10000,2) for v in month_sale['订购数量'].tolist()]x = [f'{v}月' for v in month_sale['订单月份'].tolist()]# 通过pyecharts生成柱状图表，x为横坐标值，y1和y2两个纵坐标，可显示在同一个坐标系。
2025-05-20 10:59:14
161
原创 从csv文件读取数据
label_opts=opts.LabelOpts(position="right", formatter='{@[1]/} 万'))label_opts=opts.LabelOpts(position="right", formatter='{@[1]/} 万'))# y = [round(v/10000, 2) for v in city_sale['订购数量'].tolist()]yaxis_opts=opts.AxisOpts(name="金额(亿元)"),
2025-05-20 10:16:39
339
原创 数据清洗：删除包含空字段的数据行、商品编号相同的数据行
withColumn('cust_province', regexp_replace('cust_province','自治区|维吾尔|回族|壮族|省|市','')) \。'order_id' :'订单编码','od_date' :'订单日期','cust_id' :'客户编码','cust_region':'所在区域','od_quantity' :'订购数量','od_price' :'订购单价','total_count':'消费频率','score':'综合分数',
2025-05-20 10:15:15
1013
原创 数据清洗，数据可视化
4、按商品的类型，分别统计各美妆产品的订购数量排行，以了解产品的畅销程度和需求情况。3、按订单的地区，统计各地在订购数量上的排行情况，取最高的前20个城市。1、分析美妆商品信息，找出每个“商品小类”中价格最高的前5个商品。5、分析各省的美妆订购数量，以了解哪些地方的商品需求量最大。2、每月订购情况，统计每个月订单的订购数量情况和消费金额。3、数据可视化（pyecharts）2、窗口操作（Spark SQL）6、通过RFM模型挖掘客户价值。1、数据清洗（pandas）
2025-05-13 10:30:27
290
原创 sudo pip install findspark
print(rdd.collect()) # 输出: [1, 2, 3, 4]# 创建SparkSession实例（Spark 2.0+推荐方式）# 从SparkSession获取SparkContext。# 创建RDD（从1到4的范围）# 导入必要的Spark类。# 收集并打印RDD内容。
2025-05-06 09:52:39
207
原创 搭建/安装与测试python环境
>>print(datas) # 输出: [1, 2, 3, 4, 5]>>>sc = SparkContext('local[1]', 'pyspark lib') # 创建SparkContext。rdd.first()/rdd.take(3) # 获取第一个元素。findspark.init() # 初始化Spark环境。rdd.collect() # 收集所有数据。1、PySpark交互式。
2025-05-06 09:37:24
283
原创 Kafka安装与测试
spark@ubuntu:/usr/local/kafka$ bin/kafka - topics.sh --list --zookeeper localhost:2181 #查看主题。spark@ubuntu:/usr/local$ sudo chown spark:spark -R kafka_2.11-2.4.1/ #修改所属用户和组。spark@ubuntu:/usr/local$ sudo ln -s kafka_2.11-2.4.1/ kafka #创建链接即快捷方式。
2025-04-29 09:51:37
426
原创 #!/usr/bin/env pythin3.6
sc =SparkContext('local[2]','NetworkWordCount') #文件名后不带.py。linesRdd = ssc.socketTextStream(hopt,port) #获取数据流并创建对象。#sc.setLogLevel('WARM') #将日志设置成WARM模式。#(5)启动流技算循环执行,并等待程序终止(按ctr+c结束)#(2)启动2个线程,每5秒为一个批次。#(3)创建DStream数据流对象。#(4)处理计算数据流(词频统计)#(1)导入相关模块。
2025-04-29 09:50:25
181
原创 #字段查询
2.全字段查询 spark.sql("select * from my_website").show(10,False)1.读取mysql中jdbc数据源。
2025-04-29 09:49:12
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人