若上存在,下为nan,或者下存在,上为nan,则选取非nan的值;若上下均不为nan,则取上下平均值进行填充;df中,若nan上下均为nan,则不填充;
2025-04-23 16:41:27
254
'''输入：dataxdatay输出：trainx, valx, testx, trainy, valy, testy, 分别按比例得到训练集、验证集、测试集'''# 构建数据集'''输入: 输入维度, 层数、每层维度、正则化系数、dorpout层层数以及系数输出：模型，注意不要使用函数'''# 构建神经网络模型model.add(tf.keras.layers.Dense(nenum, activation='relu'))#创建第一层。
2025-04-23 16:33:40
458
Sqoop数据迁移工具简单介绍
2024-01-30 17:02:11
990
ES(ElasticSearch)技术栈简介,读写原理
2024-01-30 16:47:49
2112
结构化流与Kafka的整合
2024-01-15 15:12:00
1566
结构化流是构建在Spark SQL处理引擎之上的一个流式的处理引擎，主要是针对无界数据的处理操作。对于结构化流同样也支持多种语言操作的API：比如 Python Java Scala SQL …Spark的核心是RDD。RDD出现主要的目的就是提供更加高效的离线的迭代计算操作，RDD是针对的有界的数据集，但是为了能够兼容实时计算的处理场景，提供微批处理模型，本质上还是批处理，只不过批与批之间的处理间隔时间变短了，让我们感觉是在进行流式的计算操作，目前默认的微批可以达到100毫秒一次。
2024-01-15 11:37:18
1934
Kafka核心原理介绍
2024-01-13 21:42:05
1644
Kafka基本介绍-生产者与消费者,Kafka基本架构
2024-01-13 20:52:40
724
Spark on Hive及 Spark SQL的运行机制
2024-01-11 22:12:10
933
spark sql 深度介绍,spark_dataFrame与pandas_dataFrame互转,基于pandas的完成自定义UDF函数,UDAF函数
2024-01-11 21:55:54
1570
Spark SQL基础介绍
2024-01-09 22:03:36
1449
Spark Core深入学习,对Spark内核的细化
2024-01-09 19:44:56
1229
RDD:英文全称Resilient Distributed Dataset，叫做，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。
2024-01-08 15:26:22
1375
Spark On Yarn的简介,spark-submit参数配置,Spark底层交互流程
2024-01-08 11:12:00
814
Spark的基本介绍
2024-01-07 22:26:59
1346
python------pymysql的简介
2023-12-30 22:34:03
914
【代码】Python中的网络编程。
2023-12-30 22:24:52
511
python中多线程与多进程的解释
2023-12-30 22:16:00
1175
简要概括python中闭包以及装饰器(简称语法糖)
2023-12-27 22:05:57
406
面向对象总结概括
2023-12-26 10:45:05
416
python------面向对象
2023-12-26 10:43:48
408
海豚调度器原理介绍
2023-12-04 21:17:33
1291
1
基于大数据之数仓项目建设方案做出整体的总结
2023-12-04 21:11:48
1396
基于Presto分布式SQL查询框架的基本介绍
2023-12-03 22:05:56
1498
hive调优扩充
2023-11-29 11:12:48
1052
多角度阐述hive调优
2023-11-16 14:38:07
103
hive函数大致介绍,及解决堆内存不足的问题,行列转换的应用场景
2023-11-16 10:07:59
165
主要针对hive查询做出详细介绍,以及ETC表达式
2023-11-14 20:11:17
186
hive中表的基础操作以及文件数据的导入导出;hive分区分桶的详细介绍以及复杂类型的介绍
2023-11-11 21:55:27
374
hive及数仓ETL的简介
2023-11-09 21:38:33
112
Hadoop生态圈的介绍以及Hadoop主要组成
2023-11-09 21:04:58
93
shell编程基础简介
2023-11-07 20:22:45
84
linux进阶命令
2023-11-05 21:49:37
1298
linux部分基础命令
2023-11-04 21:39:28
107
mysql_8 涉及的开窗函数,特殊类型,ER建模,存储引擎,事务,索引,视图
2023-10-25 21:20:52
99
mysql基本知识
2023-10-21 19:33:57
105
几种常见的pyecharts数据可视化
2023-10-18 20:36:36
106
正则表达式的常见用法
2023-10-14 20:29:30
761
容器方面的总结
2023-10-09 17:14:11
253
函数进阶，即函数的返回值以及参数的详细说明
2023-10-09 14:19:05
87
RSS订阅