- 博客(15)
- 收藏
- 关注
RSS订阅原创 pyspark学习笔记：filebeat收集日志通过kafka发送spark存入es-2023-2-18
将filebeat收集的日志数据，接入pyspark进行更多处理，最后存入ES便于数据分析。
2023-02-18 23:08:53
363
原创 pyspark学习笔记：mysql-5.7.25安装&pyspark结构化流读写mysql-2023-2-17
mysql安装、mysql中文乱码问题、mysql对接结构化流、kafka读取为结构化流并写入mysql
2023-02-18 01:00:02
304
原创 pyspark学习笔记：4- zookeeper3.5.9+kafka2.11-2.4.1单机部署+python api模拟消费者+pyspark结构化流集成kafka的简单使用-2023-2-14
报错：java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.kafka010.KafkaSourceProvider could not be instantiated解决：使用kafka2.11版本以及spark-sql-kafka-0-10_2.12-2.4.1.jar
2023-02-15 01:29:37
303
原创 Tensorflow学习笔记：1-tensorflow-gpu部署 & keras简单使用-2023-2-12
遇到的问题：RTX3060 安装 tensorflow-gpu-2.3.0 无法使用--卸载、升级版本；导入了tensorflow显示找不到keras--import tensorflow.keras。要点：keras导入示例数据集、完成回归、二分类、多分类任务；使用sklearn和tf.keras.dataset示例数据集。
2023-02-12 22:30:58
276
原创 ELK学习笔记：3- python api&pyspark读取es中filebeat收集的日志数据-2023-2-11
python api、es读取filebeat收集的日志数据
2023-02-11 23:59:19
533
1
原创 ELK学习笔记：2- filebeat日志收集配置举例&metricbeat系统性能指标收集举例-2023-2-9
filebeat日志收集配置举例，metricbeat系统性能指标收集举例
2023-02-10 01:19:36
322
原创 ELK学习笔记：1- 单台虚拟机部署spark2.4.5+miniconda3-2023-2-8
【代码】ELK学习笔记：1- 单台虚拟机部署spark2.4.5+miniconda3
2023-02-08 19:32:42
161
原创 ELK学习笔记：0- 单机ES部署-7.13.3-2023-2-7
虚拟机 centos7 单机部署ES+kibana+filebeat 7.13.3
2023-02-08 00:47:49
464
1
原创 pyspark学习笔记：spark-local和spark on yarn的简单实现-2022年12月30日
本学习笔记提供spark+python的local和yarn两种部署模式的讲解及使用示例。spark-local仅用1台虚拟机。spark on yarn仅需1台安装spark（用于任务提交yarn）的虚拟机，全部虚拟机需要配好hadoop完全分布式集群及python环境。
2022-12-31 00:53:38
1117
2
原创 hadoop2.7.7+spark2.4.3+idea2020.1.4——搭建完全分布式集群+实现wordcount(MR和Spark本地及打jar包）-2022-12-18
hadoop2.7.7+spark2.4.3+idea2020.1.4搭建完全分布式集群，实现MR和Spark（基于scala）的简单使用，即以wordcount为例。可以作为初学MR分析和Spark分析的入门练习。
2022-12-19 00:33:58
1386
1
原创 （python实现）最长公共子序列-2022-12-16
本文给出最长公共子序列算法的简单解释和python代码实现。可以作为初学python或动态规划算法的练习。
2022-12-17 00:34:30
730
原创 (win10+anaconda+python3.7)torch(cuda 11.1)+torchtext安装
查看cuda版本；查看python版本；torchtext没有Field的解决方法（初学）；torch+gpu安装部署；win10
2022-05-25 19:35:15
2037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人