- 博客(18)
- 收藏
- 关注
原创 查找命令(which-find)
语法:find 起始路径 -name “被查找文件名”通过which命令,查看所使用的一系列的程序文件在哪。语法:which 要查找的命令。find(按文件名去查找)
2025-06-11 21:03:21
457
原创 linux命令入门
注:选项也可以混合使用,eg:ls -l -a,ls -la,ls -al,ls -lah,-h必须和-l配合使用。ls -a选项,表示all的意思,列出所有文件夹(包括隐藏文件/文件夹)ls -h选项,表示以易于阅读的形式列出文件大小,如K M G。ls -l选项,表示以列表(竖向排列)展示,并展示更多信息。
2025-06-11 20:51:07
140
原创 linux
虚拟机关机或者重启ip地址可能会变化,这时候就打开虚拟机命令行输入ipconfig查看IP地址,在finalshell点击小齿轮编辑好就ok。ls命令用来查看finalshell与虚拟机的命令结果是否一致。查看网卡:win+r输入ncpa.cpl。
2025-06-10 22:16:07
123
原创 关于人工智能的分享
医疗领域通过AI辅助诊断、药物研发和个性化治疗;机器学习是核心分支,包括监督学习、无监督学习和强化学习。自然语言处理(NLP)涵盖语音识别、文本生成和机器翻译。计算机视觉用于图像分类、目标检测和面部识别。此外,强化学习在游戏、机器人控制等领域表现突出。多模态融合将推动更自然的交互方式,如结合语音、图像和文本的通用模型。数据隐私和算法偏见是主要伦理问题,需通过透明化数据处理和多样化训练集缓解。AI对就业的影响引发争议,需结合教育转型与政策调整。技术层面,模型可解释性、能耗过高及对抗性攻击仍需突破。
2025-06-10 22:04:02
153
原创 知识相关分享
Spark提供了丰富的API,支持Java、Python、Scala、R等多种编程语言,使得开发者可以快速构建应用。:Spark可以在从单个计算节点到数千个计算节点的集群中高效运行,适应不同规模的数据处理需求。:通过在内存中处理数据,Spark显著提高了计算速度,尤其适合需要多次迭代的计算任务。
2025-06-10 22:00:12
187
原创 spark 知识总结
(2)Vim 是一种高度可配置的文本编辑器,用于有效地创建和更改任何类型的文本。sc.parallelize([("a",2),("b",3),("a",1),("d",4)]).reduceByKey(lambda x,y :x+y).collect() #x+y 只针对值相加。rdd = sc.parallelize([1,2,3,6,5,4,6,12,23]).groupBy(lambda x:x%3) #将元素分成3组,第一组x%3==0,第二组x%3==1,第三组x%3==2。
2025-06-10 21:58:19
708
原创 Spark应用部署模式实例(Local、Spark on YARN、Spark Standalone模式
hadoop中YARN的工作节点上的代理,负责容器生命周期管理,并监控资源使用情况(如CPU、内存、磁盘、网络等)。#hadoop中HDFS的数据存储节点,负责存储实际的数据块,并响应来自客户端或 NameNode 的读写请求。#hadoop中HDFS的名称节点(核心组件),管理文件系统的命名空间,并控制客户端对文件的访问。SparkSubmit # pyspark命令启动的进程,实际上就是启动了一个Spark应用程序。#hadoop中YARN的资源经理(主控服务),负责集群资源管理和调度应用的任务。
2025-06-10 21:56:43
460
原创 搭建spark伪分布集群
2.更改了主机名,还需要修改/etc/hosts文件,在这个文件设定了IP地址与主机名的对应关系,类似DNS域名服务器的功能。3.修改spark相关配置文件,包括spark-env.sh和slave两个文件。5.重启spark集群 出现worker和master表示成功。7.在浏览器输入:http://vm01:8080/ 查看。4.将localhost改为vm01 保存退出。的默认名称,将其修改为vm01。
2025-06-10 21:56:06
250
原创 Spark离线数据处理实例
prod_sales['订购数量']=prod_sales['订购数量'].apply(lambda x :x.strip('个') if isinstance(x,str) else x)prod_sales['订购单价']=prod_sales['订购单价'].apply(lambda x :x.strip('元') if isinstance(x,str) else x)prod_sales['订购数量']=prod_sales['订购数量'].astype('int64')
2025-06-10 21:37:00
790
原创 DStream转换操作(基于更新状态&滑动窗口)
5.Spark在运行时默认会产生大量日志信息,此时可在Spark的conf目录中通过log4j.properties配置文件设定全局的运行日志级别,或在代码中使sc.setLogLevel()方法设定当前应用程序的运行日志级别,可以是WARN、ERROR、INFO、DEBUG、ALL等几种。需要注意的是,要确保nc服务端正在运行,否则需要重新执行nc -lk 9999命令来启动它,不然在提交时会遇到错误(仍然是两个窗口,在上面的窗口输入)# (5) 启动流计算循环执行,并等待程序终止(按ctrl+c结束)
2025-06-10 21:35:20
802
原创 Spark上安装MySQL
准备链接mysql所需的信息,用户名,密码,数据库驱动类名,包括mysql连接地址,主机,端口号,数据库名,数据以append方式追加,并输出。准备好要用的数据库和表,先连接到数据库服务,然后创建一个people数据库以及people_info表,并在表里面添加一条数据。进入Downloads把spark sql连接mysql的连接JDBC的jar包复制在spark的目录Downloads下。再插入有关的10条数据进去,记录保存在mysql里,首先创建一个DataFrame。安装完毕,使用之前先初始化。
2025-06-10 21:33:32
226
原创 DStream输出操作
4.保存以上代码并退出编辑器,确保nc服务端在监听9999端口,然后在Linux终端窗体中通过spark-submit命令将NetworkWordCountSave.py程序提交到Spark运行,然后在nc服务端输入文字内容(打开两个终端窗口,在上面窗口中输入)6.查看主目录中的streaming文件夹,里面出现了很多以output-开关的子目录,其中保存的就是不同批次时间点的数据文件。ssc = StreamingContext(sc, 2) # 批处理间隔2秒。# 词频统计结果保存到文件系统。
2025-06-10 21:32:48
354
原创 代码写入并保存
"") # 过滤空行。ssc = StreamingContext(sc, 3) # 批处理间隔3秒。# 初始化SparkContext和StreamingContext。# 创建一个基于本地文件目录的数据源。
2025-06-10 21:22:23
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅