SparkSQL系列-4、数据处理分析

已于 2022-08-15 10:56:06 修改
阅读量1.4k 收藏 13
点赞数
分类专栏： 大数据专栏 文章标签： 大数据 spark sql
于 2022-08-15 10:55:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/l848168/article/details/126340525
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

传送门：大数据系列文章目录

官方网址：http://spark.apache.org/、 http://spark.apache.org/sql/
在这里插入图片描述

目录

有几种方式处理？

在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种方式分析处理数据，正如前面案例【词频统计WordCount】两种方式：

DSL

DSL（domain-specific language）编程，调

了解本专栏 订阅专栏 解锁全文 超级会员免费看
助力古彝文保护，AI文字识别技术推动文化传承
zhangxia_的博客
09-29 1万+
彝文指的是云南、贵州、四川等地的彝族人使用的文字，又叫“爨文”“韪书”。其造字、使用方法在不同的区域之间表现出明显的差异。明清两代不少书里说，这种文字“字如蝌蚪”“字母一千八百四十”。区别于上述现代意义上的彝文，今天我们所谓的“古彝文”指的是在民间流通使用的原生态彝文。有学者认为，古彝文的起源距今至少数千年，是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍，更深层、透彻地作用于传统文化保护。
AI+OCR赋能古彝文数字化—让经典重新跳动
白洞，白色的明天在等着我们
01-10 1万+
古彝文典籍数字化可以将古籍内容转换成计算机可处理的数字，以达到存储、检索、传递、再生、利用等目的，并且可以进行内容检索，快速下载打印和复制还原，也可以提供印刷出版或制作电子版图书，通过网络还能实现远程传送、专题展览，打破地域性资源的空间和时间的限制，被最大限度地使用，从而实现“资源共享”。 古彝文典籍数字化的价值并不止步于学术研究，随着我国小康社会的全面建成，人们对精神文化关注度日益提升，以民俗为主题的现代文艺创作、娱乐活动让传统文化焕发新的生机。
合合信息——用智能文字识别技术赋能古彝文原籍数字化
白水的博客
01-10 5503
现今我们所谓的“古彝文”指的是在民间流通使用的原生态彝文，据《滇川黔桂彝文字集》显示，这种文字多达87046字；在国家图书馆珍藏中，由这些文字书写的古彝文典籍共有592册（件），可见其蕴含着巨大的文化价值和实用价值。在当代，彝文依然拥有广泛的受用人群。四川省曾在1980年发布规范彝文共819字，截止2012年，滇川黔桂发布的通用彝文有5598字。这两种彝文常用于仪式、节庆、旅游景点等场合——彰显彝族非物质文化遗产的传承；同时也用于民族地区相关政策与宣传文件的翻译，以及文学创作。
智能文字识别技术——AI赋能古彝文保护
陈橘又青的博客
10-01 1万+
合合信息前期在甲骨文、金文中所作的研究，让古彝文识别成为一件“水到渠成”的事情。此次合合信息与上海大学联合开启的“贵州古彝文图像识别及数字化校对项目”校企合作，将填补当前国内外研究的空白，也将成为合合信息智能文字识别技术赋能小语种保护及古文化传承的重要里程碑事件。未来，合合信息还将重点关注自然语言处理领域，不断精进AI“读懂”古文的能力，去实现更多理解层面的事情，以此更好地促进学术研究效率提升，并通过降低古文理解门槛，在文旅、文创领域触达更广泛的社会群体，让传统文化焕发新的生机。
探索古彝文AI识别技术：助力中国传统文化的传承与发扬
热门推荐
颜淡慕潇
09-28 6万+
随着科技的不断发展，OCR（OpticalCharacterRecognition，光学字符识别）技术在各个领域得到了广泛应用。 近年来，古彝文作为一种具有悠久历史和独特魅力的文字，逐渐受到了学者们的关注。探索古彝文识别OCR技术，不仅有助于挖掘、整理和传承中国传统文化，还能为现代科技与文化的交流搭建桥梁。
传统遗产与技术相遇，古彝文的数字化与保护
m0_75058342的博客
09-29 1万+
传统遗产与技术相遇，古彝文的数字化与保护 1. 古彝文与古彝文古籍保护 2. 古彝文识别的重难点 3. 提升图像质量与细节还原的突破之道 3.1 合合信息 3.2 合合信息的文字识别技术 3.3 智能高清滤镜技术 3.3.1 智能扫描引擎AI-Scan与扫描全能王 3.3.2 场景应用 4. 古彝文识别的意义 5. 总结
焕新古文化传承之路，AI为古彝文识别赋能
FRIGIDWINTER的博客
01-12 1万+
合合信息携手上海大学，以校企联合、产研一体的形式攻关古彝文识别工作，为中华传统文化的保护与传承贡献自己的一份力！
智能文字识别技术推动彝文识别弘扬中华文化
通往精英的成长之路
01-13 2365
- 中国已于2021年宣布实现全面小康，追求精神层面的富足是下一阶段的目标，对古彝文等古语言的保护是其中重要的一环。随着国学和非遗越来越热，我们有理由相信古彝文献和口传史诗所记载的那个的世界，无论是南诏古国、夜郎古国还是巴蜀古国，都可以通过传统媒体（诗朗诵、电影、音乐剧）和新兴媒体（元宇宙、IP主题乐园、浸入式戏剧）拓展文化体验的维度，将文字记载的历史作更富有魅力的呈现
2024空间智能技术赋能交通基础设施数字化转型升级.pptx
08-04
2024空间智能技术赋能交通基础设施数字化转型升级.pptx
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
05-05
### 新质生产力赋能智能制造数字化解决方案 #### 一、引言 随着工业4.0时代的到来，智能制造成为了推动制造业转型升级的关键力量。在这个背景下，“新质生产力”作为一种新兴的概念被提出，并被视为推动制造业高...
【智能音箱领域】声纹识别技术赋能智能音箱：从“听声辨人”到智能守护的实现与应用声纹识别技术
04-12
内容概要：本文详细介绍了声纹识别技术如何赋能智能音箱，提升其智能化和服务水平。文章首先阐述了智能音箱在现代家庭中的广泛应用及其面临的用户身份识别挑战，随后深入解析了声纹识别的工作原理和技术细节，包括...
2024空间智能技术赋能交通基础设施数字化转型升级.pdf
03-26
2024空间智能技术赋能交通基础设施数字化转型升级.pdf
“新基建” 赋能工业企业数字化转型——传统企业的数字化改造方法.pdf
06-29
“新基建” 赋能工业企业数字化转型——传统企业的数字化改造方法.pdf
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 2277
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
qq_64693987的博客
05-23 1872
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
Prompt Tuning：优化提示调优全攻略
最新发布
ZJQ的博客
05-26 1048
Prompt Tuning（提示调优）是一种通过优化提示词来调整预训练语言模型行为的技术。主要变体包括：Prefix Tuning（添加可训练前缀向量）、Hard-Prompt Tuning（直接使用自然语言提示）、Soft-Prompt Tuning（学习通用提示向量）、Prompt Ensemble（多提示集成）和Auto-Prompt（自动搜索最优提示）。其中Hard-Prompt Tuning最为直观，可通过自然语言指令（如"这段文字的情感是积极的"）引导模型输出。代码示例展示了
一、OpenCV的基本操作
qq_48904748的博客
05-23 1543
OpenCV是一个功能强大的计算机视觉库，包含多个模块，如图像处理、视频分析、机器学习等。基础操作包括图像的IO操作、绘制几何图形、获取和修改像素点、获取图像属性、图像通道的拆分与合并以及色彩空间的转换。此外，OpenCV还支持图像的算术操作，如图像的加法和混合，这些操作可以用于图像增强和合成。通过这些功能，OpenCV能够处理各种图像处理任务，为计算机视觉应用提供强大的支持。
基于音频Transformer与动作单元的多模态情绪识别算法设计与实现（在RAVDESS数据集上的应用）
weixin_42380711的博客
05-24 2113
摘要：情感识别技术在医学、自动驾驶等多个领域的广泛应用，正吸引着研究界的持续关注。本研究提出了一种融合语音情感识别（SER）与面部情感识别（FER）的自动情绪识别系统。实验结果显示，通过附加多层感知器进行整体微调时取得最佳准确率，验证了迁移学习相较于从头训练更具鲁棒性，且预训练知识有助于任务适应。在FER方面，通过提取视频动作单元对比静态模型与顺序模型的性能差异，发现两者差异较小。错误分析表明，视觉系统可通过高情绪负载帧检测器进行优化，这为视频情感识别方法研究提供了新思路。
React笔记-Ant Design X样本间对接智谱AI
IT1995的博客
05-26 1252
本文介绍了如何将AntDesignX样本间对接智谱AI的API接口。主要步骤包括：1）搭建AntDesignX样本间；2）获取智谱AI的API接入信息；3）修改代码中的请求配置，设置基础URL、API密钥和模型参数；4）调整请求处理逻辑，实现流式响应处理和数据拼接。关键点在于正确配置请求参数和实现流式数据的实时更新，最终完成与智谱AI的对接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值