很长时间没有更新公众号的内容了,最近一段时间一直在通过各种渠道了解大型语言模型,重点关注其在各个应用领域的使用情况,以此来了解其应用的边界。
在近两个月的学习过程中,我对所学内容进行了总结,通过这些总结各位可以详细了解大模型的能力。各行各业的人员可以根据这些信息,总结出自己的应用场景。
内容简介
主要的使用场景包括如下列表,每个场景都会举一到两个例子来详细说明:
-
信息抽取:非结构化的告警数据结构化
-
文本释义:将专业的文档内容转义为小学生能够读懂的表达方式
-
内容生成:
-
数据中心面试SRE工程师题目准备
-
创业想法脑力激荡-虚拟现实和健身
-
-
内容归纳总结:将一段比较长的文字内容,进行精减表达
-
内容格式化:非结构化数据结构化,并生成可下载csv文档
-
编程应用
-
通过需求描述,制作一个简单的html页面,并生成代码
-
自然语言转SQL
-
从告警内容中抽取信息,并给出python代码
-
-
翻译:略
-
自然语言:
-
电商评论内容情感分析
-
告警内容分类
-
-
知识获取:告警分类方法有哪些纬度
-
图像生成:告警趋势图生成
信息抽取
大型语言模型广泛应用于信息抽取,能从非结构化文本中理解并提取关键信息。例如,金融新闻的重要数据、医疗记录的病史症状、法律文档的关键条款等。这大大提高了处理大量文本信息的效率。
下面的应用案例是智能运维领域从告警信息中自动抽取关键信息:
假设我们有以下的告警内容,通常需要仔细阅读所有内容才能找到我们需要的信息。这些信息都是非结构化的,因此,系统在处理时,获取关键信息可能会比较麻烦。
【次要告警】110.230.101.09[设备名:hp_server01],哈尔滨培训中心Timed out while waiting for response,发生时间:09/11/2020 09:36:21,【核心应用团队.网络支持团队.运营数据中心】【事件ID:1234565789000】
接下来,让我们看一下如何通过大型语言模型方便地对上述文本警告内容进行信息提取和结构化:
针对上面告警其实还包括所在的团队信息,在这里没有抽取出来,我们再向chatGPT下指令,看一下最终的处理结果:
是不是很完美,我们所需要的信息都提取出来了。
注意:大型语言模型本质上还是一种自然语言模型,由于其拥有大量的语料库进行学习,所以在实体命名和实体提取上有很高的准确性(大多数场景下已经超过人类)。在实际应用中,考虑到数据安全和大模型的计算成本,建议的做法是让大型语言模型处理少量的数据(这可以解决人工标注成本高、耗时长、效率低的问题),生成供算法训练用的已标注数据。然后,由本地的算法团队使用像Bert这样的自然语言处理模型进行训练,以生成一个较好的、可在本地部署的算法。
文本释义
大型语言模型在文本释义方面表现出色,能理解复杂语义,各种上下文中提供清晰解释。如在教育、科技领域解释复杂概念,帮助理解记忆;在日常生活中,解释流行语,使人们更好理解网络文化。这种能力使其成为强大的教育和科普工具。
下面我们介绍一个关于木星说明的例子,这段文本的内容比较专业,现在想要将这段专业的陈述换一种小学二年级的学生能够理解的表达方式。
文本释义之后从语言的表达上会更白话和通俗易懂一些,但又没有缺失要表达的内容。
注意:在许多情况下,如政策、法规、科研、产品推广等专业文档普及全民时,最重要的问题往往是需要适应不同的人群。不同的人群有不同的接受能力,这时可以通过像chatgpt这样的大模型来针对不同层次的人员进行解读,会取得更好的效果。
内容生成
大型语言模型广泛应用于内容生成,如文章、报告等。它们可创新生成或基于现有内容改写。示例包括新闻概要,社交媒体帖子,学习材料。使用这些模型可以提高效率,节