大模型之二十八-语音识别Whisper进阶

已于 2024-08-30 16:49:44 修改
阅读量2.1k 收藏 13
点赞数 22
分类专栏： 神经网络&人工智能 文章标签： 语音识别 whisper 人工智能
于 2024-08-29 19:07:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shichaog/article/details/141675942
版权

在上一篇博客大模型之二十七-语音识别Whisper实例浅析中遗留了几个问题，这里来看一下前两个问题。
1.如果不是Huggingface上可以下载的数据该怎么办？
2.上面的代码是可以训练了，但是训练的时候loss真的会和我们预期一致吗？比如如下怎么办？

进阶内容

在Whisper语音识别fine-tune的例子中，我们使用的是Huggingface封装好的数据加载以及Transformer工具，这将很多底层细节对开发人员屏蔽了，但是对于技术人员而言，这还远远不够，本篇通过一个要解决两个问题：
1.数据集是私有的，并不是Huggingface开源的数据集
2.不使用Huggingface封装好的Training pipeline，在Whisper开源的源代码基础之上fine-tune模型，并验证准确性。

整个框架代码使用pytorch-lightning来实现，目前很多优秀的比较大的开源都是实用pytorch-lightning来实现的。

安装一些python库

首先下载Whisper源代码，并且


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    


                



	

		

			

				
					
学习实践-Whisper语音识别模型实战（部署+运行）

				
			

			

				

					LZL2020LZL的博客
				

				

					04-12
					
					8481
					
				

			

		

		

			
				
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。

			
		

	



                

            
              



	

		

			

				
					
大模型之二十九-语音识别Whisper推理加速

				
			

			

				

					shichaog的专栏
				

				

					08-31
					
					2090
					
				

			

		

		

			
				
在上一篇博客《大模型之二十八-语音识别Whisper进阶》中我们留了一个尾巴，就是在流式场景以及如何提升推理速度。

			
		

	



              


  
              

                


	

		

			

				
					
语音大模型之Whisper

				
			

			

				

					幽雨雨幽
				

				

					03-05
					
					1419
					
				

			

		

		

			
				
Whisper模型方法证明了只需要用大量的弱标签数据，不需要很复杂的模型和调优方法，就可以到达非常不错的识别性能，尤其是在鲁棒性和泛化性上。这也是大家比较公认的一个结论，即数据才是模型性能提升的最大影响因素。

			
		

	





	

		

			

				
					
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战_whisper模型

				
			

			

				

					月流霜的专栏
				

				

					08-23
					
					586
					
				

			

		

		

			
				
本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将。

			
		

	



		

			
		



	

		

			

				
					
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战

				
			

			

				

					人工智能领域博客
				

				

					06-28
					
					2万+
					
				

			

		

		

			
				
本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将文本转语音，就一定要教大家如何将语音转成文本，这样技术体系才完整。首先简要概述了Whisper的模型原理，然后基于transformers的pipeline库2行代码实现了Whisper模型推理，希望可以帮助到大家。码字不易，如果喜欢期待您的关注+3连+投票。

			
		

	





	

		

			

				
					
开源模型应用落地-食用指南-以最小成本博最大收获

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					05-25
					
					4897
					
				

			

		

		

			
				
正确学习“开源大语言模型-实际应用落地”专栏，以最小成本博最大收获

			
		

	





	

		

			

				
					
7.8 “3GB显存训Whisper！PEFT微调实战：语音识别准确率暴涨91%“

				
			

			

				

					yonggeit的博客
				

				

					03-09
					
					94
					
				

			

		

		

			
				
凌晨三点，技术主管李明盯着屏幕上79%的准确率报告发愁——团队花费两周微调的语音识别模型，在方言场景下依然漏洞百出。会议室里，新来的算法工程师小张突然举手：“要不要试试Hugging Face的PEFT？听说用这个微调大模型，只需要1%的参数量就能达到全参数微调的效果…”这不是电影桥段，而是今年发生在某智能客服公司的真实场景。当OpenAI的Whisper模型遇上Hugging Face的PEFT工具包，正在掀起一场语音识别领域的效率革命。

			
		

	





	

		

			

				
					
开源模型应用落地-解锁大语言模型的无限潜能

					
热门推荐

				
			

			

				

					没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
				

				

					01-11
					
					2万+
					
				

			

		

		

			
				
1、您是否也在迫不及待地期待在AI时代中展示自己的能力？
2、您是否一直在研究如何使用开源模型？
3、您是否一直在寻找将AI与业务结合的方向？
4、您是否一直在寻找模型推理加速的方法？
5、您是否一直在努力整合来自互联网上零散的资料？

			
		

	





	

		

			

				
					
什么是Whisper模型

				
			

			

				

					借雨醉东风的博客
				

				

					09-10
					
					1473
					
				

			

		

		

			
				
Whisper模型是OpenAI发布的一个通用语音识别模型，它在大规模多样化的音频数据集上进行训练，能够执行多任务处理，包括多语言语音识别、语音翻译和语言识别。以下是关于Whisper模型的详细介绍：

			
		

	





	

		

			

				
					
大模型之二十七-语音识别Whisper实例浅析

				
			

			

				

					shichaog的专栏
				

				

					08-28
					
					9418
					
				

			

		

		

			
				
output_dir:模型权重存储的位置generation_max_length:在评估时，自回归生成token的最大值save_steps:在训练时，中间的checkpoint将在save_step时被保存eval_steps:在训练时，每eval_steps到达时会评估模型性能report_to：训练的log保持的位置fp16=True,

			
		

	





	

		

			

				
					
Whisper 语音识别模型

				
			

			

				

					
				

				

					06-09
					
					1082
					
				

			

		

		

			
				
本项目目标分为ChatGPT(网页)版和API版两种模式。ChatGPT(网页)
版代表版号为v1.5.x的版本；API版代表版号为v1.6的版本
实体区别见：https://github.com/lss233/chatgpt-mirai-qq-bot/issues/82
当前浏览的是网页版，点这里切换至API版。

			
		

	





	

		

			

				
					
ASR强力模型「Whisper」：解密Whisper：AI驱动的语音识别新时代 -

				
			

			

				

					强化学习曾小健
				

				

					12-29
					
					2134
					
				

			

		

		

			
				
它是一个强大的模型，能够处理多种语言的语音输入，支持实时转录、语音翻译等功能，并且在不同的音频质量和语境下都有良好的表现。，Whisper 将使用 16 位浮点数进行计算，从而加速推理过程并减少内存占用，适合在有 GPU 的情况下使用。是的，Whisper 会自动处理长音频文件，并将其分成多个段落进行转录，最终合并为完整的转录文本。Whisper 提供了多种不同大小的模型，选择合适的模型可以根据你的硬件条件和实际需求来决定。模型是较为推荐的选择。：能够处理多种语言的输入，并且可以进行多语言之间的翻译。

			
		

	





	

		

			

				
					
【AI工具篇】使用OpenAI开源的Whisper模型，制作本地离线的视频或音频转文本功能...

				
			

			

				

					dotNET跨平台
				

				

					04-03
					
					9855
					
				

			

		

		

			
				
有时候在看一些学习视频时候，难免感觉进度太慢，或者学习视频太枯燥，想自己根据视频关键信息做总结或快速浏览，想着如果有一个工具，我把视频丢进去，它自己给我生成里面语音的所有文本的信息，然后我自己根据文本来提炼关键的有用的信息，还可以节约看视频的时间，是不是会很Nice? 于是，前一天经过一位小伙伴的推荐，使用一款OpenAI开源的模型，也就是今天的主角——Whisper，来实现我们的上面这个偷懒的功...

			
		

	





	

		

			

				
					
使用Whisper进行细粒度训练教程

				
			

			

				

					gitblog_00271的博客
				

				

					08-16
					
					699
					
				

			

		

		

			
				
使用Whisper进行细粒度训练教程
项目地址:https://gitcode.com/gh_mirrors/wh/whisper-finetuning

项目介绍
本项目基于Whisper，一个由OpenAI发布的自动语音识别(ASR)模型，专注于通过自监督学习从音频中解码语言。此项目提供了详细的指南和工具，帮助开发者在自己的特定数据集上对Whisper模型进行微调，以优化其在特定场景或语种上的...

			
		

	





	

		

			

				
					
2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper

				
			

			

				

					lusing的专栏
				

				

					07-31
					
					4261
					
				

			

		

		

			
				
在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。

			
		

	





	

		

			

				
					
OpenAI开源语音识别模型Whisper在Windows系统的安装详细过程

				
			

			

				

					Luke Ewin的博客
				

				

					05-09
					
					1万+
					
				

			

		

		

			
				
Windows中部署开源的whisper语音识别软件，可以支持本地部署，可以利用whisper生成字幕文件。whisper对电脑硬件要求不高，既可以使用GPU也可以使用CPU来运算。

			
		

	





	

		

			

				
					
本地搭建 Whisper 语音识别模型全攻略

				
			

			

				

					东境物语
				

				

					08-29
					
					4686
					
				

			

		

		

			
				
Whisper 语音识别模型是由 OpenAI 开发的一款强大工具。它具有开源的特性，这意味着开发者可以自由获取和使用其相关代码进行研究和应用开发。Whisper 最为显著的特点之一是其出色的多语言处理能力，能够识别和处理多种语言的语音信息。它通过从网络上收集大量的多语言和多任务监督数据进行训练，从而能够应对各种口音、背景噪音和技术术语，在不同语言环境下都能展现出较高的识别准确性和鲁棒性。无论是常见的主流语言，还是一些较为小众的语言，Whisper 都能够进行有效的语音识别。

			
		

	





	

		

			

				
					
如何创造一个语音终端？

					
最新发布

				
			

			

				

					03-13
				

			

		

		

			
				
<think>嗯，用户想了解如何创造一个语音终端。首先，我需要明确语音终端的基本组成部分。通常，这样的系统包括语音输入、处理、输出，以及可能的网络连接。我得一步步分解这些部分，确保用户能理解每个步骤。

首先，用户可能需要知道硬件方面的需求。比如麦克风和扬声器是必需的，还有处理器和可能的连接模块。不过，用户可能更关注软件部分，尤其是如果他们想用现有设备如树莓派或电脑来实现的话。

接下来，语音处理的核心是语音识别。我应该提到常见的开源库，比如CMU Sphinx或Mozilla DeepSpeech，还有商业API如Google Cloud或Azure。用户可能有不同的需求，比如离线使用或在线服务，需要分别说明。

然后，自然语言处理（NLP）部分。用户需要理解意图识别，可能需要训练模型或使用现有框架如Rasa或Dialogflow。这里要解释如何处理用户的指令，提取关键信息。

处理后的结果需要执行相应操作，比如控制智能家居或查询信息。这部分需要结合具体的应用场景，用户可能需要编写逻辑代码来连接各个API或设备。

语音合成也是关键，将文本回复转为语音。eSpeak、Festival或在线服务如Amazon Polly都是选项，需要根据场景选择适合的方案。

还需要考虑网络连接，特别是如果使用云服务的话。离线方案可能需要本地部署模型，但资源消耗更大。用户可能关心隐私和延迟问题，得提到这些因素。

最后，整合和测试整个系统，优化性能。用户可能需要迭代开发，逐步完善功能。此外，扩展功能如多语言支持或自定义唤醒词也是值得考虑的。

需要确保回答结构清晰，分步骤说明，同时推荐合适的工具和库。避免过于技术性的术语，让初学者也能理解。还要注意LaTeX格式的要求，虽然这个问题可能涉及的数学内容不多，但如果有公式，必须正确使用$...$或$$...$$。</think>### 如何创造一个语音终端？（分步指南）

---

#### 一、基础架构设计
语音终端核心模块包含：
1. **语音输入**（麦克风采集）
2. **语音识别**（ASR, Automatic Speech Recognition）
3. **自然语言处理**（NLP, Natural Language Processing）
4. **逻辑处理**（执行指令/查询数据）
5. **语音输出**（TTS, Text-to-Speech）

$$ 
\text{系统流程图：} \quad 
\text{音频输入} \rightarrow \text{ASR} \rightarrow \text{NLP} \rightarrow \text{逻辑处理} \rightarrow \text{TTS} \rightarrow \text{音频输出}
$$

---

#### 二、硬件准备
1. **核心设备**：
   - 麦克风阵列（建议选择支持降噪的型号，如ReSpeaker系列）
   - 扬声器或音频输出接口
   - 处理器（树莓派/Rock Pi等嵌入式设备或PC）

2. **可选扩展**：
   - WiFi/蓝牙模块（用于联网）
   - LED指示灯（状态反馈）

---

#### 三、软件实现步骤

##### 步骤1：语音采集
- **工具选择**：
  - Python库：`sounddevice`/`pyaudio`
  - 关键代码示例：
    ```python
    import sounddevice as sd
    fs = 16000  # 采样率16kHz
    duration = 5  # 录制5秒
    recording = sd.rec(int(duration * fs), samplerate=fs, channels=1)
    ```

##### 步骤2：语音识别（ASR）
- **开源方案**：
  - Vosk（离线，支持多语言）：$WER \approx 8\%$（英语）
  - Mozilla DeepSpeech（需训练模型）
- **商业API**：
  - Google Cloud Speech-to-Text（按调用次数计费）
  - 阿里云智能语音交互

##### 步骤3：自然语言处理
1. **意图识别**：
   - 使用Rasa框架构建NLU模型
   - 示例训练数据：
     ```yaml
     nlu:
     - intent: weather_query
       examples: |
         - [今天天气](date)怎么样？
         - [北京](city)会下雨吗？
     ```
2. **实体提取**：
   - 正则表达式匹配（如时间、地点）
   - 预训练模型（spaCy/StanfordNLP）

##### 步骤4：逻辑处理
- **本地执行**：
  ```python
  if intent == "play_music":
    os.system("mpg123 " + song_path)
  ```
- **云端交互**：
  - 调用REST API（如HomeAssistant智能家居控制）
  - 数据库查询（SQLite/MySQL）

##### 步骤5：语音合成（TTS）
- **推荐方案**：
  - 离线：PyTorch实现的Tacotron2 + WaveGlow
  - 在线：Azure Neural TTS（自然度$MOS \geq 4.0$）
- **代码示例**：
  ```python
  from gtts import gTTS
  tts = gTTS("当前温度25度", lang='zh-cn')
  tts.save("output.mp3")
  ```

---

#### 四、网络连接方案
1. **局域网控制**：
   - MQTT协议（低延迟，$<100ms$）
   - WebSocket实时通信
2. **广域网部署**：
   - 使用Ngrok内网穿透
   - AWS IoT Core远程管理

---

#### 五、进阶优化
1. **唤醒词检测**：
   - Snowboy/Porcupine（自定义唤醒词训练）
   - 计算资源消耗：$<10\%$ CPU（树莓派4B）
2. **多模态交互**：
   - 结合摄像头（OpenCV人脸识别）
   - 触控屏幕反馈
3. **隐私保护**：
   - 本地部署Whisper模型（语音数据不出设备）
   - 端到端加密通信

---

#### 六、测试与部署
1. **压力测试**：
   - 模拟并发语音请求（Locust工具）
   - 内存泄漏检测（Valgrind）
2. **部署方式**：
   - Docker容器化打包
   - Systemd服务守护进程

---

### 典型应用场景
1. 智能家居中控（$98\%$指令通过语音完成）
2. 工业质检语音报告（WER需$<2\%$）
3. 无障碍交互设备（结合眼动追踪）

建议从开源工具链开始实践，逐步替换关键模块。注意不同语言的声学模型差异（中文需额外处理分词问题）。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
shichaog

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值