Unity - Microphone 测试录音，播放录音，显示音波图（不是Spectrum图）

本文探讨了如何在Unity中利用麦克风输入实现音效互动的游戏设计，详细讲解了使用Microphone类API进行声音录制、分析和播放的方法，并展示了如何将音频数据转化为视觉效果。

最近一直找游戏设计灵感。

找着找着，突然想起，以前玩过的一款打飞机游戏，端游，他可以根据你播放的音乐文件来自动发射子弹，玩家不是能自主发射子弹的，当时我就一直拿那个：《劲乐团》里的一首曲子：《V3》- 贝多芬交响曲。

这首曲子，全程高能，整个屏幕都是子弹，爽啊，哈哈，而且这首曲子也很嗨。

当然与音乐相关的游戏还不止这款。。。

录制

Microphone类使用到的几个API

public static string[] devices { get; }
获取可用的麦克风的设备名称数组
public static AudioClip Start(string deviceName, bool loop, int lengthSec, int frequency);
使用指定deviceName设备开始录制
public static void End(string deviceName);
指定deviceName设备结束录制
public static int GetPosition(string deviceName);
获取麦克风当前对应设备写入录制缓存的索引位置
public static bool IsRecording(string deviceName);
获取指定deviceName设备名称是否当前录制中

OK，就这么几个是主要的。

录制步骤

先检测有没设备Microphone.devices.Length > 0
开始录制调用Microphone.Start，要传入使用的设备名，是否环形循环录制缓存，录制缓存支持的时长，录制的采样率
- 设备名就Microphone.devices里头其一
- 是否环形循环录制缓存意思就是是否录制数据写到尾部是，是从将写入指标重置会开头（0索引）
- 录制缓存支持的时长，就是如果不是环形循环录制的话，那么录制时间到了，就不会再录制
- 录制采样率，这个决定了录制出来声音的质量，采样率越高当然就越接近原声
  - 但采样率不能乱设置，下面会相关的知识点讲到采样率是什么东东
等待录制时间到达，就自动取消录制（或时手动的在时间到达之前结束录制）
播放刚刚录制的AudioClip，已测试是否有效。
- 如果听不到声音，请检查：
  - 播放该AudioClip的AudioSource的Volume（音量）；
  - 如果AudioSource的Spatial Blend是2D的，那就确定场景中至少有一个AudioListener组件时启用的。
  - 如果AudioSource的Spatial Blend是3D的，那就确定启用的AudioListener与你播放的AudioSource的距离保持在AudioSource的MinDistance与MaxDistance之前。
  - 在调用Microphone.Start中的frequency确定是在能听到的范围，一般设置在：1000~44100之间就可以了（小于100的几乎都听不到，之前不小心设置错了Slider.Value的值为1，传了个1过去，导致录制出来的AudioClip没有任何声音）
  - 还是听不到，那就确保你的音响设备的音量，与设备是否正常。

音波图（不是声谱Spectrum）

至于声谱图，我没去研究过，这里不涉及。

AudioClip类API

public bool GetData(float[] data, int offsetSamples);
从AudioClip中，指定offsetSamples的位置开始读取音波数据存入我们预先创建的float[] data缓存中。

AudioClip是我们的音频对象。

Microphone.Start返回的是AudioClip。
Project视图管理资源中，音频文件也是AudioClip。

而我们就是通过这个AudioClip.GetData来取对应缓存位置记录的音波数据的，然后根据这些数据我们将它用于控制一些粒子特效，或是线条，几何体，颜色变化，等来表现我们的音波图的。

下图就是根据此API制作的简单的音波图。（我放了很多个：RawImage，然后用AudioClip.GetData取出来的数据分别控制他们的宽度，及颜色即可，这首史诗级曲子：EI Dorado也是我非常喜欢的，有兴趣可以听听）
在这里插入图片描述

扩展

播放器，KTV，KTV评分系统：有些前面哪些功能，起始如果上对各音频文件的编解码处理，你甚至可以制作一些播放器了（在搞一些文件读写就好了），录制的话，你要可以搞个人KTV录制。还可以分析音波与原唱的音波图相似度来评KTV录制结果分数。
无时间限制录制文件功能：还有一个，起始还可以写一个无时间长度限制的录音软件。
但是还需要对代码调整（就是判断Microphone.GetPosition差不多到缓存尾部的时候，马上再调用Microphone.Start记录重新录制就好了，再将之前录制的那个AudioClip的数据写入文件流啊，就可以了）
简单语音录制的聊天系统：游戏，或是应用中的简单语音录制的聊天系统，前面讲了怎么怎么录制，怎么怎么从AudioClip拿数据，还有，下面的Code中，也有显示AudioClip.SetData怎么怎么使用，那么就可以将GetData的float[]转到byte[]，在通过Socket的网络传输到服务器，服务器再广播，其他接受的客户端先将byte[]转float[]，再就AudioClip.SetData，再AudioSource.Clip = 你的Clip，再AudioSource.Play，完事。

Code

using System;
using System.Collections.Generic;
using Unity.Collections;
using UnityEngine;
using UnityEngine.UI;
/// <summary>
/// author      :   jave.lin
/// date        :   2020.02.18
/// 测试录制麦克风的各种功能
/// </summary>
public class RecordMicrophoneSoundScript : MonoBehaviour
{
   
   
    public enum RecordStatusType
    {
   
   
        Unstart,
        Recording,
        End,
    }
    public enum RecordErrorType
    {
   
   
        None,
        NotFoundDevice,
        RecordingError,
    }
    [Space(10)]
    public Text playSoundWaveText;
    public AudioClip music;
    [Space(10)]
    public Text startOrEndRecordBtnText;
    public Text statusText;
    public Text detailStatusText;
    public Text deviceCaptureFreqText;
    [Space(10)]
    public Dropdown deviceDropdownList;
    public Dropdown frequencyDropdownList;
    public Slider recordTimeSlider;
    public Text recordTimeText;
    public Text playProgressText;
    public Text recordTimeProgressText;
    public Slider playProgressSlider;
    public Slider recordTimeProgressSlider;
    public Text detailRecordClipText;
    [Space(10)]
    public Color32 lineLowCol = new Color32(1, 1, 0, 1);