limingade的博客

本文就尽量用详实的步骤，列举出在普通Android设备上的抓取网络的数据包方式，也算对手机抓包的方式进行简单的总结和汇总，仅供参考。作为实时音视频和流媒体相关领域的研发人员，经常需要使用pcap抓取网络的数据包进行分析和辅助验证，很多时候就会涉及自己抓包，或者更极端的、教别人如何用最简短的步骤去抓包，来发送给自己分析。

我们实现了将“手机转SIP软交换呼叫中心”对接的所有功能，用户可以使用电脑坐席，通过这个手机及SIM手机卡，正常的拨打电话给目标电话。APP对手机双卡双待的支持和并发呼叫也设置了一定程度的调度策略，方便用户在SIP软交换平台中组建号码池，进行批量外呼和智能通话调度。同时，在各家软交换系统和呼叫中心的接入上，我们前期对接和适配了多家SIP软交换平台，如阿里云呼叫中心、磐石云、昆石VOS、OKCC等支持软交换的系统，将手机当作中继设备和落地线路，进行呼叫业务的使用，稳定性还算可以。

我们针对少部分不做手机转SIP，对接上呼叫中心的目标用户群体，规划设计了一个简捷的“电话任务批量外呼和号码有效性标记”的功能入口。事实上，由于蓝牙电话方案能在手机上把SIM卡的电话转SIP，当作线路对接到软交换平台VOS和呼叫中心，这部分的需求其实不迫切。我们完善这些辅助功能，目的还是为了服务更多、对系统捆绑性要求更少的用户群体。使他们拿来就能用，拿来就会用，一用就能满足需求。在手机APP上实现业务上的闭环，不再依赖太多的附加平台。从技术的角度而言，这也是另一种意义上的“端到端”的快速响应的能力。

本文主要针对挂机短信模板和多台手机同步短信模板的能力进行简要的阐述，在多个手机相互外呼和协同的过程中，涉及短信收发的功能时，或多或少都会涉及到短信模板和模板在手机之间同步的问题。一般来说，短信模板和挂机短信功能应该具备从Excel中导入并批量发送的能力。但由于本文是基于实时通话和语音处理业务而规划，暂时不考虑无呼叫业务的批量短信的功能。如果用户有这方面的需求，可以考虑使用我们上一篇章中讲述的【远程短信】的功能，从后台经由本地手机，发送远程静默短信。

本文基于前面几个篇章中关于短信的理论，将手工发送短信、筛选群发短信、自动挂机短信、远程后台短信等功能给简单的整合到了【智能拨号器app】当中，使普通Android手机app，除了能正常拦截电话通话语音之外，也能对手机短信进行一定程度的操作。这样，对普通的实际用户而言，也算扩展了他的使用场景和操作需求，有一定的积极意义。

我们简单的花了一两周的时间对Android世界中规划的短信的发送方式进行了一次梳理，并对各种常规的短信发送方式进行技术预研。最终，选择了蓝牙MAP连接发送短信内容的方式来实现了后台静默发送短信的功能，完成蓝牙电话方案中“短信收发”部分功能的技术预研。

经过初步的技术预研和现有的业务功能的分析，针对我们预设的【后台静默群发短信】的能力，我们进行了逐项的验证。经实践发现，Android标准的SmsManager.getDefault().sendTextMessage的短信发送方式，在华为/荣耀的部分型号手机上，能够满足静默发送短信的要求。但其它品牌型号的手机上每条短信都会主动弹框提示后才能发送，不能够普遍适用。

经此一轮硬件配件的海选，感觉走外置硬件的方式太不靠谱了。我们还是需要继续沿着去年【纯手机-无外置配件】探索方向进行深入前进，做几款特定机型的纯手机的方案。用来对现状的应用场景进行补充。本文简要的阐述了目前USB蓝牙配件可用性较差的问题和原因，也算为方案选型和转型提供基础数据，具有一定参考价值。

至此，本轮Android手机中应用App加载FunASR模型文件和ASR识别的工作暂且告一段落。与2023年末的版本相比，引入了【asr_online】和【punc】模型文件，通过增大App运行内存的方式，提高了ASR识别的响应速度并提高了识别的准确度。总体来说，也算基本达到了预期的效果，初步可以满足试用的需求。

本文中尝试从内存占用和运行性能的角度，分析一下将FunASR的运行动态库以及模型文件，直接加载到Android后在CPU性能、内存耗用方面的使用情况。进而分析Android手机直接使用FunASR模型进行本地解析是否靠谱。从结果上来看，目前选型的模型库和算法，对SIM卡电话通话事后根据录音进行质检方面效果比较理想。

本文将FunASR的模型文件和调用入口都放入Android手机中，使手机在无网离线使用的情况下，也能实现对SIM卡电话通话中双方语音沟通内容的ASR解析。但是目前看来，将FunASR完全部署到Android手机上，仅利用手机CPU的主频性能，对上行/下行两路语音数据进行ASR文字识别，效果上还是差强人意，有待后续进一步优化和性能提升。

本篇章针对不同厂商和型号的手机内置录音的文件，使用FunASR进行语音转文字，将手机中预先录制的通话记录，逐条转换解析出对应的通话语音文字。此部分功能只做了历史通话的ASR转换，有需要的用户可以直接拿来体验和使用。语音文件检测作为FunASR的主要应用场景，它的识别精度准确率和识别效率都还是非常好的。

本文使用前面几篇文章中阐述的理论，简单的将阿里FunASR的模型装进普通的Android手机中，并使用手机麦克风来体验ASR语音文字识别的效果。经检验，识别的响应速度和文字内容的准确率相当的不错。

本文对FunASR断网离线识别模型移植到Android应用进行初步探索，并尝试建立一个能用的手机ASR离线识别的方案。从结果来看，总的来说结果也算勉强能用吧，识别的准确率还算可以。感兴趣的读者朋友可以获取对应的代码和模型文件进行试用和体验。

本文在原来【拦截手机打电话的声音、根据通话对方声音提取DTMF字符、多级IVR语音导航菜单】等基础之上，在Windows版本的远程“拨号器声音”程序中增加了通话中【随机插播预录语音片段】的功能。可以搭配手机版本的【拨号器SDK-示例App】程序，插入USB蓝牙后，进行协同工作。

前几天有试用的朋友咨询问，既然通话接通后有IVR开场白语音、有IVR语音导航菜单，那能不能实现我正常通话沟通的时候随机插播一个预先录制的语音片段呢？我们分析了一下，正常电话的用户应该是没有这种需求的。但是想想，做起来又不复杂，干脆就“画蛇添足”一番，把这个【随机插播预录语音片段】的功能给添加到界面上。供某些特殊场景有需要的用户，可以直接拿来使用。

本文针对【多重弹框叠加和重叠问题】进行理论上的探讨，尝试发现和寻觅到一种标准化的办法来针对性的处理这种场景的方式。由于蓝牙电话方案依赖外置USB硬件的拔插，因此权限请求和原有应用App的常规权限请求之间，也确实存在一定的重叠的冲突。这个在后续应用App的逻辑和功能实现中需要着重进行考虑。

本文使用前述文章列举的理论和原理，最终实现了【插入外置USB配件后系统弹出USB授权弹窗】的自动点击操作。并将这个功能给统一整合到【蓝牙电话方案-拨号器SDK】中，使基于其上的普通应用App能够对弹窗文本进行识别，识别成功后将自动点击其“确定”或“允许”按钮。通过在普通App中整合此类功能，可快速通过一些因Android授权弹框而阻塞App自动运行的过程，减少了人工行为的干预从而降低操作复杂度。

本文是为了简化SIP平台的部署难度，针对SIM卡电话通话中的DTMF按键的信息，在蓝牙电话SDK到SIP平台的这一段通路中，将蓝牙电话SDK解码出来的DTMF数字，通过RFC2833的协议，通过rtp将DTMF又多发了一份给SIP平台。使SIP平台可以不用特意专门去解析In-band带内DTMF，即可正常获取到对方的按键值。

本文在上一篇的手机上实现了“打电话时由对方DTMF响应切换多级IVR语音菜单”功能的基础之上，锦上添花的增加了多级IVR菜单的上传和下载功能。使同一用户的多个不同的手机设备，能够快捷的使用同样的IVR引导菜单统一对外提供业务和功能服务。这样有利于业务的快速部署并消除服务的体验差异。对业务起到一定程度的帮助。

本篇中，我们通过预设的话术脚本，设计了自己的DTMF响应逻辑。并通过在线TTS和语料转换，实现将脚本文字转换为一段一段语音，并将它们成功导入了【蓝牙电话SDK示例App】中进行使用。我们可以通过主界面中对多级IVR菜单的逻辑和响应内容进行编辑，并提供了不用打通电话就可以直接检验和验证IVR菜单的体验效果的途径。另外，由于本篇章的所有的逻辑和代码均属于【示例App】的功能范畴，开源的。感兴趣的读者可以获取源代码，在这个基础上进行修改以适配自己的话术和逻辑。

本篇章中，我们尝试在拨号器SDK的示例App中，通过界面列表的方式，将多级IVR的编辑界面内容给标注出来，使SDK-Demo的App，能够按用户自己的需要，手动编辑各种层级的IVR的DTMF按键响应的语料。从而实现一个完整的“手机SIM卡挂载多级IVR实现主动外呼或来电接听时根据通话对方不同的DTMF按键，实现播放不同IVR语音反馈”的实际功能。

我们尝试在蓝牙电话SDK中，引入一些跟AI方向相关的算法和能力。本篇章中，我们想突破传统的业内“端+云”的做法，想仅仅依靠端侧的算力（毕竟智能手机处理性能这么强，存储空间又大）来独立完成ASR语音转文字的功能。目前从实践的结果来看，算法和模型库不给力啊。当前暂时没有发现能够直接移植到手机、且完全不依赖网络，并能够获得比较良好的ASR识别的算法和模型库。

在本篇及后面的几篇，我们将针对多级IVR语音导航的功能，规划出一个可用的界面及操作App出来，使同一个用户，名下所有的手机，都能使用同一套多级IVR语音来进行单机化的部署。（会不会把它引导到云平台上，然后用多并发的方式来实现更加容易？但这个不是本次主题讨论的范畴，我们默认就已经具备了这个云平台功能，本次只讨论单机版）

本篇章中，我们将DTMF解码器的功能，整合到蓝牙电话SDK，并在其示例app的界面中展示DTMF字符的内容。使SIM卡电话通话时（来电或手机拨打出去）均可在界面中能正常查看到通话的目标手机按下的DTMF按键的字符内容。

本文介绍了Windows电脑上运行的【蓝牙电话SDK示例app】的远程声音坐席的程序。用户可使用本程序，搭配上一篇章的【蓝牙电话SDK示例app】，实现通话过程中自动插播语音片段的能力，最终实现【通话过程中，电脑坐席一边收听对方声音，一边插播IVR预录的语音片段】的实现方案。

本篇章使用该方案的SDK示例app，仅仅通过为Android手机外置一个USB配件的情况下，拦截电话通话的事件和语音数据，进行数据识别和语音二次加工。实现手机app在电话通话过程中插播预先录制的开场白等语音片段的功能。

我们在手机厂商的AI通话的功能之外，拓展了一种不受手机厂商和定制安卓限制的方式，为社会上公共的开发人员提供了一种基于普通Android应用app级别的AI电话机器人的应用能力。上层app可以使用底层内置SDK，很容易的就可以对手机电话外呼和来电过程的通话声音进行提取和加工处理。上层app在这个基础之上可以自由的定制更多的电话的IVR语音导航和AI通话的相关功能，自由的接入DeepSeek等各种AI和大模型平台，为最终服务的用户，提供更加精细的个性化的能力。

我们一般使用电话座机或手机，拨打电话时，在振铃阶段或接通后，均可以按下键盘上的数字0-9、*、#等按键，把对应的DTMF按键值发送给对方。通话的对方接收该按键值后进行业务处理和反馈。本篇章中，我们从DTMF频率的组成、FFT过滤声音的频率，以及DTMF字符的识别等角度，一起探讨一下：Android手机中，如何通过手机app，识别出通话时对方手机到底有没有按键、按的是哪个dtmf按键。

本篇章中，我们直接在【拨号器管理app】中集成SIP终端的功能，使得用户在另一个Android手机上能直接使用蓝牙电话的功能，通过SIP链路的方式桥接到蓝牙手机上，进行SIP呼叫来拨打目标电话（此方式不再依赖Windows电脑，但需要依赖另一个安卓手机）方案中继续采用上一篇章搭建的FreeSWITCH服务器做SIP链路的B2B-UA转发，通过局域网“云平台”，使另一台手机上的“软电话”能正常使用蓝牙电话的方案呼叫出去。

我们在《ADB连接专题》系列文章中，对手机本身的ADB功能进行了一系列深入的挖掘，在本篇章中，我们着重的探讨了“手机app如何绕过无障碍权限实现弹框自动点击”的能力。实践发现，只要换个思路，世界的打开方式就完全不同，我们所有的操作和预期功能都能够有非常简洁清晰的途径去实现。

随便找一个手机，安装一个App并简单设置一下，就可以跨互联网的ADB连接到这个手机，从而远程操控这个手机做各种操作。你敢相信吗？而这正是本篇想要描述的内容。我们根据前面编写的ADB连接专题的两个篇章中阐述的内容，搭建了一个位于阿里云服务器的转发平台，将功能整合到了本系列主题的【智能拨号器App】当中。实现了随时用、随时开关ADB端口的能力。

本文主要阐述实现原理和事件的交互方式，讲述如何通过ADB中继线路的方式，实现外部阿里云的公网服务器某一个公开的TCP端口对应映射一台内网手机的ADB链路的连接办法。从而实现远程访问本地Android手机的ADB数据的操控方式。

本系列的篇章中，尝试将本地的手机，通过公开ADB连接的办法，将某个本地手机映射称为外部公网的一个TCP端口，在使用完毕后就关闭掉这个访问端口。通过这种模式实现灵活的远程访问和控制本地Android手机，进而实现常见的“远程控制手机打卡”、“获取Logcat调试日志”、“推送安装APP”、“文件push推送和文件pull下拉”等常规的Android手机的控制操作。这样，对于Android手机而言，ADB控制操作就能脱离了物理区域的限制，实现操作人员和目标实体手机在地理上分布和协同的工作方式。

从这一期的版本起，智能拨号器的手机app默认自动支持局域网双SIP坐席同时在线的能力。在呼叫和来电时手机app自动可以根据电话的呼叫方的手机号码，自动选择SIM1/SIM2的的手机卡进行外呼和来电的调度。真正的实现了局域网SIP坐席的双卡双待单通的电话呼叫方案。

在本篇章中，我们针对Android系统本身的双SIM卡的来电能力进行了一定的探索，实现了在代码逻辑层面中识别“双卡手机来电如何获取哪一个卡的来电”的数据。并在后续的功能逻辑中，根据不同SIM卡手机号来实现通话数据和业务调度到不同的局域网SIP坐席的功能。这样，对于手机app而言，就充分的利用上了手机本身自带的“双卡双待”的功能，降低了操作的复杂度，也减少了应用扩展的成本，为后续更加复杂的场景提供了理论和数据上的支撑。

本篇章中我们主要论述我们当前的产品和方案，它到底有哪些特点？以及在各个细分领域中，相比对标市面上其它的方案，它的主要优势在哪些地方。同时结合具体实际的预设场景，剖析用户面临的实际痛点和难点，看看我们的产品和方案能够在哪些方面能够解决用户的实际需求，从而发挥出它更大的社会价值。

这段时间，我们在技术范围之外陷入了一个自证或者说下定义的怪圈，即要怎么样去介绍或者描述：我们是一个什么样的产品。它在当前这个世界上，处于什么样的生态位？它解决了什么样的问题，能够适用在什么样的场景，都有哪些人可能会用它？在预期的领域里面，它的商业机会会有多大，即“假设所有条件都满足，你这个业务最多能做到多少个亿的规模？”。进而定义出“它有什么样的社会价值”。

前几天我浏览拼多多和淘宝的时候，发现又面世了两款更加人性化的模具，此处贴出来供大家参考。我们基于市面上的最新的一些产品和配件（主要是京东淘宝拼多多经常做的推荐），按照正常的交互需要和审美需求，提炼和筛选出一些新的、较为经典的产品，顺便为它们做个宣传。

现代社会新的设备和技术层出不穷，eSIM卡技术是近年来输出的一种与打电话业务有强关联性的一种探索，蓝牙电话方案理论上应该需要针对此类新型的科技和技术进行主动和及时的适配。目前看来，现有技术对遵循标准化方式的蓝牙电话方案没有太大影响，可以直接放心使用。