superxxd的专栏

现在的软硬件开发都涉及庞杂的软硬件环境和多种外设总线部署，这时我们利用远程工具和windows自带的wsl虚拟机环境再配合vscode的remote ssh远程开发模式，可自由的在linux windows android等平台上切换，让开发更顺畅，也可以更好的利用gpu这类昂贵的硬件实现Ai算法验证，因为远程内网穿透和基于前后台的可管理能力，浏览器的广泛适配，使你的开发不再受地域限制，同时内网私有部署避免了泄露信息隐私，强化了私密性。

在实战开发了大量从服务端到设备端再到浏览器端的应用后蒙生了一个想法，就是将这么多应用的共性问题提炼出来，用物联网的思维统一管理调度并授权管理，用户可以分级分权限发布资源提供能力和数据流，同时通过订阅来实现利用这些资源，我们只是对数据流和控制流进行按需共享，这样一来，就大大减少了系统的逻辑相关性，开发者可以将注意力放到业务按需实现调度逻辑，需要什么定阅什么，没有功能就实现一下独立的应用去发布这个功能让其他订阅者使用。后一步会增加语音电话，物联网采集控制，AI分析赋能，以及利用这些能力订阅，实现多种业务逻辑。

我知道这个挑战很大，也有很多超过我的能力，但我相信在互联网深入人心，协作共享成为主流趋势的现今这个平台一定有价值，一定会有不同的人愿意来尝试并迭代并完善他，在这里我想致敬#casdoor #hotgo#goadmin是这些优秀的设计给了我启发和初步的能力。1.资源管理,包括流和设备，sdk算法等以应用的形式存在，并由提供商发布和提供支持，代理商可以加入共同推广，行业应用拓展，所有资源可以实现有控制的互联互通，通过发布订阅实现能力的共享，以数据流做为介质，自定义指纹授权管理。

在传输时首先判断文件大小，如果文件小于阈值就开启单任务传输，目前测试速率在2-4M bytes每秒 B/s速度还将就，为了提高传输速率，对于大文件采用多任务并发模式可以提高到8M以上，因为是自定义操作，点对点操作，所以安全隐秘性是完全可以定制的，但是对于用户操作的各种场景，要做各用户同时传输，分片传输这的确是一个挑战，如何应对容错，回滚，文件冲突等难题，策略如何，都不好应对，本着先满足基本功能再迭代优化的思路先加个轮子跑起来再说。

2.自带流管理，支持多流共享，格式支持h264 h265 av1 opus yuv420等，1080p 4k分辨自适应，多屏幕虚拟屏幕个性化按需分配。1.基于串流的采集动态编码技术，支持软件GPU硬件编码模式，可变帧率，低延迟高画质带宽，游戏渲染也丝滑。6.加密迅捷的文件数据传输通道，拖拽 ctrl c v实现文件远程传输，剪切板内容远程交换。5.无人执守代理，支持键盘鼠标虚拟控制，支持锁屏登录界面，支持远程关机，开机自启动。4.物联网级设备管理机制，支持基于设备，组织的消息信令发布定阅。

但是细分市场，还是值得深入做深做实，我们选择了一种多媒体融合控制方案，集硬件版本kvm，串流版本kvm,多媒体摄像头接入转发等多功能为一体的多端互联互通的方案，使音视频数据及iot控制数据完美的的融合，形成一个强内聚的核心分发网，并跨嵌入式终端，安卓移动，web 浏览器，微信小程序等多端使远程更快捷，业务逻辑展现更容易，实时性更强。远程技术已经发展得有相当水平了，在远程办公，云游戏，云渲染等领域有相当多的应用场景，以向日葵，todesk rustdesk等优秀产品攻城略地，估值越来越高。

传输基本上串流跟webrtc类似，主要是rtp udp传输加大剂量fec，不吝啬带宽大力出奇迹，为了内网穿透很多用上了upnp技术，不过比起全方位可信令交互生态完善的ice在业务场景上的自由度还是差点意思，所以我改进了传输，优化了底层，融入了我自己写的闭环信令系统，方便业务逻辑控制，也完全实现了内网p2p，甚至多内网级联分享，关键是可以在我的浏览器播放器中使用，支持h265的大分辨率桌面共享，可以像推拉流一样享受远程桌面，同时集成业务级的关联逻辑控制和设备管理。于是借这个春节假期好好的研究了一下串流技术。

3.支持多协议多编码接入，目前支持rtsp，rtmp gb28181 webrtc的按需拉流，拉流逻辑完全由客户端实现，可以做到端到端的自加密传输，支持annexb rtp h265 h264等视频的传输和播放，支持aac ，pcmua opus等音频的传输和播放，无插件支持h265浏览器播放，数据完全自主可控，方便接入tensorflow.js实现ai模型应用。1.多端互通，涉及服务器端，网页端，移动app端，微信小程序端，嵌入式设备端，各端的框架代码都是我无数个昼夜，辛苦构思，敲出来的。

最近利用自己以前学习和用到的音视频知识和工程技能做了一个android的sdk,实现了本地流媒体ipc rtsp 拉流以及自带mip usb等camera audio节点产生的流媒体通过webrtc sfu的方式进行多对多级联发布共享,网状结构，p2p组网，支持实时渲染以及转推rtmp，webrtc,h264 h265 opus aac g711,均支持，在rk3568 android 11上多路1080p 30fps渲染转发毫无压力，请教大佬们有什么好的应用场景来适配这个技术。

在万物互联的时代，多平台融合的时代，选取合适的信息交互协议也值得非常耐心的分析，对比，取舍。MQTT本为物联网而生，轻巧灵活的架构，安全稳定的传输，自带设备管理的属性，成为我处理远程控制信令系统的首选，在使用过程中，可以灵活的实现分组授权，确保安全性和灵活性鱼和熊掌皆可得。信令交互设计的核心数据结构，结合控制信息，将信令和通用控制自定义协议融为一体，利用MQTT订阅发布机制实现 浏览器，嵌入式平台，windows,linux平台，设备与设备间，设备与平台间相互交互，互联互通。通过远程控制调试设备输出。..

webrtc是实时音视频传输的利器，除了audio /video track的传输外还有datachannel可用于数据和信息的实时交互，在设备和浏览器间建立一个p2p通道，利用mqtt作为信令，通过对设备端rtsp服务器推流进行转换实现视频的采集，另外利用datachannel 发送浏览的监听的鼠标键盘数据给设备实现控制受控机的鼠标键盘，从而实现远程桌面控制。没事的时候自己diy一个远程控制设备，增加自己学习webrtc 和go语言的兴趣，两全其美。android系统控制。手机对Win10桌面控制。...

通过webrtc通道传送远程自动绘图脚本typingSpeed(0,0); //type as fast as possiblelayout("GB"); //language layout//Start paint// waitLEDRepeat(NUM);press("GUI R");delay(1000);type("mspaint\n"); //no need to press ENTEr, encoded in '\n'delay(2000);//Maximize paintp

现有主流浏览器基本上都已经支持webrtc,可以基于js实现非常简洁的webrtc连接建立，我么采用了mqtt协议进行信令传输，方便设备管理。采用了开源emqx作为mqtt服务器，架构非常简介高效，可以很好的融合到各种iot物联网系统架构中，可以先建立mqtt连接，相应的设备采用消息订阅的方式等待相关控制指令 当mqtt连接建立后，就可以通过RTCpeerconnect 建立webrtc通道创建本地offer，并向需要远程控制的设备ID发布SDP offer，并等待设备的answer，当收到...

熟悉远程桌面控制的朋友一定用过或听说过以下产品pc anywhere 、teamview、向日葵、rustdesk等等，远程技术日新月异，协议也百花齐放，RDP VNC SSH TELNET都大放异彩。 随着网络带宽的大大提升，远程控制的互动交互进入一个新的阶段，我准备抽时间将远程控制所需的核心技术逐一展示，并以此实现一款强大的远程办公硬件。首先，浏览器已经不可替代，为了不安装软件，我们选择采用浏览器作为本地桌面的载体，鼠标键盘又是图形交互不可获取的外设，所以我选择第一课采用js实现本地...