每日出拳老爷子的博客

在使用向日葵连控功能时，若遇到“无视频信号”的提示，通常用户会怀疑目标电脑息屏或系统挂起。实际上，这个问题可以通过一个简单的操作解决

Unity Render Stream：在piping server基础上继续做的Unity插件，用于Unity程序之间的画面远程。做了一个可以在局域网远程屏幕的VR应用，如果有相同兴趣的朋友也可以参考下我用的几个插件。uWindowsCapture：用于将Windows OS画面捕捉到Unity中。piping server：这个是最基底的插件，基于它实现的信令通信。

不做花里胡哨的功能，主要目的就是让work from home的同事能够边连语音，边看到画面，所以只需要实现内网的画面共享功能即可。由于公司没有什么很好的内网开会的工具，Skype如果需要开相应功能还要加License费用，流程繁琐，因此自主开发了一套简易好用的内网屏幕共享会议系统，得益于Python的强大扩展性，很快就实现了。使用下来效果还是很好的，多人会议也毫无卡顿，对系统性能的要求也不高，本体体积如果用pyinstaller的one file方式打包，可以压缩到75兆左右。

完全所见即所录了，文字也很清晰。因此录屏尽量不要采用缩小算法，这和输出本身的分辨率是否够用没关系。如果输入本就是1920*1080的话，录出来的质量也不差。各种调查后，觉得还是因为缩小问题导致，因此直接将输出分辨率变为3840*2160。1080，缩小算法考虑到质量，选择样本数多的36个样本的算法。录屏后发现图片之类的看不出什么问题，但是一旦到文字就特别模糊和色浅。2160大小，录屏时觉得输出这么大没必要，因此输出改为1920。

有了可在线提供的 TURN 服务器后，您只需提供正确的 RTCConfiguration，以供客户端应用使用。以下代码段展示了 RTCPeerConnection 的示例配置，其中 TURN 服务器的主机名为 my-turn-server.mycompany.com，端口是 19403。该术语代表在 NAT 中使用中继的遍历，是一种用于中继网络流量的协议。目前能够以多种方式在线使用 TURN 服务器，既可以作为自托管的应用（如开源 COTURN 项目），也可以是作为云提供的服务。

远程对等端可以通过监听 RTCPeerConnection 对象的 datachannel 事件来接收数据通道。收到的事件是 RTCDataChannelEvent 类型，包含一个 channel 属性，该属性表示在对等方之间连接的 RTCDataChannel。可通过对 RTCPeerConnection 对象调用 createDataChannel() 来完成此操作，该方法会返回 RTCDataChannel 对象。同样，当任意一侧关闭频道时，也会发生 close 事件。

为了接收由另一个对等方添加的远程轨道，我们会在本地 RTCPeerConnection 上注册一个监听器，用于监听 track 事件。RTCPeerConnection 连接到远程对等设备后，就可以在它们之间流式传输音频和视频。媒体流包含至少一个媒体轨道，当我们想将媒体传输到远程对等设备时，它们会分别添加到 RTCPeerConnection 中。轨道可以在连接到远程对等方之前添加到 RTCPeerConnection，因此最好尽早执行此设置，而不是等待连接完成。

创建 RTCPeerConnection 后，我们需要创建 SDP Offer或Answer，具体取决于我们是发起通话的对等方还是接收方的对等方。创建 RTCPeerConnection 对象后，底层框架会使用提供的 ICE 服务器收集连接建立的候选对象（ICE 候选对象）。此对象定义对等连接的设置方式，应包含要使用的 ICE 服务器等的相关信息。虽然对等设备可以等待 ICE 收集完成，但通常要高效地使用“滚动ICE”技术，并在发现每个 ICE 候选设备后将其传输到远程对等设备。

WebRTC 的媒体部分介绍了如何使用能够捕捉视频和音频的硬件（例如相机和麦克风），以及媒体流的工作原理。此外，还介绍了显示媒体，这是应用可执行屏幕捕获的方式。

对于使用 getUserMedia() API 的应用，建议先检查现有设备，然后使用 deviceId 约束条件指定与确切设备匹配的约束条件。在更复杂的应用中，我们很可能需要检查所有连接的摄像头和麦克风，并向用户提供适当的反馈。在此对象中，我们可以枚举所有已连接的设备，监听设备更改（当设备连接或断开连接时），并打开设备以检索媒体流（见下文）。最常见的用法是通过函数 getUserMedia()，该函数会返回一个针对匹配的媒体设备解析为 MediaStream 的 promise。

Full duplex”指的是一种通信模式，在这种模式下，数据可以同时在两个方向上传输。

git上有pyping server配套的前端，如果想部署这套前端，省去自己从零开始做前端的劳动，应该怎么办呢？

查了一下，必须开ssl才能支持http2，所以问题就变成如何开ssl https支持。用pyping server传流式数据，必须启用http2，http2又必须有https支持。如果没有安装openSSL，在windows上直接搜openSSL官网，找到windows版本后下载exe或msi安装即可。权限问题，猜想是没有安装生成的证书，所以把pem后缀的cert改为crt后缀名后双击安装。这个一般是域名匹配问题，但问题是我是内网，没有域名，所以只有通过扩展信息加IP信息来匹配。

之前大致介绍了一下轻量的selfHosting可用于局域网提供数据流交换服务的开源工程piping server，本篇来具体介绍应用方法，如何安装，运行和使用piping server来传输信息。

从使用上看，控制=一对一，不控制=一对多或者多对一比较自然。这里的一和多指的是同时，不是切换。切换仍然属于一对一。在构建投屏解决方案前需要细分好自己的场景，确定是否需要控制，是一对多还是多对一等。

之前介绍了如何用一款名为uWindowCapture的Unity免费插件在Unity的Canvas上展示PC桌面。经过一段时间的使用，本篇继续分享此插件的一些功能和限制。Type指定为Window时，会以具体窗口为目标进行抓取，如果进一步勾选创建子窗口，那么每一个子窗口会作为一个Prefab的实例生成，可以在Unity中自由单独互动排版。Child Window Z Distance指定了每增加一个新窗口实例，新窗口位置深度方向的变化。如果同时使用UwcIconTexture组件，可以抓取Icon。

之前介绍过用一款简称uDD（uDesktopDuplication）的开源插件抓取电脑桌面。但是当切换到文档，或者仔细看任何UI的文字部分时，发现就模糊了。

因祸得福的是，sunshine作为开源的self-host的服务端，不仅可以代替Novidia的服务端角色，还拓展了moonlight可以服务的主机，非novidia显卡的PC也可以通过这对搭档实现高质量的游戏窜流投屏了。回到moonlight，点击电脑图表，会给你一个Pincode，到Sunshine控制台，菜单点击Pin，输入moonlight给出的pin码。高质量的图像： Moonlight支持高清（HD）和甚至4K分辨率的投屏，同时还提供了对音频的传输支持，确保用户可以享受到高质量的视频和音频。

通过对现有的一些免费局域网流媒体传输服务相关的应用进行拆解，发现他们其实都用了一个开源Selfhosting应用的各种变体，这个救命的应用就是

WebRTC是一套基于JS的API，能够建立端对端的直接通信，实现即时交换视音频文字等各种形式的信息。特点是即时通信和低延迟。整个建立连接的流程如下：发起方创建 Offer（提议）:发起方（通常是浏览器）通过 RTCPeerConnection API 创建一个 SDP（Session Description Protocol） 提议（Offer），其中包含自己的媒体信息（音频和视频的编码格式、传输协议等）。

编写好脚本后，展开Input Receiver的Events，加一个监听，把MainCamera拖放过去，Function选PlayerController.Look。目前我们能投射到远端浏览器（或者任何其它Peer）的媒体流只有默认的MainCamera画面，其实我们还可以通过配置输入来传输操作输入信息，比如键鼠等。选中Look，右边栏Action Type选为Value，Control Type选为Vector 2。展开Look，选定No Binding，右侧追加绑定路径：Mouse-》Delta。

之前几篇我们讨论了如何设置信令服务器，如何发送画面给远端以及如何用浏览器查看同步画面，今天来讨论如何实现Unity内部接收画面。看本篇之前请先看过之前将web服务器设置和基本远程画面功能的几篇博文。在Unity编辑器中打开一个示例项目，点击BroadCast按钮。4. 再点击Receiver按钮，Start。Build一个示例项目，并运行这个项目。启动Web.app。

从空白项目开始构建一个媒体流app需要涉及构建一个可同步画面的场景控制摄像头本篇先讲第一步。

平台：基本常用平台包括安卓，苹果（max和IOS），Windows64，Linux都行。10. 注意，如果从移动设备浏览器连接服务，信令服务器的SSL证书一定要先设好。想要在Unity中实现实时远程桌面，找到了Render Streaming这个手段，本篇介绍相应的使用方法和实例。8. 打开电脑浏览器，地址栏输入http://127.0.0.1，点击Receiver Sample。新建Unity项目，模板选Third Person，Project Name随意。启动App，控制台出现如下信息表示成功。