WebRTC PeerConnection Client源码分析1-main window

本文分析的webrtc的版本是:m84 平台:win10

WebRTC PeerConnection Client源码分析1-main window

WebRTC PeerConnection Client源码分析2-PeerConnectionClient

WebRTC PeerConnection Client源码分析3-Conductor

PeerConnection是WebRTC官方提供的P2P示例,麻雀虽小五脏俱全,这个示例对于学习WebRTC是非常有帮助,下面我们开始详细的分析其代码逻辑。

在/examples/peerconnection目录下有两个程序,分别是peerconnection_clientpeerconnection_server,其关系如下图:
在这里插入图片描述

peerconnection_client程序的入口

首先说明一下,我是做linux开发的,对于windows的接口并不懂。peerconnection_client程序是一个win32 Application程序,所以涉及到win32接口的代码我只能读懂个大概,下文中有写错的地方,希望见谅。其实我们的核心是分析webrtc调用逻辑,所以win32相关的知识不是重点。

平时我们写的程序大部分都是console程序,其入口函数是main(),而win32 Application程序的入口函数是winMain()。wWinMain()函数是unicode环境下的win32Application的入口。

/examples/peerconnection/client/main.cc中的wWinMain()函数就是peerconnection_client的入口,其代码如下:

int PASCAL wWinMain(HINSTANCE instance, HINSTANCE prev_instance, wchar_t* cmd_line,int cmd_show) 
{
  /*初始化window下的网络接口*/
  rtc::WinsockInitializer winsock_init;
    
  /*创建一个线程对象*/
  rtc::Win32SocketServer w32_ss;
  rtc::Win32Thread w32_thread(&w32_ss);
    
  /*将w32_thread线程纳入到Thread对象的管理之中*/
  rtc::ThreadManager::Instance()->SetCurrentThread(&w32_thread);

  ...
}
class WinsockInitializer {
 public:
  WinsockInitializer() {      /*构造器*/
    WSADATA wsaData;
    WORD wVersionRequested = MAKEWORD(1, 0);
    err_ = WSAStartup(wVersionRequested, &wsaData);
  }
  ~WinsockInitializer() {     /*析构器*/
    if (!err_)
      WSACleanup();
  }
  int error() { return err_; }

 private:
  int err_;
};

windows在使用socket之前需要调用WSAStartup()函数完成对socket的初始化,在使用结束后需要调用WSACleanup()函数解除Socket库的绑定和释放占用的资源。

winsock_init对象被定义之后,并没有被直接使用,此处使用了RAII的思想,借用WinsockInitializer的构造器完成WSAStartup()函数的调用,在其析构器中主动调用WSACleanup()

在定义winsock_init对象时,会在其构造器中主动调用WSAStartup()winsock_init对象会在wWinMain()函数结束时离开其作用域,当winsock_init对象在离开其作用域时,其析构器会被调用,析构器中的WSACleanup()函数也就被调用了。这样就保证了WSAStartup()WSACleanup()两个函数始终会配对使用了。

解析命令行

这里在处理命令行参数时使用的是Google自己的absl库。

win32 Application的命令行参数格式和console程序的不同,所以需要先进行命令行参数的转换。console程序的命令行参数是以字符指针数组的方式存储的。例如如下console程序的命令行参数存储如下图:

root@learner:~# ./a.out  aa bb cc

在这里插入图片描述

WindowsCommandLineArguments win_args;
int argc = win_args.argc();
char** argv = win_args.argv();

通过上面的方式将命令行参数转成字符指针数组的方式。

ABSL_FLAG(bool, autoconnect, false, "Connect to the server without user intervention.");
ABSL_FLAG(std::string, server, "192.168.30.17", "The server to connect to.");
ABSL_FLAG(int, port, kDefaultServerPort, "The port on which the server is listening.");
...

在flag_defs.h文件中预定了命令行参数,并为这些参数设置了默认值。在运行程序时,如果没有提供命令行参数,则会使用设置的默认值。

这里就不详述命令行的解析了,通过下面示例就能大体了解其使用方式:

#include <iostream>
#include <absl/flags/flag.h>
#include <absl/flags/parse.h>
#include <string>

ABSL_FLAG(std::string, ip, "192.168.30.232", "server ip");
ABSL_FLAG(uint16_t, port, 9000, "server port");

using namespace std;

int main(int argc, char** argv)
{
    absl::ParseCommandLine(argc,argv);

    const std::string ip = absl::GetFlag(FLAGS_ip);
    cout<<"ip   = "<<ip<<endl;

    uint16_t port = absl::GetFlag(FLAGS_port);
    cout<<"port = "<<port<<endl;

    return 0;  
}
root@learner:~# g++ absl.cpp -labsl -lpthread
root@learner:~# ./a.out 
ip   = 192.168.30.232
port = 9000
root@learner:~# ./a.out --ip=127.0.0.1 --port=8080
ip   = 127.0.0.1
port = 8080

不提供命令行参数时,则使用默认值。

root@learner:~# ./a.out --helpfull
a.out: Warning: SetProgramUsageMessage() never called

  Flags from absl.cpp:
    --ip (server ip); default: "192.168.30.232";
    --port (server port); default: 9000;


  Flags from opt/abseil-cpp/absl/flags/parse.cc:
    --flagfile (comma-separated list of files to load flags from); default: ;
    --fromenv (comma-separated list of flags to set from the environment [use
      'export FLAGS_flag1=value']); default: ;
    --tryfromenv (comma-separated list of flags to try to set from the
      environment if present); default: ;
    --undefok (comma-separated list of flag names that it is okay to specify on
      the command line even if the program does not define a flag with that
      name); default: ;

Try --helpfull to get a list of all flags or --help=substring shows help for
flags which include specified substring in either in the name, or description or
path.

absl库提供了丰富的帮助信息,通过–helpfull参数就可以查看。

/*从命令行获取需要开启的实验特性*/
const std::string forced_field_trials = absl::GetFlag(FLAGS_force_fieldtrials);
/*设置WebRtc的实验特性*/
webrtc::field_trial::InitFieldTrialsFromString(forced_field_trials.c_str());

/*检查命令行提供的端口号是否合法*/
if ((absl::GetFlag(FLAGS_port) < 1) || (absl::GetFlag(FLAGS_port) > 65535)) {
	printf("Error: %i is not a valid port.\n", absl::GetFlag(FLAGS_port));
    return -1;
}

/*获取信令服务器的ip地址*/
const std::string server = absl::GetFlag(FLAGS_server);

webrtc中有很多特性默认是没有开启的,这些特性可以通过InitFieldTrialsFromString()接口通过字符串开启。例如flexfec默认是没有开启的,但通过"WebRTC-FlexFEC-03-Advertised/Enabled/WebRTC-FlexFEC-03/Enabled/"字符串可以开启此特性。

类的关系

在这里插入图片描述

Conductor类:是对WebRTC的封装,实现了P2P的核心逻辑。

PeerConnectionClient类:和信令服务器之间的信令,都是通过此类处理的。

MainWnd类:这个类用于实现所有的界面和视频的渲染。

/*创建MainWnd对象*/
MainWnd wnd(server.c_str(), absl::GetFlag(FLAGS_port), absl::GetFlag(FLAGS_autoconnect), absl::GetFlag(FLAGS_autocall));
...

/*创建PeerConnectionClient*/
PeerConnectionClient client;

/*创建Conductor对象*/
rtc::scoped_refptr<Conductor> conductor(new rtc::RefCountedObject<Conductor>(&client, &wnd));

通过观察者模式将这三个类组织起来,Conductor通过接口订阅PeerConnectionClient和MainWnd中的事件。

创建登录界面、进入事件循环

MainWnd类管理了三种界面:connect界面peer list界面视频渲染界面

connect界面
在这里插入图片描述

peer list界面

在这里插入图片描述

视频渲染界面
在这里插入图片描述

/*获取信令服务器的ip地址*/
const std::string server = absl::GetFlag(FLAGS_server);

MainWnd wnd(server.c_str(), absl::GetFlag(FLAGS_port), absl::GetFlag(FLAGS_autoconnect), absl::GetFlag(FLAGS_autocall));
if (!wnd.Create()) {
	RTC_NOTREACHED();
	return -1;
}

absl::GetFlag(FLAGS_autoconnect)从命令行获取是否自动连接信令服务器,默认是false。

absl::GetFlag(FLAGS_autocall)从命令行获取是否自动呼叫,默认是false。

bool MainWnd::Create()
{
  /*1、注册窗口类*/
  if (!RegisterWindowClass())
    return false;
...
  /*2.1 创建主窗口*/
  wnd_ =::CreateWindowExW(WS_EX_OVERLAPPEDWINDOW, kClassName, L"WebRTC",
                          WS_OVERLAPPEDWINDOW | WS_VISIBLE | WS_CLIPCHILDREN,
                          CW_USEDEFAULT, CW_USEDEFAULT, CW_USEDEFAULT,
                          CW_USEDEFAULT, NULL, NULL, GetModuleHandle(NULL), this);
...
  /*2.2 创建其他窗口*/
  CreateChildWindows();

  /*转向connect界面*/
  SwitchToConnectUI();

  return wnd_ != NULL;
}

int PASCAL wWinMain(HINSTANCE instance, HINSTANCE prev_instance, wchar_t* cmd_line,int cmd_show) 
{
  ...
     
  /*3、进入事件循环,处理windows事件消息。*/
  MSG msg;
  BOOL gm;
  while ((gm = ::GetMessage(&msg, NULL, 0, 0)) != 0 && gm != -1) {
    if (!wnd.PreTranslateMessage(&msg))   /*先进入MainWnd对象的预处理函数进行处理*/
    {
      ::TranslateMessage(&msg);
      ::DispatchMessage(&msg);
    }
  }
  ...
}

一个Windows应用程序通常需要三大步骤:1、注册窗口类 2、创建窗口 3、进入事件循环处理Windows事件消息

bool MainWnd::RegisterWindowClass() 
{
...
  wcex.lpfnWndProc = &WndProc;      /*注册消息处理回调函数*/
...
    
  wnd_class_ = ::RegisterClassExW(&wcex);   /*注册窗口类*/
...
}

在注册窗口类时,需要注册消息处理回调函数,当有消息到来时,会进入注册的回调函数中处理。

void MainWnd::CreateChildWindows()
{
  /*connect界面 Server标签*/
  CreateChildWindow(&label1_, LABEL1_ID, L"Static", ES_CENTER | ES_READONLY, 0);
    
  /*connect界面 ip编辑框*/
  CreateChildWindow(&edit1_, EDIT_ID, L"Edit", ES_LEFT | ES_NOHIDESEL | WS_TABSTOP, WS_EX_CLIENTEDGE);

  /*connect界面 冒号标签*/
  CreateChildWindow(&label2_, LABEL2_ID, L"Static", ES_CENTER | ES_READONLY, 0);

  /*connect界面 port编辑框*/
  CreateChildWindow(&edit2_, EDIT_ID, L"Edit", ES_LEFT | ES_NOHIDESEL | WS_TABSTOP, WS_EX_CLIENTEDGE);

  /*connect界面 Connect点击按钮*/
  CreateChildWindow(&button_, BUTTON_ID, L"Button", BS_CENTER | WS_TABSTOP, 0);

  /*peer list box*/
  CreateChildWindow(&listbox_, LISTBOX_ID, L"ListBox", LBS_HASSTRINGS | LBS_NOTIFY, WS_EX_CLIENTEDGE);

  /*在编辑框中显示默认的IP*/
  ::SetWindowTextA(edit1_, server_.c_str());

  /*在编辑框中显示默认的port*/
  ::SetWindowTextA(edit2_, port_.c_str());
}

创建界面上需要的子窗口

void MainWnd::SwitchToConnectUI()
{
  RTC_DCHECK(IsWindow());

  /*关闭peer list界面*/
  LayoutPeerListUI(false);

  /*标识处于connect界面*/
  ui_ = CONNECT_TO_SERVER;

  /*打开connect界面*/
  LayoutConnectUI(true);

  /*将鼠标放在IP地址编辑框中*/
  ::SetFocus(edit1_);

  /*如果是自动连接,则向connect按钮发送点击消息。*/
  if (auto_connect_)
    ::PostMessage(button_, BM_CLICK, 0, 0);
}

显示connect界面

处理事件消息

Windows应用程序在处理消息时,有两种方式将消息送至MainWnd处理。一种是在注册窗口类时注册的回调函数WndProc;另一种方式是在消息处理的循环中直接调用MainWnd类的PreTranslateMessage函数,提前对消息进行预处理,如果消息不能被处理则继续往下分发。

在注册窗口类时,注册了消息处理回调函数WndProc,当有消息需要处理时,会触发该函数。

LRESULT CALLBACK MainWnd::WndProc(HWND hwnd, UINT msg, WPARAM wp, LPARAM lp)
{
  MainWnd* me = reinterpret_cast<MainWnd*>(::GetWindowLongPtr(hwnd, GWLP_USERDATA));
...
    
  if (me) {    /*交由MainWnd对象处理*/
	...
    bool handled = me->OnMessage(msg, wp, lp, &result);       /*将消息进一步分发*/

    if (WM_NCDESTROY == msg) {   /*如果是销毁消息,将主窗口标记为销毁状态。*/
      me->destroyed_ = true;
    } else if (!handled) {       /*如果没有在OnMessage中处理这条消息*/
      result = ::DefWindowProc(hwnd, msg, wp, lp); /*没有处理的消息,丢给windows默认消息处理器。*/
    }

    /*处理完所有消息后,再销毁主窗口。*/
    if (me->destroyed_ && prev_nested_msg == NULL) {
      me->OnDestroyed();        /*销毁主窗口*/
	 ...
    }
    ...
  } else {      /*交由windows提供的默认消息处理函数处理*/
    result = ::DefWindowProc(hwnd, msg, wp, lp);    /*不是主窗口的消息*/
  }

  return result;
}

peerconnect_client自己发出的消息交由MainWnd对象的OnMessage函数处理,其他系统消息交由系统提供的默认消息处理函数处理。

bool MainWnd::OnMessage(UINT msg, WPARAM wp, LPARAM lp, LRESULT* result)
{
  switch (msg) {
...
    case WM_PAINT:
      OnPaint();      /*绘制新的视频帧*/
      return true;
...
    case WM_COMMAND:
      if (button_ == reinterpret_cast<HWND>(lp)) {         /*Connect按钮被单击*/
        if (BN_CLICKED == HIWORD(wp))    /*单击事件*/                 
          OnDefaultAction();
      } else if (listbox_ == reinterpret_cast<HWND>(lp)) { /*Peer list中的条目被双击*/
        if (LBN_DBLCLK == HIWORD(wp)) {  /*双击事件*/
          OnDefaultAction();
        }
      }
      return true;
    case WM_CLOSE:             /*点击窗口关闭按钮*/
      if (callback_)
        callback_->Close();    /*回调Conductor::Close()函数*/
      break;
  }
  return false;
}

WM_PAINT事件用于重绘新的视频帧,在MainWnd::VideoRenderer::OnFrame函数中调用的InvalidateRect函数会触发该事件。后面会详细分析。

WM_CLOSE事件在关闭主窗口时会触发,此时需要退出程序,先进入Conductor中做退出处理工作。Conductor处理完毕后,通过break跳出switch语句,此时OnMessage函数会返回false。结合MainWnd::WndProc处理函数中的逻辑可以看出,会继续将此消息送至系统处理函数DefWindowProc()进一步处理。

WM_COMMAND事件是比较核心的事件了,此事件会进入OnDefaultAction()函数进一步处理。

void MainWnd::OnDefaultAction() 
{
  if (!callback_)                  /*Conductor为空,直接返回。*/
    return;

  if (ui_ == CONNECT_TO_SERVER)    /*在Connect界面点击connect按钮*/
  {
    /*从窗口中获取server的IP和port*/
    std::string server(GetWindowText(edit1_));
    std::string port_str(GetWindowText(edit2_));

    /*在没有设置port的时候,port被默认设置为0。*/
    int port = port_str.length() ? atoi(port_str.c_str()) : 0;

    /*回调Conductor登录信令服务器*/
    callback_->StartLogin(server, port);
  } 
  else if (ui_ == LIST_PEERS)        /*在peer list界面双击待连接的peer id*/
  {
    LRESULT sel = ::SendMessage(listbox_, LB_GETCURSEL, 0, 0);
    if (sel != LB_ERR) {
      LRESULT peer_id = ::SendMessage(listbox_, LB_GETITEMDATA, sel, 0);

      if (peer_id != -1 && callback_) {
        /*回调Conductor::ConnectToPeer,传入要连接peer的id,开始p2p。*/
        callback_->ConnectToPeer(peer_id);    
      }
    }
  } else {
    ::MessageBoxA(wnd_, "OK!", "Yeah", MB_OK);
  }
}

在connect界面点击Connect按钮,或按回车键时都会触发Conductor登录信令服务器。

在peer list界面点击peer id,将触发Conductor的ConnectToPeer函数,开始进行p2p连接。当在此界面上直接按回车键时,会默认使用第一个peer id。

bool MainWnd::PreTranslateMessage(MSG* msg)
{
  bool ret = false;

  /*用户输入单键*/
  if (msg->message == WM_CHAR) {
    if (msg->wParam == VK_TAB) {                /*tab键*/
      HandleTabbing();
      ret = true;
    } else if (msg->wParam == VK_RETURN) {      /*回车键     在Connect UI则连接信令服务器, 在Peer list UI,则Call第一个条目。*/
      OnDefaultAction();
      ret = true;
    } else if (msg->wParam == VK_ESCAPE) {      /*esc键*/
      if (callback_) {
        if (ui_ == STREAMING) {
          callback_->DisconnectFromCurrentPeer(); /*如果在视频界面,则断开当前连接。*/
        } else {
          callback_->DisconnectFromServer();      /*在peer list界面,则返回connect界面。*/
        }
      }
    }
  } else if (msg->hwnd == NULL && msg->message == UI_THREAD_CALLBACK)   /*如果消息没有具体的窗体,且消息类型是我们自定义的类型,则说明是Conductor自己发出的消息。*/
  {
    callback_->UIThreadCallback(static_cast<int>(msg->wParam), reinterpret_cast<void*>(msg->lParam));   /*进入Conductor处理自己发出的消息*/
    ret = true;
  }
  return ret;
}

在消息处理循环中,在分发消息时,先进入此函数进行处理。

自定义windows消息-UI_THREAD_CALLBACK

enum WindowMessages {
	UI_THREAD_CALLBACK = WM_APP + 1,
};

可以在Windows应用程序中定义自己的消息UI_THREAD_CALLBACK

void MainWnd::QueueUIThreadCallback(int msg_id, void* data) 
{
  /*投递UI_THREAD_CALLBACK消息*/
  ::PostThreadMessage(ui_thread_id_, UI_THREAD_CALLBACK, static_cast<WPARAM>(msg_id), reinterpret_cast<LPARAM>(data));
}

定义了自己的消息后,可以通过上面封装的函数投递此消息。

bool MainWnd::PreTranslateMessage(MSG* msg)
{
 ...
  /*处理UI_THREAD_CALLBACK消息*/
  } else if (msg->hwnd == NULL && msg->message == UI_THREAD_CALLBACK)   
  {
    callback_->UIThreadCallback(static_cast<int>(msg->wParam), reinterpret_cast<void*>(msg->lParam));  
    ret = true;
  }
  return ret;
}

消息投递后,在这里处理此消息。

UI_THREAD_CALLBACK消息都是从Conductor中发出的,当消息的处理又回到了Conductor了,至于这么做的原因后面再分析。

渲染视频

MainWnd一方面负责界面的管理,同时也负责本端和远端视频的渲染。

MainWnd渲染的视频需要使用VideoRenderer接收视频帧数据,MainWnd将VideoRenderer对象注册到WebRTC中,当WebRTC有需要渲染的视频帧时,通过OnFrame回调函数上传待渲染的YUV视频帧,VideoRenderer负责将YUV数据转成RGB,最后由MainWnd将RGB数据绘制出来。

在这里插入图片描述

MainWnd::VideoRenderer::VideoRenderer(HWND wnd, int width, int height, webrtc::VideoTrackInterface* track_to_render)
    : wnd_(wnd), rendered_track_(track_to_render) 
{
...
  /*向VideoTrack订阅视频帧*/
  rendered_track_->AddOrUpdateSink(this, rtc::VideoSinkWants());
}

MainWnd::VideoRenderer::~VideoRenderer() 
{
  /*取消订阅*/
  rendered_track_->RemoveSink(this);   
  ...
}

VideoRenderer继承自rtc::VideoSinkInterface<webrtc::VideoFrame>接口,这样就可以注册到WebRTC中了。

在构造器中通过AddOrUpdateSink注册到WebRTC中,在析构器中注销。

void MainWnd::VideoRenderer::OnFrame(const webrtc::VideoFrame& video_frame) 
{
...
    /*将获取的视频帧,转成YUV420格式。*/
    rtc::scoped_refptr<webrtc::I420BufferInterface> buffer(video_frame.video_frame_buffer()->ToI420());
...
    /*将YUV420格式的图像,转成RGB格式的图像。*/
    libyuv::I420ToARGB(buffer->DataY(), buffer->StrideY(), buffer->DataU(),
                       buffer->StrideU(), buffer->DataV(), buffer->StrideV(),
                       image_.get(), bmi_.bmiHeader.biWidth * bmi_.bmiHeader.biBitCount / 8,
                       buffer->width(), buffer->height());
  }

  /*触发WM_PAINT事件*/
  InvalidateRect(wnd_, NULL, TRUE);
}

WebRTC中有需要渲染的视频帧时,通过OnFrame函数会将视频帧传递上来。OnFrame函数先是将传上来的视频帧转成yuv420,再通过libyuv库将yuv转成ARGB,并保存在image_成员变量中,最后触发WM_PAINT事件。

bool MainWnd::OnMessage(UINT msg, WPARAM wp, LPARAM lp, LRESULT* result)
{
   ...
    case WM_PAINT:
      OnPaint();
      return true;
   ...
}

在VideoRenderer::OnFrame中触发了WM_PAINT事件后,窗口事件循环会触发OnPaint()函数处理。

void MainWnd::OnPaint() 
{
...
  /*视频渲染器*/
  VideoRenderer* local_renderer = local_renderer_.get();
  VideoRenderer* remote_renderer = remote_renderer_.get();

  /*获取远端视频帧数据*/
  const uint8_t* image = remote_renderer->image();
...
  /*获取本端视频帧数据*/
  image = local_renderer->image();
...
}

在OnPaint()函数中,通过VideoRenderer获取待渲染视频帧数据,然后将视频帧绘制出来。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值