Demon

互动直播的连麦技术详解

前言

2016年映客直播率先宣布成为国内首个使用连麦技术的直播平台,树立了互动直播产品新的风向标,在短期内映客直播迅速蹿升至各大直播排行榜的收尾,一举奠定了自己移动直播领头羊的地位。由于在直播中使用连麦有较高的技术壁垒,其他直播平台无法在短期内实现该功能,导致错过了抢占流量的黄金时期。
 

互动直播中的连麦是什么

传统直播就像看“新闻联播”,观众只能收看这个节目,偶尔能通过手机短信与节目组进行互动。基于互联网的互动直播可以通过发送文字、点赞、送礼物等方式和主播互动,但本质上与看“新闻联播”的体验类似。

互动直播中的连麦简单来说就是当主播直播期间,可以与其中某一个或几个观众进行互动,并且其他观众能够观看到这个互动过程。直播连麦功能的推出让直播的传播方式变成平等的互动社交模式。主播和观众的身份也由此转换为发起者和参与者,除了最基本的内容传输,提升参与感才是直播连麦的本质诉求。

 

如何实现连麦互动直播方案

由于连麦过程中,主播和观众就像打电话一样,对声音和画面的延迟控制非常苛刻,所以为了实现互动实时性高的连麦,首先要有一套类似于微信,skype 及 facetime 的多人音视频通话系统。这套实时通话系统可以选择自主研发或者基于开源软件如Google的WebRTC做二次开发。下面简单介绍多人实时通话系统的一些重点技术细节。
1、多人音视频实时通话系统为了降低通话时延,通常使用UDP协议作为传输层协议,众所周知UDP协议是不可靠,为了提高弱网下的实时音视频的通话效果,需要使用相关方案来做QoS保障,主要包括:
a)使用基于网络状态的音视频码率自适应算法,根据当前网络的丢包、时延自适应降低或者升高音频和视频的码率和帧率,通过这个方法来降低网络的拥塞,提高通话质量;
b)使用智能Jitterbuf算法来平滑网络抖动,同时内部使用音频编码的丢包补偿(PLC)算法进一步提升通话质量;
c)使用基于多层参考的视频编解码器,降低视频丢包后的卡顿;
d)整个UDP传输层使用前向纠错FEC算法进行智能保护,最大限度上保证实时音视频通话的效果。
2、现在用户对于视频的清晰度要求越来越高,多人实时通话系统能够支持720p,720p下纯软件编解码对CPU开销过大,因此推荐使用高端机型并开启硬编解码模式。对于苹果手机硬件编解码基本上只与iOS的版本相关,而Android情况就会复杂得多,不仅与手机硬件相关,还和各个手机的ROM相关,为了解决这个问题需要去做适配。
3、搭建覆盖全球的服务器部署与网络拓扑,在全球范围内的机房节点搭建了多个多线接入网络拓扑,部署了高可用的服务器集群,并利用智能分配算法与路由策略,为跨省、跨运营商、跨国的多人实时通话提供优质的传输通道。
要实现效果理想的连麦互动直播,一套强大完善的多人实时通话系统是前提。在简单介绍完一套强大的多人实时通话系统的需要具备的特点后,接着我们就可以讨论下连麦互动直播的具体实现方案了。

方案一

该方案使用实时通话系统来进行主播和观众的实时互动连麦,通过实时通话通道主播端收到观众端发送的音频和视频数据,主播端将自己的声音和观众的声音做混音,并将自己的画面与观众的画面做视频合成,最后将混合的声音和画面进行编码并推流到CDN流媒体服务器。

方案优点
1.主播和连麦观众使用了实时音视频来进行连麦互动,实时性高,观众看到的合成画面里主播和观众的互动也是同步实时的,保证延时小,减少带宽压力。
2.提供集成连麦功能的直播 SDK,对原有的软件架构改动不大,方便项目对接,大大减少了开 发的时间和精力,缩短项目上线周期。

方案二

主播直接将流推向连麦服务器,由实时音视频的中转服务器转发给互动直播服务器,再由互动直播服务器处理后推流到CDN流媒体服务器。多人音视频实时通话系统,可以实现多人的实时互动,而且多人模式下所有的数据包都是通过音视频中转服务器中转。音视频中转服务器在转发给参与客户端的同时,转发一份到互动直播服务器,互动直播服务器对收到的语音进行混音,同时对视频画面做混合处理,处理完毕以后再推流到CDN流媒体服务器。通过这种方案,将方案一中由主播端做的混音混合及推流操作,转嫁由互动直播服务器来承担。 

方案优点
1、主播和连麦观众使用了实时音视频来进行连麦互动,实时性高,普通观众看到的合成画面里主播和观众的互动也是同步实时的。
2、所有客户端的上行推流不再依赖基于TCP的RTMP协议,而是使用基于UDP的高性能私有协议,传输层的QoS保障更加智能高效。
3、方案一中主播端的带宽和性能压力不复存在,本方案非常适合移动端的连麦互动直播。

未来展望
直播市场依旧非常火热,竞争也愈加激烈,优质的视频内容和强有力的交互方式会增加用户的粘性,直播连麦赋予了直播行业新的亮点。
想体验连麦黑科技的用户可以点击又拍云 IOS SDK又拍云 安卓 SDK 免费体验使用哦!

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注