腾讯O264RT 适配最广的端上自研软件编码器

灰兔子站长说 2024-11-11 11

H.264/AVC标准在当前视频应用场景中仍然是应用最广、兼容性最高的视频编码标准，因此任何视频产品如果希望在支持最大范围用户流畅使用的同时保障视频质量，H.264/AVC软件编解码必不可缺。在开源编码器实现中，x264经过资深软件工程师多年的持续优化，是当下公认性能较为优异且使用最多的选择。但x264的开源协议对商业软件并不友好，会带来昂贵的软件授权费用，所以对商业化视频产品来说，自研编码器性能成了硬核技术实力比拼的关键。,为此腾讯多媒体实验室推出了自研的O264RT编码器，并且与TRTC团队强强联合进行了深度优化，确保TRTC在任何条件下都可以提供当前场景"最低延时"与“最优质量”的视频体验。,低耗极速,TRTC主要面向实时性较高的应用场景，且终端设备多样，性能参差不齐，对CPU消耗和延时非常敏感。O264RT完善了低延时模式，并通过优化多个编码内核工具集，对编码器进行加速，节省CPU开销。与x264相比，O264RT的CPU消耗同比降低可达20%，在提供更高质量视频的同时兼具了实时性高和性能消耗低的优点。,

x264与O264RT CPU消耗对比,高效优质,x264定位为通用编码器，因此很多细分场景的优化并没有做到极致。而O264RT针对TRTC所专注的实时音视频场景进行了连续两年的专项优化，对码控、模式决策、RDO等模块均进行了极致优化。尤其是在摄像头和屏幕分享两个重点场景下，O264RT优化效果非常显著，编码效率和编码速度方面均优于x264。针对摄像头采集场景，O264RT能在比x264快20%的情况下，同时有13%左右的带宽节省。,

x264与O264RT 摄像头采集场景性能对比,为了提供不同场景下的最优视频体验，O264RT新增实现了ROI与屏幕编码技术。其中屏幕编码技术更是在2021年数博会上，从全球560个项目中脱颖而出，荣获黑科技大奖。,

数博会获奖证书,编码ROI功能能够优化码率在重要信息上的分配效率，使人眼感兴趣的区域编码更为清晰。对于ROI区域，O264RT支持外部传入及内部检测两种模式——如果外部有美颜等前处理模块可使用外部传入模式，避免重复计算；对于大多数的场景，外部并不存在ROI检测结果，此时可开启耗时极低的内部检测算法，节省计算资源的同时也能提升编码画质。,依据当前实测结果，O264RT通过ROI技术，低码率下能显著提升主观质量，高码率下则能够在保证画质相同的情况下节省20%左右的带宽。,

ROI效果对比 (左)x264 (右) O264RT,屏幕分享场景是腾讯的优势场景，O264RT也为此作了大量针对性优化。与x264相比，O264RT能够在提升画质的同时节省25%以上带宽，并拥有7%的加速。,

x264与O264RT 屏幕内容场景性能对比,

屏幕内容场景相同码率编码效果对比
(左) x264 (右) O264RT,弱网保障,视频作为二维信息相比于音频数据能传递的信息更多，理论上所需的带宽也更高。这不仅对编码器压缩性有极高的要求，同时因为信息量大，在弱网下丢包的几率也相对更高。因此O264RT增加了智能参考帧和SVC功能，在高压缩率的同时最大化弱网抗性，保障弱网环境下依然可以有效地传输视频数据。,