原始视频数据
- Windows
更新时间
了解实时互动 RTC 在不同平台上的原始视频数据方式,包括接入流程、关键配置和平台差异。
本文介绍如何对采集到的原始视频数据进行前处理和后处理。
技术原理
视频传输过程中,你可以对采集到的视频数据进行前处理和后处理,获取想要的播放效果。
对于有自行处理视频数据需求的场景,声网提供原始数据功能。你可以在将数据发送给编码器前进行前处理,对捕捉到的视频帧进行修改;也可以在将数据发送给解码器后进行后处理,对接收到的视频帧进行修改。
前提条件
在进行操作之前,请确保你已经在项目中实现了基本的实时音视频功能。详见实现音视频互动。
实现方法
参考如下步骤,在你的项目中实现原始视频数据功能:
-
加入频道前,创建一个
IVideoFrameObserver对象,并调用registerVideoFrameObserver方法注册视频观测器。C++ // 注册或取消视频观测器 BOOL CAgoraOriginalVideoDlg::RegisterVideoFrameObserver( BOOL bEnable, IVideoFrameObserver *videoFrameObserver) { // 创建使用 IMediaEngine 类为 template 的 AutoPtr 实例 agora::util::AutoPtr<agora::media::IMediaEngine> mediaEngine; // AutoPtr 实例调用 queryInterface 方法,通过 IID 获取 IMediaEngine // 实例的指针 AutoPtr 实例会通过箭头操作符访问 IMediaEngine 实例的指针并通过 // IMediaEngine 实例调用 registerVideoFrameObserver mediaEngine.queryInterface(m_rtcEngine, AGORA_IID_MEDIA_ENGINE); int nRet = 0; agora::base::AParameter apm(*m_rtcEngine); if (mediaEngine.get() == NULL) return FALSE; if (bEnable) { // 注册视频观测器 nRet = mediaEngine->registerVideoFrameObserver(videoFrameObserver); } else { // 取消注册视频观测器 nRet = mediaEngine->registerVideoFrameObserver(nullptr); } return nRet == 0 ? TRUE : FALSE; } -
通过
onCaptureVideoFrame和onRenderVideoFrame回调获取视频数据后,你可以根据场景需要自行进行处理。注意
建议你在修改
videoFrame中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。C++ // 通过 onCaptureVideoFrame // 回调获取本地摄像头采集的原始视频数据,进行灰度处理,再发送回 SDK bool CGrayVideoProcFrameObserver::onCaptureVideoFrame(VideoFrame &videoFrame) { int nSize = videoFrame.height * videoFrame.width; memset(videoFrame.uBuffer, 128, nSize / 4); memset(videoFrame.vBuffer, 128, nSize / 4); return true; } // 通过 onRenderVideoFrame 回调获取远端发送的视频数据 bool CGrayVideoProcFrameObserver::onRenderVideoFrame(const char *channelId, rtc::uid_t remoteUid, VideoFrame &videoFrame) { return true; } bool CAverageFilterVideoProcFrameObserver::onCaptureVideoFrame( VideoFrame &videoFrame) { static int step = 1; static bool flag = true; if (flag) { step += 2; } else { step -= 2; } if (step >= 151) { flag = false; step -= 4; } else if (step <= 0) { flag = true; step += 4; } AverageFiltering((unsigned char *)videoFrame.yBuffer, videoFrame.width, videoFrame.height, step); AverageFiltering((unsigned char *)videoFrame.uBuffer, videoFrame.width / 2, videoFrame.height / 2, step); AverageFiltering((unsigned char *)videoFrame.vBuffer, videoFrame.width / 2, videoFrame.height / 2, step); return true; } // 通过 onScreenCaptureVideoFrame 回调获取从屏幕采集到的视频数据 bool CGrayVideoProcFrameObserver::onScreenCaptureVideoFrame( VideoFrame &videoFrame) { return true; }
参考信息
示例项目
声网提供了开源的示例项目供你参考,你可以前往下载或查看其中的源代码。