# 多主播场景下的视频体验优化 (/zh-CN/realtime-media/rtc/build/video/custom-layout/unity)
> For AI agents: see the complete documentation index at [llms.txt](/llms.txt).
在多主播(4 个或以上)发流的视频场景下,观众端面临着如下挑战和需求:
- 设备性能和下行带宽压力:多路视频流订阅对设备性能和观众端带宽的要求较高,尤其在中低端设备上可能出现卡顿和掉帧问题,容易给观众带来负面体验。
- 灵活布局需求:需要提供自定义视频画面布局的功能,支持观众调整每个主播画面的位置,以满足观众个性化的观看需求。
- 窗口切换与放大需求:在众多主播中,属于每个主播的画面大小有限,灵活切换和调整窗口大小可以实现“千人千面”的观看体验。
因此,声网推出了多主播视频场景下的视频体验优化方案,通过**客户端自定义合图布局**实现,以观众为中心,创造流畅、个性化的视频观看体验。
该方案可广泛应用于如下场景:
- 团战 PK
- 多人会议
- 在线教育大班课
## 技术原理 [#技术原理-2]
客户端自定义合图布局需要结合云端转码服务一起使用,技术原理如下所示:
当观众端收到已转码的合图视频流后,在本地实现自定义合图布局的技术原理如下所示:
## 前提条件 [#前提条件-2]
- 项目已集成 RTC SDK v4.5.x 以上版本。
- 已经在项目中实现了基本的实时音视频功能。详见[实现音视频互动](/zh-CN/realtime-media/rtc/get-started/quick-start)。
- 已实现[云端转码](/zh-CN/realtime-media/transcoding),将合图后的视频转发至其他频道,并在调用[创建云端转码 API](/zh-CN/api-reference/api-ref/cloud-transcoding/create) 时设置以下参数:
```json
"outputs": [
{
"seiOption":{
"source":{
"agora": {
"uidvideoLayout": true
}
},
"sink":{
"type": 100
}
}
}
]
```
## 实现方法 [#实现方法-2]
本节介绍如何实现客户端自定义合图布局,API 调用时序如下图所示。
通过以下步骤,在接收端实现自定义合图布局。
:::info[信息]
本文的 API 和示例代码均以 Android 平台为例。如目标平台为 iOS,请参考 iOS 的 API 文档。
:::
1. 调用 `joinChannel`[2/2] 加入合图流所在的频道。
2. 通过 SDK 触发的 `onTranscodedStreamLayoutInfo` 回调,获取合图视频流的以下信息:
- 合图视频流的宽、高,以及发布该视频流的用户 ID。
- 发布合图子视频流的用户 ID。
- 合图子视频流在合图画布上的 x 和 y 坐标。
- 合图子视频流的宽度和高度。
- 合图子视频流在合图画布上的状态:正常渲染、显示为占位符,或显示为黑色图片。
3. 接收端调用 `setupRemoteVideo` 方法设置远端视频流在本地的渲染模式,重点参数设置如下所示:
- `uid`:将合图视频流转发至当前频道的用户 ID,即在 `onTranscodedStreamLayoutInfo` 回调中获取的 `uid`。
- `view`:在本地显示的远端视频视图。你可以通过该参数设置每一路子视频流在本地视图中显示的位置。
- `subviewUid`:合图视频流中某一路子视频流所对应的用户 ID。
:::info[信息]
- 当 `subviewUid` 的值不为 0 时,`setupMode` 的默认值为 `VIEW_SETUP_MODE_REPLACE`(增加一个视图)。
:::
以下示例代码以多频道场景下调用 `setupRemoteVideoEx` 为例进行介绍,在非多频道场景下调用 `setupRemoteVideo` 的方式与之类似。
```java
mRtcEngine.joinChannelEx(null, connection, mediaOptions, new IRtcEngineEventHandler() {
@Override
public void onTranscodedStreamLayoutInfo(final int uid, final VideoLayoutInfo info) {
super.onTranscodedStreamLayoutInfo(uid, info);
runOnUiThread(new Runnable() {
@Override
public void run() {
int size = info.layoutNumber;
viewGrids.setChildCount(info.layoutNumber);
for (int i = 0; i < size; i++) {
if(mUserViews.containsKey(info.layoutList[i].uid)) {
continue;
}
// 设置 view 动态添加
TextureView textureView = new TextureView(VideoChatViewActivity.this);
textureView.setLayoutParams(new ViewGroup.LayoutParams(ViewGroup.LayoutParams.MATCH_PARENT, ViewGroup.LayoutParams.MATCH_PARENT));
users.add(info.layoutList[i].uid);
views.add(textureView);
mUserViews.put(info.layoutList[i].uid, textureView);
viewGrids.addView(textureView);
// 设置 VideoCanvas,除 uid 和 subviewUid 以外的其他参数可根据实际需要设置
VideoCanvas canvas = new VideoCanvas(textureView);
// 转发合图视频流到当前频道的用户 ID
canvas.uid = uid;
// 对应某一路合图子视频流的用户 ID
canvas.subviewUid = info.layoutList[i].uid;
canvas.renderMode = Constants.RENDER_MODE_FIT;
mRtcEngine.setupRemoteVideoEx(canvas, connection);
// 如果要删除某一路子视频流,则添加以下代码
VideoCanvas canvas = new VideoCanvas(textureView); // 此处的 textureview 设置为需要删除的 view
canvas.uid = uid;
canvas.subviewUid = info.layoutList[i].uid;
canvas.setupMode = VideoCanvas.VIEW_SETUP_MODE_REMOVE;
mRtcEngine.setupRemoteVideoEx(canvas);
}
}
});
}
});
```
4. 当合图视频流的布局信息发生变化时,`onTranscodedStreamLayoutInfo` 回调会再次触发。接收端可根据每一次回调上报的具体信息,重新调用 `setupRemoteVideo` 调整本地的视图渲染布局。
:::info[信息]
布局信息变化可能存在以下几种情况:
- 合图子视频在合图画布上的坐标变化。
- 合图子视频的宽度或高度变化。
- 合图子视频流的状态变化。当发布该子视频流的主播退出频道时,该路子视频流的 `videoState` 参数会从 `0`(正常) 变为 `1`(该视频流无视频画面)。你可以在调用 `setupRemoteVideo` 时,将 `subviewUid` 设置为该路子视频流的用户 ID、然后将 `setupMode` 设置为 `VIEW_SETUP_MODE_REMOVE`(删除视图),即可停止渲染该主播的视频画面。
:::
5. 监听 `onUserOffline` 回调,当转发合图流的用户退出频道时,停止在接收端渲染合图流。
## 注意事项 [#注意事项-2]
- 目前仅支持在移动端实现自定义合图布局功能。
- 当合图视频流被添加了水印时,水印会随所在的区域被渲染,可能会出现被分割的情况。
## 参考信息 [#参考信息-2]
- [`onTranscodedStreamLayoutInfo`](/zh-CN/api-reference/rtc/unity/video/video-rendering#callback_irtcengineeventhandler_ontranscodedstreamlayoutinfo)
- [`setupRemoteVideo`](/zh-CN/api-reference/rtc/unity/video/video-rendering#api_irtcengine_setupremotevideo)
- [`setupRemoteVideoEx`](/zh-CN/api-reference/rtc/unity/video/video-rendering#api_irtcengineex_setupremotevideoex)