# 画中画 (/zh-CN/realtime-media/rtc/build/video/picture-in-picture/flutter)
> For AI agents: see the complete documentation index at [llms.txt](/llms.txt).
在声网 RTC SDK 的画中画(Picture in Picture)功能中,应用在进入后台或用户切换到其他应用时,可以将当前视频内容以悬浮小窗形式持续展示在屏幕上。用户可以在不中断通话或观看的情况下继续进行其他操作,从而提升多任务体验与用户留存。
## 应用场景 [#应用场景]
| 场景 | 描述 |
| :--- | :--- |
| 视频通话 | 在视频通话过程中,用户切换到其他应用或返回桌面时,通话画面以画中画小窗形式持续显示,保证沟通不中断,适用于社交通话、远程会议及在线客服等场景。 |
| 在线教育 | 学员在观看老师视频讲解时,可以同时查看学习资料、记笔记或操作其他应用,提升学习效率与多任务体验。 |
| 互动直播 | 用户观看直播时可同时浏览商品、聊天或使用其他应用,直播画面通过画中画持续播放,常见于电商直播与内容直播场景。 |
| 屏幕共享 | 在远程协作或演示过程中,即使用户切换应用,仍可通过画中画窗口持续查看共享内容,适用于远程办公、技术支持和产品演示。 |
## 前提条件 [#前提条件]
在开始实现前,请确保你已满足以下条件:
- Flutter 版本为 3.7.0 或以上。
- 项目已集成声网 RTC Flutter SDK v6.6.2 或以上版本。
- 项目已实现基本的实时音视频功能。详见[实现音视频互动](/zh-CN/realtime-media/rtc/get-started/quick-start)。
- 如需在 Android 设备上使用画中画,设备系统版本需为 Android 8.0 或以上。
- 如需在 iOS 设备上使用画中画,设备系统版本需为 iOS 15.0 或以上。
## 实现方法 [#实现方法]
自声网 RTC Flutter SDK v6.6.2 起,声网提供 [`AgoraPipController`](/zh-CN/api-reference/rtc/flutter/rtc-interface-class#class_agorapip) 控制器及相关配置项,用于在 Android 和 iOS 平台启用和管理画中画能力。本节介绍如何在 Flutter 项目中实现画中画功能。
### 完成平台端配置 [#完成平台端配置]
Android
iOS
- 在 Android 项目中声明当前 Activity 支持画中画模式:
```xml
```
- `MainActivity` 需继承 `AgoraPIPFlutterActivity` 或 `AgoraPIPFlutterFragmentActivity`:
```kotlin
import io.agora.agora_rtc_ng.AgoraPIPFlutterActivity
class MainActivity : AgoraPIPFlutterActivity()
```
:::info[信息]
根据 Android 版本不同,进入画中画的方式有所区别:
- Android 12 及以上:系统支持在用户离开当前页面的合适场景下自动进入画中画。你可以结合 `autoEnterEnabled` 使用。
- Android 12 以下:系统不支持通过 `autoEnterEnabled` 自动进入画中画,通常需要显式触发进入画中画。
如果 `MainActivity` 继承 `AgoraPIPFlutterActivity` 或 `AgoraPIPFlutterFragmentActivity`,SDK 会接管相关系统回调的适配逻辑。
:::
在 Xcode 中为 App 添加后台播放能力:
1. 打开目标工程的 **Signing & Capabilities**。
2. 点击 **+ Capability**。
3. 添加 **Background Modes**。
4. 勾选 **Audio, AirPlay, and Picture in Picture**。
:::info[信息]
如果你的业务需要开启在多任务模式下采集本地摄像头画面的功能,请参考[如何开启 iOS 多任务采集](/zh-CN/reference/faq/integration/multitasking)。
:::
### 获取画中画控制器、注册监听器 [#获取画中画控制器注册监听器]
初始化 RTC 引擎后,调用 `createPipController()` 获取画中画控制器,并注册状态监听器:
```dart
late final RtcEngine _engine;
late final AgoraPipController _pip;
_engine = createAgoraRtcEngine();
await _engine.initialize(RtcEngineContext(appId: appId));
_pip = _engine.createPipController();
await _pip.registerPipStateChangedObserver(
AgoraPipStateChangedObserver(
onPipStateChanged: (state, error) {
debugPrint('[PiP] state=$state error=$error');
},
),
);
```
### 检查设备支持能力 [#检查设备支持能力]
检查当前设备及系统是否支持相关能力:
```dart
final pipSupported = await _pip.pipIsSupported();
final pipAutoEnterSupported = await _pip.pipIsAutoEnterSupported();
```
其中:
- `pipIsSupported()` 用于检查当前设备是否支持画中画。
- `pipIsAutoEnterSupported()` 用于检查当前设备和系统是否支持自动进入画中画。
### 配置画中画参数 [#配置画中画参数]
调用 `pipSetup()` 配置画中画参数。你可以通过 [`AgoraPipOptions`](/zh-CN/api-reference/rtc/flutter/class-agorapipoptions) 为 Android 和 iOS 分别设置不同选项。
Android
iOS
Android 平台通常需要配置宽高比、初始区域以及无缝缩放等参数:
```dart
final options = AgoraPipOptions(
autoEnterEnabled: pipAutoEnterSupported,
aspectRatioX: 16,
aspectRatioY: 9,
sourceRectHintLeft: 0,
sourceRectHintTop: 0,
sourceRectHintRight: 0,
sourceRectHintBottom: 0,
seamlessResizeEnabled: true,
useExternalStateMonitor: false,
externalStateMonitorInterval: 100,
);
await _pip.pipSetup(options);
```
:::info[信息]
如果 `MainActivity` 已按前文完成画中画相关 Activity 适配,但在部分机型或场景下 PiP 状态回调同步不稳定,可在配置中将 `useExternalStateMonitor` 设为 `true`,并通过 `externalStateMonitorInterval` 配置轮询间隔,以补充画中画状态同步。
:::
iOS 平台支持设置画中画窗口尺寸、视频流布局和系统控制样式:
```dart
final options = AgoraPipOptions(
preferredContentWidth: 960,
preferredContentHeight: 540,
sourceContentView: 0,
contentView: 0,
contentViewLayout: const AgoraPipContentViewLayout(
padding: 0,
spacing: 2,
row: 1,
column: 2,
),
videoStreams: [
AgoraPipVideoStream(
connection: RtcConnection(
channelId: channelId,
localUid: localUid,
),
canvas: const VideoCanvas(
uid: 0,
sourceType: VideoSourceType.videoSourceCamera,
setupMode: VideoViewSetupMode.videoViewSetupAdd,
renderMode: RenderModeType.renderModeHidden,
mirrorMode: VideoMirrorModeType.videoMirrorModeEnabled,
),
),
...remoteUsers.entries.map(
(entry) => AgoraPipVideoStream(
connection: entry.value,
canvas: VideoCanvas(
uid: entry.key,
sourceType: VideoSourceType.videoSourceRemote,
setupMode: VideoViewSetupMode.videoViewSetupAdd,
renderMode: RenderModeType.renderModeHidden,
),
),
),
],
controlStyle: 2,
);
await _pip.pipSetup(options);
```
在该示例中:
- 当 `contentView` 设为 `0` 时,SDK 负责管理画中画窗口中的原生视图。若传入非 0 值,则需要自行管理原生视图布局。
- `videoStreams` 用于定义需要展示的本地流和远端流。
- `contentViewLayout` 用于配置视频流在画中画窗口内的流式布局,视频流从左到右、从上到下依次排列。
- `controlStyle: 2` 表示隐藏播放/暂停和进度条,仅保留必要的窗口控制按钮,适合实时互动场景。
### 监听画中画状态变化 [#监听画中画状态变化]
你可以通过实现 [`AgoraPipStateChangedObserver`](/zh-CN/api-reference/rtc/flutter/rtc-interface-class#class_agorapipstatechangedobserver) 监听画中画状态变化,并根据 [`AgoraPipState`](/zh-CN/api-reference/rtc/flutter/enum-agorapipstate) 更新 UI 或执行异常处理逻辑。
```dart
await _pip.registerPipStateChangedObserver(
AgoraPipStateChangedObserver(
onPipStateChanged: (state, error) async {
if (state == AgoraPipState.pipStateFailed) {
await _pip.pipDispose();
}
},
),
);
```
`AgoraPipState` 包括以下几种状态:
- `pipStateStarted`:画中画已成功启动。
- `pipStateStopped`:画中画已停止。
- `pipStateFailed`:画中画启动失败或运行中出现错误。
### 启动、停止并释放画中画 [#启动停止并释放画中画]
完成配置后,调用 `pipStart()` 启动画中画。不同平台停止和释放画中画的推荐方式如下:
Android
iOS
```dart
// 启动画中画
await _pip.pipStart();
// 释放当前画中画会话
await _pip.pipDispose();
// 销毁控制器
await _pip.dispose();
```
:::info[信息]
Android 上通常不将 `pipStop()` 作为“退出画中画并恢复前台页面”的常规路径。若不再需要当前画中画会话,可调用 `pipDispose()` 释放资源;恢复全屏通常由用户通过系统画中画窗口操作完成。
:::
iOS 上可调用 `pipStop()` 停止画中画并恢复应用界面;如果页面即将销毁或不再使用该能力,再调用 `pipDispose()` 和 `dispose()` 释放资源。
```dart
// 启动画中画
await _pip.pipStart();
// 停止画中画并恢复应用界面
await _pip.pipStop();
// 释放当前画中画会话
await _pip.pipDispose();
// 销毁控制器
await _pip.dispose();
```
## 开发注意事项 [#开发注意事项]
Android
iOS
- Android 平台上,进入画中画后通常需要根据状态调整页面 UI;许多应用会在画中画激活时仅保留视频区域。
- Android 12 及以上系统支持应用在进入后台时自动进入画中画;更早版本通常需要在生命周期中显式调用 `pipStart()`。
- `pipStart()` 不保证在所有时机都能成功触发,通常在应用进入 `inactive` 状态时调用更稳定。
- 画中画不会绕过 Android 的后台限制。如果需要在后台持续采集或播放音视频,请结合前台服务完成适配;否则在部分 Android 版本上可能出现切后台后采集或播放中断的问题。详见[Android 后台限制说明](/zh-CN/reference/faq/quality/android_background)。
- Android 上 `pipStop()` 的行为通常是将任务移至后台,而不是退出画中画并恢复当前页面;恢复全屏通常由用户通过系统画中画窗口操作完成。
- 请区分会话级释放和控制器级释放:结束当前画中画会话时调用 `pipDispose()`;页面销毁、离开频道且不再复用画中画控制器时,再调用 `dispose()`。
- iOS 平台上,画中画窗口由系统和 SDK 管理,业务层通常无需额外绘制悬浮窗。
- iOS 平台上,如果需要在画中画模式下显示多路视频流,建议通过 `videoStreams` 和 `contentViewLayout` 明确配置布局。
- 远端用户加入或离开时,可以直接用更新后的 `videoStreams` 再次调用 `pipSetup()`,无需先调用 `pipDispose()`。
- `controlStyle` 提供 4 种控制样式,其中 `2` 更适合视频通话类场景;若设为 `3`,系统会隐藏全部控件,包括关闭和恢复按钮。
- 请区分会话级释放和控制器级释放:结束当前画中画会话时调用 `pipDispose()`;页面销毁、离开频道且不再复用画中画控制器时,再调用 `dispose()`。
- 在 iOS 上,仅允许由用户明确操作触发画中画(如点击按钮,上滑回到桌面)。通过代码主动调用或任何非用户触发行为,可能导致 App Store 审核被拒。
## 参考信息 [#参考信息]
### API 参考 [#api-参考]
- [`AgoraPipController`](/zh-CN/api-reference/rtc/flutter/rtc-interface-class#class_agorapip)
- [`AgoraPipOptions`](/zh-CN/api-reference/rtc/flutter/class-agorapipoptions)
- [`AgoraPipContentViewLayout`](/zh-CN/api-reference/rtc/flutter/class-agorapipcontentviewlayout)
- [`AgoraPipVideoStream`](/zh-CN/api-reference/rtc/flutter/class-agorapipvideostream)
- [`pipIsSupported`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipissupported)
- [`pipIsAutoEnterSupported`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipisautoentersupported)
- [`pipSetup`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipsetup)
- [`pipStart`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipstart)
- [`pipStop`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipstop)
- [`pipDispose`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_pipdispose)
- [`registerPipStateChangedObserver`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#api_agorapip_registerpipstatechangedobserver)
- [`AgoraPipStateChangedObserver`](/zh-CN/api-reference/rtc/flutter/rtc-interface-class#class_agorapipstatechangedobserver)
- [`AgoraPipState`](/zh-CN/api-reference/rtc/flutter/enum-agorapipstate)
- [`onPipStateChanged`](/zh-CN/api-reference/rtc/flutter/video/video-custom-capturenrendering#callback_agorapipstatechangedobserver_onpipstatechanged)
### 示例项目 [#示例项目]
声网提供了画中画功能的示例项目供你参考。你可以前往下载或查看其中的源代码。