# 构建智能摄像头场景 (/zh-CN/solutions/smart-camera/get-started/quick-start) > For AI agents: see the complete documentation index at [llms.txt](/llms.txt). ## 前提条件 [#前提条件] 本文介绍智能摄像头场景的构建流程。 智能摄像头场景中,设备端使用了 RTSA Lite SDK,客户端使用了 RTC SDK,点击如下链接查看相关开发环境要求: - [RTSA Lite SDK 前提条件](/zh-CN/realtime-media/rtsa/build/media-and-signaling-transmission/implement-transmission#前提条件) - [RTC SDK 前提条件](/zh-CN/realtime-media/rtc/get-started/quick-start#前提条件) ## 构建流程 [#构建流程] 构建智能摄像头场景的基本流程如下: 1. 建立呼叫:客户端和设备端建立音视频数据传输通道。 2. 加入频道:设备端使用 RTSA Lite SDK 加入频道,客户端使用 RTC SDK 加入频道。 3. 采集和发送数据:客户端和设备端分别采集数据并发送给对方。 4. 接收数据:客户端和设备端分别接收对方的数据。 智能摄像头场景支持客户端和设备端双向呼叫、双向音频传输,本节以单向呼叫和传输为例,介绍客户端向设备端发送呼叫、设备端采集音视频并发送给客户端的基本流程。 :::info[信息] 如无特别说明,本节的设备端示例代码为 C 语言,客户端示例代码为 Java 语言。你也可以通过 [RTSA Lite SDK 实现流程](/zh-CN/realtime-media/rtsa/build/media-and-signaling-transmission/implement-transmission#实现流程)和 [RTC SDK 实现流程](/zh-CN/realtime-media/rtc/get-started/quick-start#实现流程)文档查看其他语言的示例代码。 ::: ### 1. 建立呼叫 [#1-建立呼叫] 在呼叫建立过程中,客户端可以通过绑定的账号呼叫设备端,流程图如下: ![建立呼叫流程图](https://web-cdn.agora.io/docs-portal/img/smart-doorbell/create-call.png) 你可以通过以下步骤在自己的业务后台实现呼叫: 1. 注册账号。由客户端发起注册,一般会有账号、手机号、邮箱号等注册项。你的业务后台收到注册请求后,可以在后台数据库中存储满足要求的用户账号信息。 2. 绑定设备。在你的业务后台中建立设备与账号的映射关系。每个智能摄像头设备都有唯一的设备序列号,设备开机配网后,会与业务后台维持长连接。因此,业务后台可以根据设备序列号找到这台设备。 3. 发起呼叫。业务后台根据主叫方账号,从后台数据库中找到与其绑定的设备 ID。同时业务后台会分配此次通话的 RTC 频道 ID、主叫用户 ID、被叫用户 ID 和对应的 RTC Token,分别下发至客户端和设备端。这些参数都是后续客户端使用的声网 RTC SDK 和设备端使用的 RTSA Lite SDK 加入频道所需要的。 :::info[信息] 你需要在业务后台自行实现以下内容: - 注册账号与绑定设备的相关逻辑。 - Token 生成器,用于生成 RTC Token。实现方法详见[使用 RTC Token 鉴权](/zh-CN/realtime-media/rtc/build/setup-and-access/token-authentication)。 ::: ### 2. 加入频道 [#2-加入频道] 设备端和客户端收到业务后台下发的 RTC 频道 ID、主叫用户 ID、被叫用户 ID、RTC Token 等参数后,分别调用如下方法加入频道: - 设备端调用 RTSA Lite SDK 中的 `agora_rtc_join_channel` 加入 RTC 频道。 ```c rval = agora_rtc_join_channel(g_conn_id, CHANNEL_NAME, CALLEE_UID, TOKEN, &channel_options); if (rval < 0) { printf("Failed to join channel \"%s\", reason: %s\n", CHANNEL_NAME, agora_rtc_err_2_str(rval)); return -1; } ``` - 客户端调用 RTC SDK 中的 `joinChannel` 加入 RTC 频道。 ```java ChannelMediaOptions options = new ChannelMediaOptions(); // 将用户角色设置为 BROADCASTER 。 options.clientRoleType = Constants.CLIENT_ROLE_BROADCASTER; // 设置频道场景为 BROADCASTING。 options.channelProfile = Constants.CHANNEL_PROFILE_LIVE_BROADCASTING; // 使用 RTC Token 加入频道。 // 你需要自行指定用户 ID,并确保其在频道内的唯一性。 mRtcEngine.joinChannel(token, channelName, 0, options); ``` :::warning[注意] 集成 RTC SDK 时,请确保频道场景设为直播,用户角色设为主播。 ::: ### 3. 采集和发送数据 [#3-采集和发送数据] 成功加入频道后,设备端会收到 `on_join_channel_success` 回调,此时就可以调用 `agora_rtc_send_audio_data` 和 `agora_rtc_send_video_data` 方法发送音视频。详细使用步骤参考[传输媒体流](/zh-CN/realtime-media/rtsa/build/media-and-signaling-transmission/implement-transmission#23-发送和接收音视频流)。 ### 4. 接收数据 [#4-接收数据] 成功加入频道后,客户端会收到 `onJoinChannelSuccess` 回调并自动接收设备端的音视频。 在传输指定格式的音视频数据时,RTSA Lite SDK 与 RTC SDK 可以实现互通。详见[与 RTC SDK 互通数据](/zh-CN/realtime-media/rtsa/build/rtc-interoperability/interoperate-rtc)。 ### 5. 其他设置 [#5-其他设置] #### 发送关键帧 [#发送关键帧] 设备端发送的音视频数据可以为编码后的码流文件(例如 H.264 或 Opus)或 PCM 文件。在客户端出现解码错误或频道里加入新终端时,SDK 内部会请求发送关键帧。你需要在设备端通过 `on_key_frame_gen_req` 回调通知 App,App 需要根据回调立即指示编码器编码 I 帧并发送给客户端,否则可能出现长时间的卡顿、黑屏等问题。详见[发送关键帧](/zh-CN/realtime-media/rtsa/build/media-transmission/key-frame)。 #### 根据带宽调节目标码率 [#根据带宽调节目标码率] 摄像头一般会支持多个清晰度档位,如标清、高清、超高清、4K 等,常见帧率包括 15 fps 和 25 fps。 你可以通过 `agora_rtc_set_bwe_param` 方法设置 BWE (bandwidth estimation) 参数。 BWE 参数表示网络带宽探测的边界,你可以根据场景要求,预测编码码率可能的最大最小波动范围并设置。 | 档位 | 分辨率 | 帧率 | 码率范围(Kbps) | | :----- | :------------ | :--- | :--------------- | | 标清 | L1: 640 × 360 | 15 | [400,800] | | 高清 | L2: 1280 × 720 | 15 | [1130,2260] | | 超高清 | L3: 1920 × 1080 | 15 | [1130,4160] | 如按上表配置,可设置最小值 400 Kbps,最大值 4160 Kbps。初始值是带宽探测的初始回调值,实际设置介于最小值和最大值中间,一般设置为正常情况编码的码率。如果初始编码档位为上表的标清档,初始值可设为 500 kbps。 设备端会持续探测可用带宽,通过 `on_target_bitrate_changed` 回调告知 App 当前的可用带宽,设备端需要做码率跟随,避免超码率发送,引起卡顿等问题。示例处理方法如下: ```c // 配置 BWE uint32_t min_bps = 400000; uint32_t max_bps = 4160000; uint32_t start_bps = 500000; agora_rtc_set_bwe_param(min_bps, max_bps, start_bps); // 通知设备端做码率跟随 static void __on_target_bitrate_changed(const char *channel, uint32_t target_bps) { // 当前码率按照 100 K 分档,向下取整 curTargetBitrate = target_bps/100000 * 100; diffTargetBitrate = abs(curTargetBitRate - lastTargetBitrate); // 如果探测带宽与设置的编码码率相差 100 K 以上,则重写调整编码参数 if ( (diffTargetBitrate >= 100 ) && (lowBitrateL1 < curTargetBitrate < highBitrateL3) ) { if (lowBitrateL1 < curTargetBitrate < highBitrateL1) { curResolutionLevel = L1; } else if (lowBitrateL2 < curTargetBitrate < highBitrateL2) { curResolutionLevel = L3; } else {} // 调整编码分辨率 if (curResolutionLevel != lastResolutionLevel) { setEncodeResolution(curResolutionLevel); } // 设置编码码率 setEncodeBitrate(curTargetBitrate); lastResolutionLevel = curResolutionLevel; lastTargetBitrate = curTargetBitrate; } } ``` ## 开发注意事项 [#开发注意事项] 在开发过程中,你需要注意如下事项: - RTC SDK、RTSA Lite SDK 和你的 Token 生成器必须使用相同的 [App ID](/zh-CN/introduction/glossary#appid),否则无法互通。 - 对于 RTSA Lite SDK,两人互通需采用 `on_audio_data` 回调接收数据;3 人以上互通需要用 `on_mixed_audio_data` 回调接收数据。