# 设备端实现 (Linux) (/zh-CN/solutions/teleoperation/build/device-linux) > For AI agents: see the complete documentation index at [llms.txt](/llms.txt). 声网平行操控 SDK 支持主流的 Linux、Android 设备端平台,Windows、Web、Linux、Android、iOS、macOS 操控端平台。 本文介绍如何通过声网平行操控 SDK 在 Linux 设备端实现主要功能。 :::info[信息] 如需体验 Android 设备端,请联系 sales@shengwang.cn。 ::: ## 技术原理 [#技术原理] 基于如下技术框架图,你可以结合你的实际业务进行开发。 ![平行操控设备端技术架构](https://web-cdn.agora.io/docs-portal/img/teleoperation/architecture.png) ## 前提条件 [#前提条件] 开始前,请确保满足如下条件: - 准备平行操控所需的 Linux 开发环境。详见[准备开发环境](/zh-CN/solutions/teleoperation/get-started/run-example#准备开发环境)。 - 联系 sales@shengwang.cn 获取平行操控 Linux SDK。 - 初始化 SDK 并与声网 RTC 频道建立连接。详见[准备工作](/zh-CN/realtime-media/rtc-server-sdk/build/send-receive#准备工作)。 ## 实现流程 [#实现流程] ### 采集并发送音视频流 [#采集并发送音视频流] 按照如下步骤实现从设备端采集并发送音视频流的逻辑: 1. 创建 `YuvCapturer` 对象。 ```cpp static resolution s; static YuvCapturer capturer(s); static Buffer b; ``` 2. 设置摄像头参数并初始化摄像头采集。具体步骤如下: 1. 初始化前,调用 `set_resolution` 和 `set_fps` 设置摄像头采集的分辨率和帧率,调用 `set_device` 指定用于采集视频流的摄像头设备。 2. 完成参数设置和设备指定后,调用 `init` 初始化摄像头采集。 3. 初始化后,调用 `camera_capture_start` 开始通过摄像头采集 YUV 格式的视频帧。 ```cpp // 设置分辨率,默认值为 640 × 480 capturer.set_resolution(options.video.width, options.video.height); // 设置帧率,默认值为 30 capturer.set_fps(options.video.frameRate); // 指定采集视频流的摄像头,默认值为 /dev/video0 capturer.set_device(options.video.device_name); // 初始化摄像头采集 capturer.init(); // 开始摄像头采集 capturer.camera_capture_start(); ``` 3. 开始摄像头采集后,调用 `get_one_frame` 从摄像头获取 YUV 格式的视频帧,成功调用后获取到的视频帧会存储到设备内存中。 ```cpp capturer.get_one_frame(); ``` 4. 发送采集的视频数据。 从摄像头采集到视频数据后,调用 `sendVideoFrame` 发送 YUV 格式的原始视频数据,或调用 `sendEncodedVideoImage` 发送自编码后的 H.264 格式视频数据,详细步骤可以参考[向操控端发送媒体流](/zh-CN/realtime-media/rtc-server-sdk/build/send-receive#向客户端发送媒体流)。 ```cpp // 发送 YUV 格式的原始视频数据 videoFrameSender->sendVideoFrame(videoFrame); // 发送编码后的 H.264 格式的视频数据 videoH264FrameSender->sendEncodedVideoImage( reinterpret_cast(h264Frame.get()->buffer.get()), h264Frame.get()->bufferLen, videoEncodedFrameInfo); ``` 5. 发送 YUV 格式视频帧后,尽早调用 `clear_one_frame` 从内存中清除获取的视频帧。成功释放设备内存后,才能继续调用 `get_one_frame` 获取下一个视频帧。示例代码如下: ```cpp capturer.clear_one_frame(); ``` ### 收发控制信令 [#收发控制信令] 按照如下步骤实现从设备端收发控制信令的逻辑: 1. 创建并初始化 `RtmClient` 对象,并设置事件监听。 ```cpp auto service = createAndInitAgoraService(false, true, true, true, false, options.appId.c_str()); auto con = service->createRtcConnection(agora::rtc::RtcConnectionConfiguration()); // 使用新的流订阅模式 auto p = con->getAgoraParameter(); p->setBool("rtc.vos_aut_use_old_sync",false); // 创建 RtmClient auto rtm_client = agora::rtm::createAgoraRtmClient(); rtmHandler handle; // 配置 RtmClient agora::rtm::RtmConfig config; // 设置事件监听程序 config.eventHandler = &handle; config.appId = options.appId.c_str(); // userId 中仅支持传入内容为数值的字符串,例如 "1234567" config.userId = options.userId.c_str(); // 初始化 RtmClient rtm_client->initialize(config); ``` 2. 创建 Stream Channel 并加入频道。在使用 `StreamChannel` 类中的任何 API 之前,你需要先调用 `createStreamChannel` 创建 Stream Channel。 ```cpp // 创建 Stream Channel auto stream_channel = rtm_client->createStreamChannel(options.channelId.c_str()); agora::rtm::JoinChannelOptions opt; opt.token = options.appId.c_str(); // 加入频道 stream_channel->join(opt); ``` 3. 加入频道中的 Topic 并发布消息。成功加入 Topic 后,SDK 会自动将你注册为该 Topic 的消息发布者,你可以在该 Topic 中发送消息。成功发送后,SDK 会把该消息分发给该 Topic 的所有订阅者。 ```cpp agora::rtm::JoinTopicOptions topic_join_opt; // 加入 Topic stream_channel->joinTopic(options.topic.c_str(), topic_join_opt); // 在 Topic 中发布消息 stream_channel->publishTopicMessage(options.topic.c_str(), "hellortm", 9); ``` 4. 订阅 Topic 及 Topic 中的消息发送者。 ```cpp agora::rtm::TopicOptions topic_opt; const char *users[] = { options.remoteUserId.c_str() }; topic_opt.users = users; topic_opt.userCount = 1; stream_channel->subscribeTopic(options.topic.c_str(), topic_opt); ``` 5. 通过 `onMessageEvent` 事件通知接收远端用户的消息。 ```cpp // 继承 IRtmEventHandler 类 class rtmHandler : public agora::rtm::IRtmEventHandler { public: // 监听消息事件通知 void onMessageEvent(MessageEvent &event) override { if(_stream_channel){ int r = _stream_channel->publishTopicMessage(_topic.c_str(), event.message, 12); printf("send %d rrr \n",r); } // 获取系统时间 get_stime(); // 打印消息发送和接收的时间戳 printf("send ts: %s, receive ts: %s \n", event.message, timestr); } agora::rtm::IStreamChannel* _stream_channel = nullptr; std::string _topic; }; ``` 6. 退出并释放资源。 ```cpp stream_channel->leaveTopic(options.topic.c_str()); // 退出 Topic stream_channel->leave(); // 退出频道 stream_channel->release(); // 销毁 Stream Channel rtm_client->release(); // 销毁 RtmClient ``` ## 参考信息 [#参考信息] ### 示例项目 [#示例项目] 声网在 SDK 包中提供了以下示例项目供你参考: ```shell ├── agora_sdk # 声网的 SDK 库文件和头文件 └── example # 示例代码 ├── capture_yuv │ └── sample_send_capture_yuv.cpp # 采集并发送音视频流 └── rtm ├── receive_rtm_message.cpp # 接收控制信令 └── send_rtm_message.cpp # 发送控制信令 ``` ### API 参考 [#api-参考] 你可以参考以下 API 文档: - [平行操控摄像头采集模块](/zh-CN/api-reference/teleoperation/iot/api/device) - [实时音视频 API](/zh-CN/api-reference/rtc-server-sdk/cpp/overview) - [实时控制信令 API](https://docs-preprod.agora.io/cn/rtm-2.x/api-overview-linux?platform=Linux)