# 发送和接收媒体流 (/zh-CN/realtime-media/rtc-server-sdk/build/send-receive/go)
> For AI agents: see the complete documentation index at [llms.txt](/llms.txt).
本文介绍如何集成服务端 Go SDK,通过少量代码从 0 开始实现发送和接收媒体流。
## 前提条件 [#前提条件-3]
在实现功能以前,请按照以下要求准备开发环境:
- 已下载 Visual Studio Code
- Go 1.21 或以上版本
- 服务器接入公网,有公网 IP。服务器允许访问 `.agora.io` 以及 `.agoralab.co` 域名。
- 操作系统与硬件环境需满足下列要求:
| 开发平台 | 操作系统版本 | CPU 架构 | 设备性能 |
| --- | --- | --- | --- |
| Linux | [send-receive-go-markdown-0-1-1 details](#table-slot-send-receive-go-markdown-0-1-1) | x86-64 | [send-receive-go-markdown-0-1-3 details](#table-slot-send-receive-go-markdown-0-1-3) |
**send-receive-go-markdown-0-1-1 details**
- Ubuntu 18.04 LTS 或以上
- CentOS 7.0 或以上
**send-receive-go-markdown-0-1-3 details**
- CPU:8 核,1.8 GHz 主频
- 内存:2 GB 或以上,推荐 4 GB 或以上
- 一个有效的声网账号以及声网项目。请参考[开通服务](/zh-CN/realtime-media/rtc-server-sdk/build/enable-service)从声网控制台获得以下信息:
- App ID:声网随机生成的字符串,用于识别你的项目。
- 临时 Token:Token 也称为动态密钥,在客户端加入频道时对用户鉴权。临时 Token 的有效期为 24 小时。
## 集成 SDK [#集成-sdk-1]
按照以下步骤集成 SDK:
1. 在终端中,运行以下命令下载 SDK。
```bash
git clone https://github.com/AgoraIO-Extensions/Agora-Golang-Server-SDK.git go_rtc_sdk
```
2. 依次运行以下命令编译 SDK。
:::info[信息]
如果在运行 `make deps` 命令下载 Go Module 时发生超时,可以尝试先运行 `go env -w GOPROXY=https://goproxy.cn,direct` 命令设置代理,再运行 `make deps` 命令重新下载。
:::
```bash
# 进入 SDK 目录
cd go_rtc_sdk
# 下载 SDK 动态库,该命令会把 SDK 动态库下载到 agora_sdk 目录下
# 在后续项目调试时,你需要把 agora_sdk 的路径添加进环境变量
make deps
# 执行编译
make build
```
3. 在项目的 `go.mod` 文件里面,添加下列行,增加 SDK 所需依赖。
```bash
# 将 /path/to/go_rtc_sdk 修改为你在步骤 1 中下载的 SDK 的实际路径
replace github.com/AgoraIO-Extensions/Agora-Golang-Server-SDK/v2 => /path/to/go_rtc_sdk
# 将 version_number 修改为 SDK 实际版本号,你可以在发版说明中获取版本号,例如 v2.1.0
require github.com/AgoraIO-Extensions/Agora-Golang-Server-SDK/v2 version_number
```
## 实现步骤 [#实现步骤-1]
本小节介绍如何实现服务端发送和接收媒体流,你可以按照实现步骤了解核心 API 调用。下图展示了基本的实现流程:
### 初始化 SDK [#初始化-sdk-1]
在调用其他声网 API 前,需要先导入 `agoraservice` 包并调用 `initialize` 初始化 `agoraservice` 包:
```go
package main
import (
agoraservice "github.com/AgoraIO-Extensions/Agora-Golang-Server-SDK/v2/go_sdk/agoraservice"
)
func main() {
svcCfg := agoraservice.NewAgoraServiceConfig()
// 如需收发视频,设置 EnableVideo 为 true
svcCfg.EnableVideo = true
svcCfg.AppId = appid
// 全局只初始化一次
agoraservice.Initialize(svcCfg)
}
```
### 与频道建立连接 [#与频道建立连接-1]
初始化后,按照以下步骤与声网 RTC 频道建立连接:
1. 调用 `NewRtcConnection` 方法创建 `RtcConnection` 对象,用于与声网服务器建立连接。
:::info[信息]
你可以在创建连接时设置 `AutoSubscribeAudio: true` 和 `AutoSubscribeVideo: true` 自动订阅音视频数据,也可以在创建连接后,随时调用 `SubscribeAudio` 和 `SubscribeVideo` 方法开始订阅音视频数据。本文以设置 `AutoSubscribeAudio: true` 和 `AutoSubscribeVideo: true` 为例。
:::
```go
conCfg := agoraservice.RtcConnectionConfig{
AutoSubscribeAudio: true,
AutoSubscribeVideo: true,
ClientRole: agoraservice.ClientRoleBroadcaster,
ChannelProfile: agoraservice.ChannelProfileLiveBroadcasting,
}
con := agoraservice.NewRtcConnection(&conCfg)
```
2. 调用 `RegisterObserver` 方法注册连接事件观测器,并监听相关回调。
:::info[信息]
示例代码中仅处理了连接成功事件,实际开发中,你还需要监听其他事件,并处理连接异常的情况。
:::
```go
conSignal := make(chan struct{})
conHandler := &agoraservice.RtcConnectionObserver{
OnConnected: func(con *agoraservice.RtcConnection, info *agoraservice.RtcConnectionInfo, reason int) {
fmt.Printf("Connected, reason %d\n", reason)
conSignal <- struct{}{}
},
OnDisconnected: func(con *agoraservice.RtcConnection, info *agoraservice.RtcConnectionInfo, reason int){
fmt.Printf("Disconnected, reason %d\n", reason)
},
OnConnecting: func(con *agoraservice.RtcConnection, conInfo *agoraservice.RtcConnectionInfo, reason int) {
fmt.Printf("Connecting, reason %d\n", reason)
},
OnReconnecting: func(con *agoraservice.RtcConnection, conInfo *agoraservice.RtcConnectionInfo, reason int) {
fmt.Printf("Reconnecting, reason %d\n", reason)
},
OnReconnected: func(con *agoraservice.RtcConnection, conInfo *agoraservice.RtcConnectionInfo, reason int) {
fmt.Printf("Reconnected, reason %d\n", reason)
},
OnConnectionLost: func(con *agoraservice.RtcConnection, conInfo *agoraservice.RtcConnectionInfo) {
fmt.Printf("Connection lost\n")
},
OnConnectionFailure: func(con *agoraservice.RtcConnection, conInfo *agoraservice.RtcConnectionInfo, errCode int) {
fmt.Printf("Connection failure, error code %d\n", errCode)
},
OnUserJoined: func(con *agoraservice.RtcConnection, uid string) {
fmt.Println("user joined, " + uid)
},
OnUserLeft: func(con *agoraservice.RtcConnection, uid string, reason int) {
fmt.Println("user left, " + uid)
},
}
con.RegisterObserver(conHandler)
```
3. 调用 `Connect` 与声网 RTC 频道建立连接,你需要传入以下参数:
- `token`: RTC Token。如果你的项目开启了 App 证书,你需要传入 RTC Token,详见[获取临时 Token](/zh-CN/realtime-media/rtc-server-sdk/build/enable-service#get-temp-token);如果你的项目未开启 App 证书,则只需传入空字符串。
- `channelName`: 你自行定义的频道名。
- `userId`: 你自行定义的本地用户 ID。
```go
con.Connect(token, channelName, userId)
// 等待连接成功
<-conSignal
```
### 发送媒体流 [#发送媒体流-1]
成功建立连接后,参考以下步骤向客户端发送媒体流:
1. 调用 `NewMediaNodeFactory` 方法创建 `MediaNodeFactory` 媒体节点工厂对象。
:::info[信息]
全局只需创建一个 `MediaNodeFactory` 实例。
:::
```go
mediaNodeFactory := agoraservice.NewMediaNodeFactory()
```
2. 在 `MediaNodeFactory` 对象中,根据实际需求创建音视频数据发送器。支持以下发送器:
- `AudioPcmDataSender`:发送 PCM 格式的音频数据。
- `VideoFrameSender`:发送 YUV 格式的视频数据。
- `AudioEncodedFrameSender`:发送已编码的音频数据。
- `VideoEncodedImageSender`:发送已编码的视频数据。
本节以发送 PCM 音频数据和 YUV 视频数据为例,示例代码如下:
```go
// 创建可发送 PCM 格式的音频数据的发送器
audioSender := mediaNodeFactory.NewAudioPcmDataSender()
defer audioSender.Release()
// 创建可发送 YUV 格式的视频数据的发送器
videoSender := mediaNodeFactory.NewVideoFrameSender()
defer videoSender.Release()
```
3. 使用步骤 2 中创建好的音视频数据发送器,创建 `LocalAudioTrack` 对象和 `LocalVideoTrack` 对象,分别对应本地音频轨道和本地视频轨道。
```go
// 创建自定义音频轨道(使用可发送 PCM 格式的音频数据的发送器)
audioTrack := agoraservice.NewCustomAudioTrackPcm(audioSender)
// 如果不需要使用音频轨道,则调用 Release 方法释放资源
defer audioTrack.Release()
// 创建自定义视频轨道(可发送 YUV 格式的视频数据的发送器)
videoTrack := agoraservice.NewCustomVideoTrackFrame(videoSender)
// 如果不需要使用视频轨道,则调用 Release 方法释放资源
defer videoTrack.Release()
```
4. 调用 `SetEnabled` 方法分别开启本地音频轨道和视频轨道。
```go
// 开启本地音频轨道
audioTrack.SetEnabled(true)
// 开启本地视频轨道
videoTrack.SetEnabled(true)
```
5. 调用 `PublishAudio` 和 `PublishVideo` 方法在频道中分别发布本地音频轨道和视频轨道。
```go
// 发布本地音频轨道
localUser.PublishAudio(audioTrack)
// 发布本地视频轨道
localUser.PublishVideo(videoTrack)
```
6. 发送音视频数据。
- 调用 `AudioPcmDataSender` 对象的 `SendAudioPcmData` 方法发送 PCM 音频数据。
```go
frame := agoraservice.AudioFrame{
Type: agoraservice.AudioFrameTypePCM16,
SamplesPerChannel: 160,
BytesPerSample: 2,
Channels: 1,
SamplesPerSec: 16000,
Buffer: make([]byte, 320),
RenderTimeMs: 0,
}
file, err := os.Open("./test.pcm")
if err != nil {
fmt.Println("Error opening file:", err)
return
}
defer file.Close()
firstSendTime := time.Now()
for !(*bStop) {
shouldSendCount := int(time.Since(firstSendTime).Milliseconds()/10) - (sendCount - 18)
for i := 0; i < shouldSendCount; i++ {
dataLen, err := file.Read(frame.Buffer)
if err != nil || dataLen < 320 {
fmt.Println("Finished reading file:", err)
file.Seek(0, 0)
i--
continue
}
sendCount++
ret := sender.SendAudioPcmData(&frame)
fmt.Printf("SendAudioPcmData %d ret: %d\n", sendCount, ret)
}
fmt.Printf("Sent %d frames this time\n", shouldSendCount)
time.Sleep(50 * time.Millisecond)
}
```
- 调用 `SetVideoEncoderConfiguration` 方法设置视频编码参数,并调用 `SendVideoFrame` 方法发送 YUV 视频数据。
```go
// 设置视频编码分辨率,帧率,码率等参数
videoTrack.SetVideoEncoderConfiguration(&agoraservice.VideoEncoderConfiguration{
CodecType: agoraservice.VideoCodecTypeH264,
Width: 320,
Height: 240,
Framerate: 30,
Bitrate: 500,
MinBitrate: 100,
OrientationMode: agoraservice.OrientationModeAdaptive,
DegradePreference: 0,
})
w := SendYuvWidth
h := SendYuvHeight
dataSize := w * h * 3 / 2
data := make([]byte, dataSize)
// 打开 YUV 文件
file, err := os.Open(SendYuvPath)
if err != nil {
fmt.Printf("task %d Error opening file: %s\n", taskCtx.id, err.Error())
return
}
defer file.Close()
// 循环读取 YUV 文件并发送
ticker := time.NewTicker(33 * time.Millisecond)
for {
select {
case <-ticker.C:
dataLen, err := file.Read(data)
if err != nil || dataLen < dataSize {
file.Seek(0, 0)
continue
}
yuvSender.SendVideoFrame(&agoraservice.ExternalVideoFrame{
Type: agoraservice.VideoBufferRawData,
Format: agoraservice.VideoPixelI420,
Buffer: data,
Stride: w,
Height: h,
Timestamp: 0,
})
case <-ctx.Done():
fmt.Printf("task %d video sender finished\n", taskCtx.id)
return
}
}
```
### 接收媒体流 [#接收媒体流-1]
成功建立连接后,根据实际需求,调用 `RegisterAudioFrameObserver` 和 `RegisterVideoFrameObserver` 方法注册以下音视频数据观测器,并监听相关回调。
- `AudioFrameObserver`:音频数据观测器。
- `VideoFrameObserver`:原始视频数据观测器。
- `VideoEncodedFrameObserver`:已编码视频数据观测器。
本节以接收 PCM 音频数据和 YUV 视频数据为例,示例代码如下:
```go
// 当客户端开始发送音频数据时,通过 OnPlaybackAudioFrameBeforeMixing 回调接收 PCM 音频数据
audioObserver := &agoraservice.AudioFrameObserver{
OnPlaybackAudioFrameBeforeMixing: func(localUser *agoraservice.LocalUser, channelId string, userId string, frame *agoraservice.AudioFrame) bool {
// 添加处理逻辑
fmt.Printf("Playback audio frame before mixing, from userId %s\n", userId)
return true
},
}
localUser := con.GetLocalUser()
// 在 RegisterAudioFrameObserver 方法之前调用 SetPlaybackAudioFrameBeforeMixingParameters 方法,设置音频数据的采样率
localUser.SetPlaybackAudioFrameBeforeMixingParameters(1, 16000)
// 注册音频数据观测器
localUser.RegisterAudioFrameObserver(audioObserver)
```
```go
// 当客户端开始发送视频数据时,通过 OnFrame 回调接收 YUV 视频数据
videoObserver := &agoraservice.VideoFrameObserver{
OnFrame: func(channelId string, userId string, frame *agoraservice.VideoFrame) bool {
// 添加处理逻辑
fmt.Printf("recv video frame, from channel %s, user %s\n", channelId, userId)
return true
},
}
localUser := con.GetLocalUser()
// 注册视频数据观测器
localUser.RegisterVideoFrameObserver(videoObserver)
```
### 停止发送和接收媒体流 [#停止发送和接收媒体流-1]
如果你不再需要发送和接收媒体流,你可以按照以下步骤停止发送和接收媒体流。
#### 停止发送媒体流 [#停止发送媒体流-1]
1. 先调用 `UnpublishAudio` 和 `UnpublishVideo` 方法停止发布音视频轨道
```go
localUser.UnpublishAudio(audioTrack)
localUser.UnpublishVideo(videoTrack)
```
2. 调用 `SetEnabled` 方法分别关闭本地音频轨道和视频轨道。
```go
audioTrack.SetEnabled(false)
videoTrack.SetEnabled(false)
```
3. 依次调用 `Release` 方法释放音视频轨道、音视频发送器、媒体节点工厂的资源。
```go
// 释放音频轨道
defer audioTrack.Release()
// 释放音频发送器
defer audioSender.Release()
// 释放视频轨道
defer videoTrack.Release()
// 释放视频发送器
defer videoSender.Release()
// 释放媒体节点工厂
defer mediaNodeFactory.Release()
```
#### 停止接收媒体流 [#停止接收媒体流-1]
调用 `UnregisterAudioFrameObserver` 和 `UnregisterVideoFrameObserver` 方法注销音视频数据观测器。
```go
localUser.UnregisterAudioFrameObserver(audioObserver)
localUser.UnregisterVideoFrameObserver(videoObserver)
```
### 与频道断开连接 [#与频道断开连接-1]
如果你不再需要对频道进行任何操作,或者不再需要接收任何频道的事件,按照以下步骤与频道断开连接:
:::warning[注意]
你必须严格按照步骤释放相关资源。
:::
1. 调用 `Disconnect` 方法断开与声网服务器的连接。
```go
con.Disconnect()
```
2. 调用 `UnregisterObserver` 方法注销连接事件观测器。
```go
con.UnregisterObserver()
```
3. 调用 `Release` 方法释放 `RTCConnection` 对象。
```go
con.Release()
```
### 释放 SDK 资源 [#释放-sdk-资源-1]
当你退出服务端程序时,为避免资源浪费,调用 `Release` 方法释放 `agoraservice` 包,以释放 SDK 的资源。
:::info[信息]
全局只需调用一次 `agoraservice.Release` 释放 SDK 资源。资源释放后,你将无法调用 `agoraservice` 包中的任何方法。
:::
```go
agoraservice.Release()
```
## 调试项目 [#调试项目-1]
按照以下步骤来测试你的项目:
1. 在终端中依次运行下列命令行,编译你的 Go 项目:
```bash
# 进入你的项目目录
cd /path/to/your/project
# 清理并更新项目的依赖项
go mod tidy
# 编译项目
go build
# 设置环境变量,指向 SDK 动态库所在目录
export LD_LIBRARY_PATH=/path/to/go_rtc_sdk/agora_sdk
# 运行项目
./your_project
```
2. 打开声网实时互动 [Web Demo](https://webdemo-global.agora.io/index.html),完成**初始化设置**,在浏览器中模拟一个客户端。App ID 需和你在项目中配置的 App ID 一致。
3. 进入**基础视频通话**页面,在 **Channel** 填入与步骤 2 相同的频道名,依次点击 **Create Client**、**Join Channel**。
4. 成功加入频道后,你可以开始发流。当频道中有发流用户时,Web Demo 会在 **Step4 Subscribe & Play** 下方的输入框中自动填充发流用户的用户 ID,点击 **Subscribe & Play** 按钮订阅发流用户。
:::warning[注意]
由于 Web Demo 的限制,体验服务端发流时,你需要先在 Web 端完成加入频道,然后再在服务端运行项目发流;体验服务端收流时,你需要先在服务端运行项目连接频道,然后再在 Web 端加入频道、发流。
:::
## 示例项目 [#示例项目-2]
声网提供了开源的服务端示例项目供你参考,你可以前往下载或查看其中的源代码。