# 原始音频数据 (/zh-CN/api-reference/rtc/android/4.6.0/audio/audio-raw)
> For AI agents: see the complete documentation index at [llms.txt](/llms.txt).
## getEarMonitoringAudioParams [#getearmonitoringaudioparams]
onEarMonitoringAudioFrame 回调的音频格式设置方法。
```java
@CalledByNative public abstract AudioParams getEarMonitoringAudioParams();
```
调用 [registerAudioFrameObserver](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_registeraudioframeobserver) 注册音频帧观察者时,需要实现该回调。SDK 会触发该回调,你可以在该回调的返回值中设置音频格式。
:::info[注]
SDK 会根据你在返回值中设置的采样间隔计算公式触发 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调。采样间隔(秒) = `samplePerCall` /(`sampleRate` × `channel` )。请确保采样间隔 ≥ 0.01 秒。
:::
### 返回值 [#返回值]
耳返音频数据格式,详见 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams)。
### 所属接口类 [#所属接口类]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## getMixedAudioParams [#getmixedaudioparams]
设置 onMixedAudioFrame 回调的音频格式。
```java
@CalledByNative public abstract AudioParams getMixedAudioParams();
```
调用 [registerAudioFrameObserver](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_registeraudioframeobserver) 注册音频帧观察者时,需要实现该回调。成功注册音频帧观察者后,SDK 会触发该回调,你可以在该回调的返回值中设置音频格式。
:::info[注]
SDK 会根据你在返回值中设置的采样间隔计算公式触发 [onMixedAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onmixedaudioframe) 回调。采样间隔(秒) = `samplePerCall` /(`sampleRate` × `channel` )。确保采样间隔 ≥ 0.01 秒。
:::
### 返回值 [#返回值-1]
方法调用成功,返回 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams) 对象。详见 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams)。
### 所属接口类 [#所属接口类-1]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## getObservedAudioFramePosition [#getobservedaudioframeposition]
设置音频数据观察位置。
```java
@CalledByNative public abstract int getObservedAudioFramePosition();
```
成功注册音频数据观察器后,SDK 会在每个特定的音频帧处理节点调用该回调,以判断是否触发以下回调:
- onRecordAudioFrame
- onPlaybackAudioFrame
- onPlaybackAudioFrameBeforeMixing
- onMixedAudioFrame
- onEarMonitoringAudioFrame
你可以根据场景需求,通过修改 [getObservedAudioFramePosition](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_iaudioframeobserver_getobservedaudioframeposition) 的返回值设置需要观察的一个或多个位置。 当需要观察多个位置时,需使用 |(或运算符)。为节省系统资源,建议减少观察的帧位置数量。
### 返回值 [#返回值-2]
返回一个位掩码,用于设置观察位置,具体取值如下:
- POSITION_PLAYBACK (0x0001):可观察所有远端用户混音后的播放音频,对应 onPlaybackAudioFrame 回调。
- POSITION_RECORD (0x0002):可观察本地用户采集的音频,对应 onRecordAudioFrame 回调。
- POSITION_MIXED (0x0004):可观察本地用户与所有远端用户混音后的播放音频,对应 onMixedAudioFrame 回调。
- POSITION_BEFORE_MIXING (0x0008):可观察单个远端用户混音前的音频,对应 onPlaybackAudioFrameBeforeMixing 回调。
- POSITION_EAR_MONITORING (0x0010):可观察本地用户的耳返音频,对应 onEarMonitoringAudioFrame 回调。
### 所属接口类 [#所属接口类-2]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## getPlaybackAudioParams [#getplaybackaudioparams]
onPlaybackAudioFrame 回调的音频格式设置方法。
```java
public abstract AudioParams getPlaybackAudioParams()
```
你需要在调用 [registerAudioFrameObserver](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_registeraudioframeobserver) 方法时注册回调。在成功注册音频观测器后,SDK 会触发该回调。你可以在该回调的返回值中设置音频格式。
:::info[注]
SDK 会根据你在返回值中设置的 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams) 计算采样间隔,并以此触发 [onPlaybackAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframe) 回调。采样间隔的计算公式为:采样间隔(秒) = `samplePerCall` /(`sampleRate` × `channel` )。确保采样间隔 ≥ 0.01 秒。
:::
### 返回值 [#返回值-3]
方法调用成功,返回 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams) 对象。详见 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams)。
### 所属接口类 [#所属接口类-3]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## getRecordAudioParams [#getrecordaudioparams]
设置 onRecordAudioFrame 回调的音频格式。
```java
@CalledByNative public abstract AudioParams getRecordAudioParams();
```
调用 [registerAudioFrameObserver](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_registeraudioframeobserver) 注册回调后,SDK 会触发该回调。你可以在该回调的返回值中设置音频格式。
:::info[注]
SDK 会根据你在返回值中设置的 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams) 计算采样间隔并触发 [onRecordAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onrecordaudioframe) 回调。采样间隔(秒) = `samplePerCall` /(`sampleRate` × `channel` )。请确保采样间隔 ≥ 0.01 秒。
:::
### 返回值 [#返回值-4]
方法调用成功,返回 [AudioParams](/zh-CN/api-reference/rtc/android/class-and-enum/classes/class-audioparams) 对象。
### 所属接口类 [#所属接口类-4]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## registerAudioFrameObserver [#registeraudioframeobserver]
注册音频帧观测器对象。
```java
public abstract int registerAudioFrameObserver(IAudioFrameObserver observer);
```
调用该方法注册音频帧观测器对象后,SDK 会触发 [onMixedAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onmixedaudioframe)、 [onRecordAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onrecordaudioframe)、 [onPlaybackAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframe)、 [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing) 或 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调。
### 调用时机 [#调用时机]
在加入频道前调用此方法。
### 相关回调 [#相关回调]
相关回调: [onMixedAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onmixedaudioframe)、 [onRecordAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onrecordaudioframe)、 [onPlaybackAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframe)、 [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing)、 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe)。
### 参数 [#参数]
#### `observer` [#observer]
音频帧观测器实例。详见 [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)。设置为 `null` 可释放该实例。建议在收到 [onLeaveChannel](/zh-CN/api-reference/rtc/android/channel#callback_irtcengineeventhandler_onleavechannel) 回调后调用此方法释放音频帧观测器对象。
### 返回值 [#返回值-5]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-5]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setEarMonitoringAudioFrameParameters [#setearmonitoringaudioframeparameters]
设置耳返音频数据格式。
```java
public abstract int setEarMonitoringAudioFrameParameters(int sampleRate, int channel, int mode, int samplesPerCall);
```
该方法用于设置 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调中报告的耳返音频数据格式。
注:
- 在调用该方法前,你需要先调用 enableInEarMonitoring 方法,并将 includeAudioFilters 设置为 EAR_MONITORING_FILTER_BUILT_IN_AUDIO_FILTERS 或 EAR_MONITORING_FILTER_NOISE_SUPPRESSION。
- SDK 会根据该方法中设置的 samplesPerCall、 sampleRate 和 channel 参数计算采样间隔。采样间隔(秒)= samplesPerCall /(sampleRate × channel )。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 onEarMonitoringAudioFrame 回调。
### 参数 [#参数-1]
#### `sampleRate` [#samplerate]
在 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调中报告的音频采样率。可设置为 8000、16000、32000、44100 或 48000 Hz。
#### `channel` [#channel]
在 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调中报告的音频通道数:
- 1:单声道。
- 2:立体声。
#### `mode` [#mode]
音频帧的使用模式:
- RAW_AUDIO_FRAME_OP_MODE_READ_ONLY (0):(默认)只读模式。例如,用户通过声网 SDK 获取数据后推送 RTMP 或 RTMPS 流。
- RAW_AUDIO_FRAME_OP_MODE_READ_WRITE (2):读写模式。用户从 AudioFrame 中读取数据,修改后再播放。例如,用户有自己的音效处理模块并进行语音预处理,如变声。
#### `samplesPerCall` [#samplespercall]
在 [onEarMonitoringAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onearmonitoringaudioframe) 回调中报告的每次调用采样数,例如媒体推流时为 1024。
### 返回值 [#返回值-6]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-6]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setMixedAudioFrameParameters [#setmixedaudioframeparameters]
设置混音后用于采集和播放的原始音频数据格式。
```java
public abstract int setMixedAudioFrameParameters(int sampleRate, int channel, int samplesPerCall);
```
SDK 会根据该方法中设置的 `samplesPerCall`、 `sampleRate` 和 `channel` 参数计算采样间隔。 采样间隔(秒) = `samplesPerCall` / (`sampleRate` × `channel`),请确保采样间隔 ≥ 0.01 秒。 SDK 会根据采样间隔触发 [onMixedAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onmixedaudioframe) 回调。
### 调用时机 [#调用时机-1]
请在加入频道前调用该方法。
### 参数 [#参数-2]
#### `sampleRate` [#samplerate-1]
回调中返回的采样率,可设置为 8000、16000、32000、44100 或 48000 Hz。
#### `channel` [#channel-1]
音频声道数,可设置为以下取值:
- 1:单声道。
- 2:立体声。
#### `samplesPerCall` [#samplespercall-1]
每次回调的数据采样数,例如媒体推流时为 1024。
### 返回值 [#返回值-7]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-7]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setPlaybackAudioFrameBeforeMixingParameters [1/2] [#setplaybackaudioframebeforemixingparameters-12]
设置混音前原始音频播放数据的格式。
```java
public abstract int setPlaybackAudioFrameBeforeMixingParameters(int sampleRate, int channel);
```
SDK 会根据采样间隔触发 [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing) 回调。
### 调用时机 [#调用时机-2]
请在加入频道前调用此方法。
### 相关回调 [#相关回调-1]
相关回调: [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing)。
### 参数 [#参数-3]
#### `sampleRate` [#samplerate-2]
回调中返回的采样率。可设置为以下值:
- 8000:8 kHz。
- 16000:16 kHz。
- 32000:32 kHz。
- 44100:44.1 kHz。
- 48000:48 kHz。
#### `channel` [#channel-2]
音频声道数。可设置为以下值:
- 1:单声道。
- 2:立体声。
### 返回值 [#返回值-8]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-8]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setPlaybackAudioFrameBeforeMixingParameters [2/2] [#setplaybackaudioframebeforemixingparameters-22]
设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的格式。
```java
public abstract int setPlaybackAudioFrameBeforeMixingParameters(int sampleRate, int channel, int samplesPerCall);
```
### 参数 [#参数-4]
#### `sampleRate` [#samplerate-3]
设置 [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing) 回调中返回的采样率。可设置为以下值(单位:Hz):
- 8000
- 16000
- 32000
- 44100
- 48000
#### `channel` [#channel-3]
设置 [onPlaybackAudioFrameBeforeMixing](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframebeforemixing) 回调中返回的音频数据的声道数。可设置为:
- 1:单声道。
- 2:立体声。
#### `samplesPerCall` [#samplespercall-2]
设置 [onMixedAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onmixedaudioframe) 回调中返回的音频数据的采样点数。
:::info[注]
在 RTMP 推流场景中,建议设置为 1024。
:::
### 返回值 [#返回值-9]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-9]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setPlaybackAudioFrameParameters [#setplaybackaudioframeparameters]
设置原始音频播放数据的格式。
```java
public abstract int setPlaybackAudioFrameParameters(int sampleRate, int channel, int mode, int samplesPerCall);
```
SDK 会根据 `samplesPerCall`、 `sampleRate` 和 `channel` 参数计算采样间隔。采样间隔(单位:秒) = `samplesPerCall` /(`sampleRate` × `channel` )。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 [onPlaybackAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframe) 回调。
### 调用时机 [#调用时机-3]
在加入频道前调用此方法。
### 相关回调 [#相关回调-2]
该方法会根据采样间隔触发 [onPlaybackAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onplaybackaudioframe) 回调。
### 参数 [#参数-5]
#### `sampleRate` [#samplerate-4]
回调中返回的采样率。可设置为 8000、16000、24000、32000、44100 或 48000 Hz。
#### `channel` [#channel-4]
音频声道数。可设置为:
- 1:单声道。
- 2:立体声。
#### `mode` [#mode-1]
音频帧的使用模式:
- RAW_AUDIO_FRAME_OP_MODE_READ_ONLY (0):(默认)只读模式。例如,用户通过声网 SDK 获取数据后推送 RTMP 或 RTMPS 流。
- RAW_AUDIO_FRAME_OP_MODE_READ_WRITE (2):读写模式。用户从 AudioFrame 中读取数据,修改后再播放。例如,用户有自己的音效处理模块并进行语音预处理,如变声。
#### `samplesPerCall` [#samplespercall-3]
每次调用返回的数据采样数,例如媒体推流时为 1024。
### 返回值 [#返回值-10]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-10]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## setRecordingAudioFrameParameters [#setrecordingaudioframeparameters]
设置采集的原始音频数据格式。
```java
public abstract int setRecordingAudioFrameParameters(int sampleRate, int channel, int mode, int samplesPerCall);
```
SDK 会根据 `samplesPerCall`、 `sampleRate` 和 `channel` 参数计算采样间隔。采样间隔(单位:秒) = `samplesPerCall` /(`sampleRate` × `channel` )。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 [onRecordAudioFrame](/zh-CN/api-reference/rtc/android/audio/audio-raw#callback_iaudioframeobserver_onrecordaudioframe) 回调。
### 调用时机 [#调用时机-4]
请在加入频道前调用该方法。
### 参数 [#参数-6]
#### `sampleRate` [#samplerate-5]
回调中返回的采样率,可设置为 8000、16000、32000、44100 或 48000 Hz。
#### `channel` [#channel-5]
音频声道数,可设置为:
- 1:单声道。
- 2:立体声。
#### `mode` [#mode-2]
音频帧的使用模式:
- 0:只读模式。例如,用户通过声网 SDK 获取数据后推送 RTMP 或 RTMPS 流。
- 2:读写模式。用户从 AudioFrame 中读取数据并进行修改后播放。例如,用户有自己的音效处理模块并进行语音预处理,如变声。
#### `samplesPerCall` [#samplespercall-4]
每次调用的数据采样数,例如媒体推流时为 1024。
### 返回值 [#返回值-11]
- 0:方法调用成功。
- < 0:方法调用失败。详见[错误码](/zh-CN/realtime-media/rtc/reference/error-code)了解详情和解决建议。
### 所属接口类 [#所属接口类-11]
- [RtcEngine](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_irtcengine)
## onEarMonitoringAudioFrame [#onearmonitoringaudioframe]
耳返音频帧回调。
```java
public abstract boolean onEarMonitoringAudioFrame(int type, int samplesPerChannel, int bytesPerSample, int channels, int samplesPerSec, ByteBuffer buffer, long renderTimeMs, int avsync_type);
```
该回调用于获取耳返音频数据。为了确保获取的数据符合预期,声网建议你通过以下任一方式设置音频数据格式:
- 方法一:调用 setEarMonitoringAudioFrameParameters 设置音频数据格式,并调用 registerAudioFrameObserver 注册音频帧观察者对象后,SDK 会根据设置的参数计算采样间隔,并按该间隔触发 onEarMonitoringAudioFrame 回调。
- 方法二:调用 registerAudioFrameObserver 注册音频帧观察者对象后,在 getObservedAudioFramePosition 的返回值中设置音频数据格式。然后 SDK 会根据 getEarMonitoringAudioParams 的返回值计算采样间隔,并按该间隔触发 onEarMonitoringAudioFrame 回调。
:::info[注]
方法一的优先级高于方法二。如果使用方法一设置音频数据格式,则方法二的设置无效。
:::
### 参数 [#参数-7]
#### `type` [#type]
音频帧类型。
#### `samplesPerChannel` [#samplesperchannel]
每个声道中的采样点数。
#### `bytesPerSample` [#bytespersample]
每个音频采样点的字节数。例如,每个 PCM 音频采样点通常占用 16 位(2 字节)。
#### `channels` [#channels]
声道数:
- 1:单声道。
- 2:立体声。若为立体声,数据为交错格式。
#### `samplesPerSec` [#samplespersec]
录音采样率(Hz)。
#### `buffer` [#buffer]
音频缓冲区。缓冲区大小 = `samplesPerChannel` × `channels` × `bytesPerSample`。详见 `ByteBuffer`。
#### `renderTimeMs` [#rendertimems]
外部音频帧的时间戳(毫秒)。你可以使用该参数在视频或音频相关场景中(包括使用自定义视频源的场景)实现音视频帧同步。
#### `avsync_type` [#avsync_type]
预留参数。
### 返回值 [#返回值-12]
- true:回调处理成功。
- false:回调处理失败。
### 所属接口类 [#所属接口类-12]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## onMixedAudioFrame [#onmixedaudioframe]
获取混合采集和播放的音频帧回调。
```java
public abstract boolean onMixedAudioFrame(String channelId, int type, int samplesPerChannel, int bytesPerSample, int channels, int samplesPerSec, ByteBuffer buffer, long renderTimeMs, int avsync_type);
```
声网建议通过以下两种方式之一设置音频数据格式,以确保混合采集和播放音频帧的数据格式符合预期:
- 方法一:调用 setMixedAudioFrameParameters 设置音频数据格式,并调用 registerAudioFrameObserver 注册音频帧观察者对象后,SDK 会根据设置的参数计算采样间隔,并按照采样间隔触发该回调。
- 方法二:调用 registerAudioFrameObserver 注册音频帧观察者对象后,在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getMixedAudioParams 回调的返回值计算采样间隔,并按照采样间隔触发该回调。
:::info[注]
[setMixedAudioFrameParameters](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_setmixedaudioframeparameters) 的设置优先级高于 [getObservedAudioFramePosition](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_iaudioframeobserver_getobservedaudioframeposition)。如果使用方法一设置音频数据格式,则方法二的设置无效。
:::
### 参数 [#参数-8]
#### `channelId` [#channelid]
频道 ID。
#### `type` [#type-1]
音频帧类型。
#### `samplesPerChannel` [#samplesperchannel-1]
每个声道的采样点数。
#### `bytesPerSample` [#bytespersample-1]
每个音频采样的字节数。例如,每个 PCM 音频采样通常占用 16 位(2 字节)。
#### `channels` [#channels-1]
声道数:
- 1:单声道。
- 2:立体声。使用立体声时,数据为交错格式。
#### `samplesPerSec` [#samplespersec-1]
录音采样率(Hz)。
#### `buffer` [#buffer-1]
音频缓冲区。缓冲区大小 = `samplesPerChannel` × `channels` × `bytesPerSample`。详见 `ByteBuffer`。
#### `renderTimeMs` [#rendertimems-1]
外部音频帧的时间戳(毫秒)。你可以使用该参数在视频或音频相关场景中(包括使用外部视频源的场景)实现音视频帧同步。
#### `avsync_type` [#avsync_type-1]
预留参数。
### 返回值 [#返回值-13]
- true:回调处理成功。
- false:回调处理失败。
### 所属接口类 [#所属接口类-13]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## onPlaybackAudioFrame [#onplaybackaudioframe]
获取用于播放的原始音频帧回调。
```java
public abstract boolean onPlaybackAudioFrame(String channelId, int type, int samplesPerChannel, int bytesPerSample, int channels, int samplesPerSec, ByteBuffer buffer, long renderTimeMs, int avsync_type);
```
你可以通过以下两种方式之一设置音频数据格式:
- 方法一:调用 setPlaybackAudioFrameParameters 设置音频数据格式,并调用 registerAudioFrameObserver 注册音频帧观察者对象后,SDK 会根据设置的参数计算采样间隔,并按照采样间隔触发该回调。
- 方法二:调用 registerAudioFrameObserver 注册音频帧观察者对象后,在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getPlaybackAudioParams 回调的返回值计算采样间隔,并按照采样间隔触发该回调。
:::info[注]
[setPlaybackAudioFrameParameters](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_setplaybackaudioframeparameters) 的设置优先级高于 [getObservedAudioFramePosition](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_iaudioframeobserver_getobservedaudioframeposition)。如果使用方法一设置音频数据格式,则方法二的设置无效。
:::
### 参数 [#参数-9]
#### `channelId` [#channelid-1]
频道 ID。
#### `type` [#type-2]
音频帧类型。
#### `samplesPerChannel` [#samplesperchannel-2]
每个声道中的采样点数。
#### `bytesPerSample` [#bytespersample-2]
每个音频采样点的字节数。例如,每个 PCM 音频采样点通常占用 16 位(2 字节)。
#### `channels` [#channels-2]
声道数:
- 1:单声道。
- 2:立体声。若为立体声,数据为交错排列。
#### `samplesPerSec` [#samplespersec-2]
录音采样率(Hz)。
#### `buffer` [#buffer-2]
音频缓冲区。缓冲区大小 = `samplesPerChannel` × `channels` × `bytesPerSample`。
#### `renderTimeMs` [#rendertimems-2]
外部音频帧的时间戳(毫秒)。你可以使用该参数在视频或音频相关场景中(包括使用外部视频源的场景)实现音视频帧同步。
#### `avsync_type` [#avsync_type-2]
预留参数。
### 返回值 [#返回值-14]
- true:回调处理成功。
- false:回调处理失败。
### 所属接口类 [#所属接口类-14]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## onPlaybackAudioFrameBeforeMixing [#onplaybackaudioframebeforemixing]
获取已订阅远端用户混音前的音频帧回调。
```java
public abstract boolean onPlaybackAudioFrameBeforeMixing(String channelId, int uid, int type, int samplesPerChannel, int bytesPerSample, int channels, int samplesPerSec, ByteBuffer buffer, long renderTimeMs, int avsync_type, int rtpTimestamp, long presentationMs);
```
### 触发时机 [#触发时机]
该回调在获取远端用户音频帧并在混音前触发。
### 参数 [#参数-10]
#### `channelId` [#channelid-2]
频道 ID。
#### `uid` [#uid]
已订阅远端用户的用户 ID。
#### `type` [#type-3]
音频帧类型。
#### `samplesPerChannel` [#samplesperchannel-3]
每个声道的采样点数。
#### `bytesPerSample` [#bytespersample-3]
每个音频采样点的字节数。例如,每个 PCM 音频采样点通常为 16 位(2 字节)。
#### `channels` [#channels-3]
声道数:
- 1:单声道。
- 2:立体声。立体声数据为交错排列。
#### `samplesPerSec` [#samplespersec-3]
录音采样率(Hz)。
#### `buffer` [#buffer-3]
音频缓冲区。缓冲区大小 = `samplesPerChannel` × `channels` × `bytesPerSample`。
#### `renderTimeMs` [#rendertimems-3]
外部音频帧的时间戳(毫秒)。你可以使用该参数在视频或音频相关场景中(包括使用自定义视频源的场景)实现音视频同步。
#### `avsync_type` [#avsync_type-3]
预留参数。
#### `rtpTimestamp` [#rtptimestamp]
RTP 时间戳。
#### `presentationMs` [#presentationms]
展示时间戳(毫秒)。
### 返回值 [#返回值-15]
- true:处理成功。
- false:处理失败。
### 所属接口类 [#所属接口类-15]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)
## onRecordAudioFrame [#onrecordaudioframe]
获取采集到的音频帧回调。
```java
public abstract boolean onRecordAudioFrame(String channelId, int type, int samplesPerChannel, int bytesPerSample, int channels, int samplesPerSec, ByteBuffer buffer, long renderTimeMs, int avsync_type);
```
你可以通过以下两种方式之一设置音频数据格式:
- 方法一:调用 setRecordingAudioFrameParameters 设置音频数据格式,并调用 registerAudioFrameObserver 注册音频帧观察者对象后,SDK 会根据方法中设置的参数计算采样间隔,并按照采样间隔触发该回调。
- 方法二:调用 registerAudioFrameObserver 注册音频帧观察者对象后,在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getRecordAudioParams 回调的返回值计算采样间隔,并按照采样间隔触发该回调。
:::info[注]
[setRecordingAudioFrameParameters](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_irtcengine_setrecordingaudioframeparameters) 的设置优先级高于 [getObservedAudioFramePosition](/zh-CN/api-reference/rtc/android/audio/audio-raw#api_iaudioframeobserver_getobservedaudioframeposition)。如果使用方法一设置音频数据格式,则方法二的设置无效。
:::
### 参数 [#参数-11]
#### `channelId` [#channelid-3]
频道 ID。
#### `type` [#type-4]
音频帧类型。
#### `samplesPerChannel` [#samplesperchannel-4]
每个声道中的采样点数。
#### `bytesPerSample` [#bytespersample-4]
每个音频采样的字节数。例如,每个 PCM 音频采样通常占用 16 位(2 字节)。
#### `channels` [#channels-4]
声道数:
- 1:单声道。
- 2:立体声。如果使用立体声,数据为交错排列。
#### `samplesPerSec` [#samplespersec-4]
录音采样率(Hz)。
#### `buffer` [#buffer-4]
音频缓冲区。缓冲区大小 = `samplesPerChannel` × `channels` × `bytesPerSample`。
#### `renderTimeMs` [#rendertimems-4]
外部音频帧的时间戳(毫秒)。你可以使用该参数在视频或音频相关场景中(包括使用外部视频源的场景)实现音视频帧同步。
#### `avsync_type` [#avsync_type-4]
预留参数。
### 返回值 [#返回值-16]
- true:回调处理成功。
- false:回调处理失败。
### 所属接口类 [#所属接口类-16]
- [IAudioFrameObserver](/zh-CN/api-reference/rtc/android/full-sdk-api-list#class_iaudioframeobserver)