自定义音频采集和渲染

  • Web

更新时间

了解实时互动 RTC 在不同平台上的自定义音频采集和渲染方式,包括接入流程、关键配置和平台差异。

实时音视频传输过程中,声网 SDK 通常会启动默认的音频模块进行采集。在以下场景中,你可能会发现默认的音频模块无法满足开发需求:

  • App 中已有自己的音频模块
  • 希望使用非麦克风采集的音频源,比如裸 PCM 数据
  • 需要使用自定义的音频前处理库(变声等)

本文介绍如何使用声网 Web SDK 在项目中实现自定义的音频采集。

实现方法

开始前,请确保你已参考快速开始在你的项目中实现基本的实时音视频功能。

SDK 提供 createCustomAudioTrack 方法,支持通过传入一个浏览器原生的 MediaStreamTrack 对象来创建本地音频轨道,你可以通过这个方法实现自定义音频采集。如果需要使用多个音频源,调用 createCustomAudioTrack 方法创建多个本地音频轨道即可。

例如,你可以调用 getUserMedia 方法获取 MediaStreamTrack 对象,再将该对象传入 createCustomAudioTrack 创建可以在 SDK 中使用的本地音频轨道对象。

JavaScript
navigator.mediaDevices.getUserMedia({ video: false, audio: true })
  .then((mediaStream) => {
    const audioMediaStreamTrack = mediaStream.getAudioTracks()[0];
    // create custom audio track
    return AgoraRTC.createCustomAudioTrack({
      mediaStreamTrack: audioMediaStreamTrack,
    });
  })
  .then((localAudioTrack) => {
    // ...
  });

同样,你也可以利用强大的 Web Audio API 来获取 MediaStreamTrack,实现定制化的音频处理。

Multiopus 多声道音频

自 v4.24.10 起,SDK 支持通过 Multiopus 发送和接收 4、6、8 声道音频。收发两端创建客户端时均需将 multiopus 设置为 true。多声道音频处理需要浏览器支持 MediaStreamTrackProcessor 和 MediaStreamTrackGenerator。

注意

Multiopus 支持 Chrome 94 及以上版本,不支持 Firefox 和 Safari。

调用 createCustomAudioTrack 时,传入已包含相应声道的 MediaStreamTrack,并通过 channelCount 指定声道数。该配置不会为输入音频创建额外声道。

JavaScript
const client = AgoraRTC.createClient({
  mode: "rtc",
  codec: "vp8",
  multiopus: true,
});
// multichannelMediaStreamTrack 由应用的自定义音频源提供。
const track = AgoraRTC.createCustomAudioTrack({
  mediaStreamTrack: multichannelMediaStreamTrack,
  channelCount: 4,
});
// 加入频道后再发布音轨。
await client.join(appId, channel, token, uid);
await client.publish(track);

本地音轨和订阅后的远端音轨均可调用 selectChannels 选择需要使用的声道,声道索引从 0 开始。渲染模式包括:

  • "surround":保留原始声道数及位置,未选中的声道静音。
  • "stereo":将选中声道混合为立体声,偶数索引混入左声道,奇数索引混入右声道。
  • "mono":将选中声道混合为单声道。
JavaScript
track.selectChannels([0, 1], "stereo");
const levels = track.getVolumeLevels();

getVolumeLevels 查询声道选择和混音前的原始声道音量。传入声道索引列表时,返回数组保留原始声道索引,未查询的位置为空;尚未读取到音频数据时,可能返回空数组或空位置。未启用多声道处理时,selectChannels 不改变轨道,getVolumeLevels 返回仅包含 getVolumeLevel() 结果的数组。

API 参考