如何使用 Web 音频 API 防止语音转录中的说话者反馈-码农资源网

如何使用 web 音频 api 防止语音转录中的说话者反馈

最近我需要弄清楚另一件事，将我的 assembly.ai 转录引擎连接到一个声音很大的前端。

这是我尝试过的：

请求具有回声消除功能的麦克风访问权限。
使用 web audio api 设置音频处理链。
将此设置与语音识别集成。
利用 dynamicscompressornode 进行额外的音频处理。

第 1 步：请求使用回声消除功能的麦克风访问权限

第一步是请求访问启用了回声消除功能的麦克风。此功能内置于大多数现代浏览器中，有助于减少扬声器的反馈。

async function getmicrophonestream() {
    const constraints = {
        audio: {
            echocancellation: true,
            noisesuppression: true,
            autogaincontrol: true
        }
    };

    try {
        const stream = await navigator.mediadevices.getusermedia(constraints);
        return stream;
    } catch (err) {
        console.error('error <a style="color:#f60; text-decoration:underline;" href="https://www.codesou.cn/" target="_blank">access</a>ing the microphone', err);
        return null;
    }
}

解释

约束：我们指定音频约束以启用回声消除、噪声抑制和自动增益控制。
错误处理：如果用户拒绝访问或存在任何其他问题，我们会捕获并记录错误。

第 2 步：设置 web 音频 api 节点

接下来，我们设置 web audio api 来处理音频流。这涉及创建 audiocontext 并连接各种节点，包括 dynamicscompressornode。

async function setupaudioprocessing(stream) {
    const audiocontext = new audiocontext();
    const source = audiocontext.createmediastreamsource(stream);

    // create a dynamicscompressornode for additional processing
    const compressor = audiocontext.createdynamicscompressor();
    compressor.threshold.setvalueattime(-50, audiocontext.currenttime); // example settings
    compressor.knee.setvalueattime(40, audiocontext.currenttime);
    compressor.ratio.setvalueattime(12, audiocontext.currenttime);
    compressor.attack.setvalueattime(0, audiocontext.currenttime);
    compressor.release.setvalueattime(0.25, audiocontext.currenttime);

    // connect nodes
    source.connect(compressor);
    compressor.connect(audiocontext.destination);

    return { audiocontext, source, compressor };
}

解释

audiocontext：代表音频环境。
mediastreamsource：将麦克风流连接到音频上下文。
dynamicscompressornode：降低音频信号的动态范围，有助于管理背景噪音和反馈。

第 3 步：与语音识别集成

最后，我们将音频处理设置与 web speech api 集成以执行语音识别。

async function startSpeechRecognition() {
    const stream = await getMicrophoneStream();
    if (!stream) return;

    const { audioContext, source, compressor } = await setupAudioProcessing(stream);

    const recognition = new (window.SpeechRecognition || window.webkitSpeechRecognition)();
    recognition.continuous = true;
    recognition.interimResults = true;

    recognition.onresult = (event) => {
        for (let i = event.resultIndex; i  {
        console.error('Speech recognition error', event.error);
    };

    recognition.start();

    // Handle audio context resume if needed
    if (audioContext.state === 'suspended') {
        audioContext.resume();
    }

    return recognition;
}

// Start the speech recognition process
startSpeechRecognition();

解释

语音识别设置：我们设置了 web speech api 以进行连续和临时语音识别。
事件处理：我们处理onresult和onerror事件来处理识别结果和错误。
开始识别：我们开始语音识别过程并确保音频上下文不会暂停。

希望您发现这很有用。

快乐编码！

蒂姆.

想要了解更多内容，请持续关注码农资源网，一起探索发现编程世界的无限可能!
本站部分资源来源于网络，仅限用于学习和研究目的，请勿用于其他用途。
如有侵权请发送邮件至1943759704@qq.com删除

码农资源网 » 如何使用 Web 音频 API 防止语音转录中的说话者反馈