WebSocket API

語音翻譯操作

概述

所有 voice-translation type 下可用的 action 一覽。關於連線與認證方式，請參考連線與認證；關於回應事件格式，請參考回應事件。

start - 開始語音翻譯
config - 設定術語庫/校正規則
audio - 傳送音訊
pause - 暫停翻譯
resume - 恢復翻譯
stop - 停止翻譯
retranslate - 重新翻譯單句
switch_language - 切換語言
set_name - 設定錄音名稱
rename_speaker - 全域重命名說話者
reassign_speaker - 修改單句語者身份
merge_speakers - 合併語者
tts_play - 播放 TTS
tts_stop - 停止 TTS
tts_mode - 切換 TTS 模式
set_tts - 互譯 TTS 設定
start_speaking - 開始說話（手動模式）
stop_speaking - 結束說話（手動模式）
switch_conversation_mode - 切換對話模式
set_speaker_language - 設定用戶語言
set_speaking_speed - 錄音中調整語速
add_channel - 新增聲道（多聲道）
remove_channel - 停用聲道（多聲道）
set_channel_language - 變更聲道語言（多聲道）
set_summary - 錄音中更換摘要設定
broadcast_go_live - 切換到正式階段
broadcast_announcement - 發送公告
set_standby_message - 設定預備階段文字

start - 開始語音翻譯

注意：字庫不要帶在 start 裡。 start payload 若帶 terminology／fuzzy_correction／translation_dict，這些欄位會被忽略（start 本身仍會成功），並回一則 config_ignored_in_start 警告，details.ignored_fields 列出被忽略的欄位。字庫一律改用 config action 送出。

請求參數

參數	類型	必填	說明
`action`	string	是	固定為 `start`
`transcription_languages`	string[]	是	語音辨識語言（最多 10 個）
`translation_languages`	string[]	否	翻譯目標語言，可多個（最多 12 個；空=不翻譯）。`transcribe` / `broadcast` 自 v1.6.7 起會即時翻譯全部指定語言，每個語言各回一則 `result` 事件（見下方「多語言翻譯」範例）。互譯（`conversation`）不適用：此欄位由伺服器覆寫為對方語言、恆為單一語言。`record` 自 v1.7.0 起不支援翻譯，帶此欄位會回 400 `record_translation_not_allowed`
`realtime_translation`	boolean	否	即時翻譯模式（預設 `false`）。`true`：句子辨識過程中（interim）即逐字翻譯；`false`：整句完成（`is_final`）才翻譯。多語言翻譯的即時程度同樣由本旗標決定。廣播（`broadcast`）一律視為 `true`；互譯（`conversation`）不受此欄位影響，只翻整句
`recognition_mode`	string	否	辨識模式：`single`（單人，預設）、`multi_speaker`（多人）、`multi_channel`（多聲道，v1.10.0，需開通後才可使用，見下方「多聲道模式說明」）；`multi_speaker` 下 `transcription_languages` 必須恰好 1 個，否則回傳 `diarization_multilang_conflict` 錯誤並拒絕開始（`type=conversation` 除外：互譯強制單人模式，自 v1.7.2 起豁免此檢查）
`type`	string	是	錄音類型：`transcribe`、`conversation`、`record`、`broadcast`
`audio_format`	string	否	音訊格式：`pcm`（預設）、`webm`
`summary_template`	string	條件	摘要模板（`transcribe` 必填，`conversation`/`broadcast` 可選）
`options`	object	否	語音辨識選項
`tts_enabled`	boolean	否	是否啟用 TTS 語音合成（預設 `false`）
`tts_language`	string	否	TTS 輸出語言（需在 `translation_languages` 中）
`tts_voice`	string	否	TTS 語音名稱（如 `en-US-JennyNeural`）
`tts_mode`	string	否	TTS 播放模式：`sync`（同步，預設）、`async`（非同步）。只接受小寫的這兩個值，空字串視同未帶（`sync`）；其他值（例如 `"Async"`）會被拒絕（`invalid_parameter`，`details.field` 為 `tts_mode`），錄音不會開始。不論錄音類型、是否開啟 TTS 都會檢查
`broadcast_token`	string	條件	廣播 Token（`broadcast` 類型必填，從 REST API 取得）。只能搭配 `broadcast` 類型：其他類型帶了會被拒絕（`invalid_parameter`，`details.field` 為 `broadcast_token`），錄音不會開始
`active_language`	string	否	互譯模式初始 active 語言（預設 `transcription_languages[0]`）
`tts_config`	object	否	多語言 TTS 設定（廣播/互譯模式）
`broadcast_phase`	string	否	廣播初始階段：`standby`（預備）、`live`（正式，預設）。只接受小寫的這兩個值，空字串視同未帶（`live`）；其他值（例如 `"Live"`）會被拒絕（`invalid_parameter`，`details.field` 為 `broadcast_phase`），錄音不會開始
`standby_message`	string	否	預備階段觀眾看到的訊息（預設：「準備中，請稍候...」）
`name`	string	否	初始預設錄音名稱（去掉前後空白後最多 60 字元，系統仍可覆蓋；未提供則自動生成如 `Transcription #1`）。超過上限會被拒絕（`invalid_parameter`，`details.field` 為 `name`），錄音不會開始
`summary_language`	string	否	摘要輸出語言（不指定時預設使用辨識語言；廣播模式自動從頻道設定讀取）。最多 20 字元，超過會被拒絕（`invalid_parameter`，`details.field` 為 `summary_language`），錄音不會開始
`summary_mode`	string	否	摘要模式 enum：`builtin`（套用內建模板，預設）/ `custom`（客戶 prompt 完整取代內建模板）。缺值時自動推斷 `builtin`
`summary_prompt`	string	否	custom mode 必填（只含空白字元視同未填）、builtin mode 視為補充指示。≤3000 字元
`summary_prompt_slug`	string	否	custom mode 必填（只含空白字元視同未填）、builtin mode 禁帶。客戶自家識別碼（≤64 字元，Unicode、禁控制字元；pass-through 保存於後端記錄，供歷史查詢）
`summary_plain_text`	boolean	否	摘要要求純文字輸出（預設 `false`；開啟後後端做 Markdown 後處理）
`speakers`	object[]	否	互譯模式用戶語言設定（有帶時須恰好 2 位，見下方說明）。沒帶時，用戶 1 對應 `transcription_languages[0]`、用戶 2 對應 `transcription_languages[1]`
`conversation_mode`	string	否	互譯對話模式：`auto`（自動偵測，預設）、`manual`（手動 PTT）。只接受小寫的這兩個值，空字串視同未帶（`auto`）；其他值會被拒絕（`invalid_parameter`，`details.field` 為 `conversation_mode`），錄音不會開始。非互譯類型帶了也會檢查
`channel_mode`	string	條件	多聲道子模式（`multi_channel` 必填，v1.10.0）：`per_channel`（每路聲道獨立辨識）或 `shared`（各路輪流發言、共用一條辨識，v1.21.0）；其他值回 `invalid_channel_mode`
`channels`	object[]	條件	多聲道聲道清單（`multi_channel` 必填，1～8 路，含主講者，慣例 `channel_id: 1`；欄位見下方「多聲道模式說明」）
`silenceTimeoutSeconds`	integer	否	連續多少秒沒有偵測到語音就自動結束錄音：不帶或 `null` 使用預設值（900 秒）；`0` 表示這一場不會因為沒有語音而結束；其餘須為 60～86400 的整數，其他值會被拒絕。詳見下方長時間沒有語音時自動結束

options 子欄位

options 為語音辨識選項物件，皆為選用；省略時用各自預設值。

欄位	類型	預設	說明
`speaking_speed`	string	`normal`	說話速度，影響斷句的靜音判斷門檻：`very_slow` / `slow` / `normal` / `fast` / `very_fast`（各等級的門檻見下方 speaking_speed 等級，預設 `normal` 為 800ms）。講者較慢時調慢（門檻拉長，避免句中停頓被誤切）；較快時調快（更早斷句）。可於錄音中透過 `set_speaking_speed` 動態調整。只接受小寫的這五個值，空字串視同未帶（`normal`）；其他值會被拒絕（`invalid_parameter`，`details.field` 為 `options.speaking_speed`），錄音不會開始
`profanity_handling`	string	`mask`	敏感詞處理：`mask`（以 `***` 遮蔽）/ `remove`（移除）/ `show`（顯示原文）。只接受小寫的這三個值，空字串視同未帶（`mask`）；其他值會被拒絕（`invalid_parameter`，`details.field` 為 `options.profanity_handling`），錄音不會開始

註：以上選項作用於 STT 斷句；多人模式（multi_speaker）目前不套用 speaking_speed。

speaking_speed 等級

一段靜音持續超過門檻，就視為一句結束。門檻越長，越能容忍句中停頓（一句話比較不會被切成兩句），但每句出現的時間也越晚。

等級	斷句的靜音門檻
`very_fast`	300ms
`fast`	600ms
`normal`（預設）	800ms
`slow`	1200ms
`very_slow`	1500ms

請求範例（基本）

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "transcription_languages": ["zh-TW"],
    "translation_languages": ["en-US"],
    "realtime_translation": false,
    "type": "transcribe",
    "audio_format": "pcm",
    "summary_template": "meeting",
    "options": {
      "speaking_speed": "normal",
      "profanity_handling": "mask"
    }
  }
}

請求範例（多語言翻譯，v1.6.7）

translation_languages 指定多個語言即可同時翻譯（最多 12 個），適用 transcribe 與 broadcast（互譯的翻譯語言由伺服器指定、恆為單一語言；record 自 v1.7.0 起不支援翻譯）：

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "transcription_languages": ["zh-TW"],
    "translation_languages": ["en-US", "ja-JP", "ko-KR"],
    "realtime_translation": true,
    "type": "transcribe",
    "summary_template": "meeting"
  }
}

接收方式：每個語言各回一則獨立的 result 事件（同一 sid、translations 內單一語言 key），不會在一則事件中合併多語言。客戶端需以「sid + 語言代碼」累積譯文、不可互相覆蓋。各語言完成順序不固定（並行翻譯），部分語言失敗時其餘語言仍照常送達（失敗語言另收 error 事件，details.translation_language 指明失敗語言）。

計費提醒：翻譯自第 2 種語言起按語言數量計費加乘（詳見計費說明）。指定 N 種語言即按 N 種計費。

請求範例（初始預設名稱）

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "transcription_languages": ["zh-TW"],
    "translation_languages": ["en-US"],
    "type": "transcribe",
    "audio_format": "pcm",
    "summary_template": "meeting",
    "name": "產品規劃會議"
  }
}

錄音名稱規則

情境	名稱	name_source	系統會覆蓋？
`start` 帶 `name` 參數	初始預設名稱	`default`	是
`start` 未帶 `name`	自動生成（如 `Transcription #1`、`Broadcast #3`）	`default`	是
使用 `set_name` 設定	用戶明確設定的名稱	`user`	否
Session 結束後系統自動生成	根據逐字稿內容生成摘要名稱	`llm`	—

注意：start 的 name 為初始預設名稱，Session 結束時系統仍可能覆蓋。若需固定名稱，請使用 set_name。

預設名稱格式（固定英文）：

錄音類型	預設名稱格式
`transcribe`	`Transcription #N`
`conversation`	`Conversation #N`
`record`	`Recording #N`
`broadcast`	`Broadcast #N`

N 為該用戶同類型錄音的流水號。名稱優先順序：user > llm > default。用戶設定名稱後，Session 結束時系統不會覆蓋。

請求範例（含 TTS）

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "transcription_languages": ["zh-TW"],
    "translation_languages": ["en-US"],
    "realtime_translation": true,
    "type": "transcribe",
    "tts_enabled": true,
    "tts_language": "en-US",
    "tts_voice": "en-US-JennyNeural",
    "tts_mode": "sync"
  }
}

請求範例（互譯模式 - 自動偵測）

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "conversation",
    "transcription_languages": ["zh-TW", "en-US"],
    "active_language": "zh-TW",
    "audio_format": "pcm",
    "speakers": [
      { "id": 1, "language": "zh-TW" },
      { "id": 2, "language": "en-US" }
    ],
    "tts_config": {
      "zh-TW": { "voice": "zh-TW-HsiaoChenNeural", "speaking_rate": 1.0 },
      "en-US": { "voice": "en-US-JennyNeural", "speaking_rate": 1.0 }
    }
  }
}

請求範例（互譯模式 - 手動模式）

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "conversation",
    "transcription_languages": ["zh-TW", "en-US"],
    "conversation_mode": "manual",
    "audio_format": "pcm",
    "speakers": [
      { "id": 1, "language": "zh-TW" },
      { "id": 2, "language": "en-US" }
    ],
    "tts_config": {
      "zh-TW": { "voice": "zh-TW-HsiaoChenNeural", "speaking_rate": 1.0 },
      "en-US": { "voice": "en-US-JennyNeural", "speaking_rate": 1.0 }
    }
  }
}

互譯模式特殊規則：

項目	說明
`transcription_languages`	必須恰好 2 個，且不可相同
`translation_languages`	由伺服器覆寫：即使提供也會被忽略，一律強制為 active language 的另一個語言
`realtime_translation`	互譯模式下沒有作用：翻譯只在整句辨識完成後才會送出，不論此欄位設為 `true` 或 `false` 結果相同
`active_language`	可選，預設 `transcription_languages[0]`
`recognition_mode`	強制 `single`；`speaker_diarization` 會被接受但忽略（v1.7.2 起。此前帶 `speaker_diarization=true` 會被誤判為「語者分離與多語言互斥」而回 400）
`tts_enabled`	預設 `true`；設為 `false` 僅回傳文字翻譯
`tts_config`	可選，為兩個語言各自設定 TTS 語音；留空自動使用預設語音
`summary_template`	可選，提供時停止後自動生成摘要
`speakers`	可選，指定每位用戶的語言（有帶時恰好 2 位）；沒帶時，用戶 1、2 依序對應 `transcription_languages` 的兩個語言
`conversation_mode`	可選，`auto`（自動偵測，預設）或 `manual`（手動 PTT）

speakers 欄位說明：

欄位	類型	必填	說明
`id`	int	是	用戶編號（1 或 2）
`language`	string	是	該用戶的語言代碼（須在 `transcription_languages` 中）

conversation_mode 說明：

模式	說明
`auto`（預設）	系統自動偵測說話語言，自動斷句
`manual`	用戶透過 `start_speaking` / `stop_speaking` 控制說話時段，期間音訊合併為單一句子

成功回應

啟動成功後回傳 session_started 事件，包含完整的 Session 初始資訊。即時錄音會先扣第一分鐘，扣點完成後才回傳（見計費說明）。

一般錄音（transcribe / conversation / record）：

{
  "type": "voice-translation",
  "data": {
    "action": "session_started",
    "session_id": "550e8400-e29b-41d4-a716-446655440000",
    "task_id": "7c9e6679-7425-40de-944b-e07fc1f90ae7",
    "recording_type": "transcribe",
    "recognition_mode": "single",
    "message": "語音辨識已開始",
    "resume_token": "L0VBAwIy...（43 字元）",
    "resume_grace_seconds": 45,
    "server_time": 1749550000000
  }
}

廣播模式（broadcast）：

{
  "type": "voice-translation",
  "data": {
    "action": "session_started",
    "session_id": "550e8400-e29b-41d4-a716-446655440000",
    "task_id": "7c9e6679-7425-40de-944b-e07fc1f90ae7",
    "recording_type": "broadcast",
    "recognition_mode": "multi_speaker",
    "phase": "standby",
    "viewer_count": 0,
    "queue_count": 0,
    "peak_viewers": 0,
    "total_viewers": 0,
    "message": "語音辨識已開始",
    "resume_token": "L0VBAwIy...（43 字元）",
    "resume_grace_seconds": 45,
    "server_time": 1749550000000
  }
}

回應欄位說明請參考 session_started 事件。

錄音類型說明

type	說明	使用場景
`transcribe`	語音轉文字	會議記錄、訪談紀錄
`conversation`	對話記錄	雙向溝通、客服對話
`record`	單純錄音	語音備忘、快速記錄
`broadcast`	廣播/直播	講座、演講、直播內容

廣播模式說明（type: "broadcast"）

廣播模式時，語言設定會自動從廣播頻道設定取得，無需在 WebSocket 訊息中傳送。

必填參數：

參數	類型	說明
`type`	string	必須為 `"broadcast"`
`broadcast_token`	string	廣播 Token（透過 REST API 建立廣播後取得）
`audio_format`	string	音訊格式（`pcm` 或 `webm`）

可選參數（覆蓋廣播頻道設定）：

參數	類型	說明
`tts_config`	object	多語言 TTS 設定（覆蓋建立時的設定）
`summary_template`	string	摘要模板 slug（覆蓋建立時的設定，不提供則使用廣播頻道預設值）

自動設定的參數（可省略）：

transcription_languages：自動從廣播設定讀取
translation_languages：自動從廣播設定讀取
realtime_translation：廣播模式一律啟用，帶 false 也視為 true；翻譯一律以即時翻譯計費
summary_template：自動從廣播設定讀取（WebSocket 傳入值優先）
summary_language：自動從廣播設定讀取（WebSocket 傳入值優先）

主講端與觀眾端都會收到翻譯的中間結果：同一句翻譯先送出 is_final: false，最後才送出 is_final: true 的定稿。請以 sid 加 language 覆蓋顯示；只想顯示定稿，略過 is_final: false 即可。
錄音名稱不會沿用頻道名稱。start 未帶 name 時，自動生成如 Broadcast #1；命名方式與其他類型相同，見錄音名稱規則。

廣播階段說明：

broadcast_phase	說明	行為
`live`（預設）	正式階段	STT/翻譯結果廣播給觀眾，寫入逐字稿
`standby`	預備階段	STT/翻譯結果只給主講者，觀眾看到 standby_message

預備階段用途：讓主講者在正式開始前進行 STT/翻譯熱機測試，確認設備正常後再切換到正式階段。
預備階段有時間上限（預設 30 分鐘）：累計達上限，這一場會自動結束；到期前約 2 分鐘先送出預警。詳見預備階段的時間上限。
broadcast_phase 只接受小寫的 standby、live：空字串視同 live，其他值會被拒絕（invalid_parameter）。

廣播模式請求範例：

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "broadcast",
    "broadcast_token": "a3f9",
    "audio_format": "pcm"
  }
}

廣播模式請求範例（預備階段 + 覆蓋摘要模板）：

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "broadcast",
    "broadcast_token": "a3f9",
    "audio_format": "pcm",
    "broadcast_phase": "standby",
    "standby_message": "演講即將開始，請稍候...",
    "summary_template": "lecture"
  }
}

摘要模板優先順序：WebSocket start 傳入值 > 廣播頻道建立時設定的預設值。若兩者皆未設定，則不自動生成摘要。

廣播模式 TTS 設定（tts_config）：

透過 tts_config 參數指定哪些翻譯語言需要產生 TTS 語音給觀眾。

tts_config 欄位	類型	說明
voice	string	TTS 語音名稱
speaking_rate	number	語速（0.5~2.0，預設 1.0）。超出範圍時自動調整至最接近的邊界值

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "broadcast",
    "broadcast_token": "a3f9",
    "audio_format": "pcm",
    "tts_config": {
      "en-US": {
        "voice": "en-US-JennyNeural",
        "speaking_rate": 1.0
      },
      "ja-JP": {
        "voice": "ja-JP-NanamiNeural",
        "speaking_rate": 1.0
      }
    }
  }
}

注意：
TTS 語言必須是 translation_languages 中的有效語言，無效語言會被自動忽略
主講者（WebSocket）不會收到 TTS 音訊，只有 SSE 觀眾會收到 tts_ready 事件
TTS 只在 live 階段發送，standby 階段不會發送

多聲道模式說明（recognition_mode: "multi_channel"）

一場錄音同時接多支實體麥克風（每人一支），語者身分由聲道決定——哪支麥克風收到的音訊，就是哪位語者的發言，系統不做語者推斷。適用於每人配有專屬麥克風的會議、圓桌討論等場景（v1.10.0）。

有兩種子模式（channel_mode）：

子模式	辨識方式	語言	適用
`per_channel`	每路各自獨立辨識，可同時說話	每路綁定恰好 1 種，各路可不同	多人可能同時發言、各說不同語言
`shared`（v1.21.0）	各路輪流發言、共用一條辨識	全場共用 session 級設定	同一時間只有一個人說話（主持人與來賓輪流等）

適用範圍與硬限制：

項目	規則
功能開通	需開通後才可使用；未開通的環境送出會回 `invalid_recognition_mode`
錄音類型	僅 `transcribe` 與 `record`；`conversation` 回 `invalid_parameter`、`broadcast` 回 `multichannel_broadcast_not_allowed`
音訊格式	僅支援 `pcm`（16kHz／16-bit／mono／little-endian）；其他值回 `multichannel_requires_pcm`
TTS	不支援；`tts_enabled: true` 回 `multichannel_tts_not_allowed`
`speaker_diarization`	不可同時指定（多聲道本身即為語者分離的一種）；同時帶會回 `invalid_parameter`
`switch_language`	多聲道禁用（語言綁定在聲道上），一律回 `multichannel_switch_language_not_allowed`；`per_channel` 請改用 set_channel_language
音檔長度上限	一場多聲道錄音保存的音訊有總量上限，開著的聲道越多越早碰到（8 路約 70 分鐘）。碰到上限後，音檔與錄音時長（`duration_ms`）停在上限當下，逐字稿與扣點照常繼續

channels 欄位說明：

欄位	類型	必填	說明
`channel_id`	int	是	聲道編號，值域 1～8、不可重複。會成為該路語者的 `speaker_id`（格式 `channel_{N}`）；慣例主講者用 `1`
`speaker_name`	string	否	該路語者的顯示標籤（最大 100 字元，不可含控制字元）。未提供時可於錄音中用 `rename_speaker` 補設
`transcription_languages`	string[]	條件	該路的轉錄語言。`per_channel` 必填、恰好 1 個（一路綁一種語言）；`shared` 不可帶（回 `channel_language_not_allowed`）

語言一致性規則（per_channel）：各聲道語言的聯集（去重後）必須與 session 級 transcription_languages 完全一致，否則回 channel_language_mismatch（details 會同時列出兩邊的語言清單，方便對齊）。

多聲道請求範例：

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "transcribe",
    "recognition_mode": "multi_channel",
    "channel_mode": "per_channel",
    "transcription_languages": ["zh-TW", "ja-JP"],
    "translation_languages": ["en-US"],
    "audio_format": "pcm",
    "summary_template": "meeting",
    "channels": [
      { "channel_id": 1, "speaker_name": "主講者", "transcription_languages": ["zh-TW"] },
      { "channel_id": 2, "speaker_name": "王經理", "transcription_languages": ["zh-TW"] },
      { "channel_id": 3, "speaker_name": "佐藤", "transcription_languages": ["ja-JP"] }
    ]
  }
}

成功回應：session_started 的 data 會帶回 channel_mode 與 channels[]（每路含 channel_id、speaker_name、transcription_languages、status；shared 模式不帶 transcription_languages）。各路初始 status 為 preparing，該路辨識出第一句時透過 channel_status 事件轉為 ready。

注意：請務必檢查 session_started 是否帶回 channel_mode：這是確認伺服器確實以多聲道模式啟動的訊號。若回應中沒有 channel_mode，代表伺服器不支援多聲道，channels[] 已被忽略、實際只跑單路。

多聲道其他行為：

audio 的每一幀都必須帶 channel_id（見 audio）
錄音中可透過 add_channel／remove_channel 動態增減聲道、set_channel_language 變更單路語言；set_speaking_speed 也支援多聲道（見該章節）
rename_speaker 可正常使用（可在該路開口前先改名）；新名稱不可與其他聲道的名稱重複（含各聲道在 start 時設定的名稱），重複會回 speaker_name_duplicate。reassign_speaker 與 merge_speakers 不適用於多聲道（語者身分由聲道決定，無重新指派的空間），會回 speaker_op_not_allowed_multi_channel
pause／resume：暫停期間錄音檔照常保存、不出字；恢復後暫停期間講的話會補轉錄（時間戳落在實際講話時刻）。補轉錄有上限——全場共 60 秒的尾段（per_channel 多路時平分到各路；shared 為整條最後 60 秒，所有聲道一起補、語者照標），超過的部分僅存於音檔。暫停瞬間講到一半的句子可能不會出現在逐字稿（與單路一致）；若該句確實沒有留下，恢復時會另外收到 segment_discarded（reason: "resumed"）
result 事件的 origin 會帶 channel_id 與 speaker_id（格式 channel_{N}）；逐字稿每句也帶 channel_id（詳見回應事件）
吃到飽方案需含多聲道功能；方案可另設聲道路數上限，超過會在 start／add_channel 當場回 plan_feature_not_allowed（details.field 為 max_stt_streams）
計費：語音辨識＋語者分離為基礎，per_channel 另按當下聲道路數加價；shared 固定以 1 路採計，詳見計費說明

shared 模式（v1.21.0）：

請求範例：

{
  "type": "voice-translation",
  "data": {
    "action": "start",
    "type": "transcribe",
    "recognition_mode": "multi_channel",
    "channel_mode": "shared",
    "transcription_languages": ["zh-TW", "en-US"],
    "audio_format": "pcm",
    "channels": [
      { "channel_id": 1, "speaker_name": "主持人" },
      { "channel_id": 2, "speaker_name": "來賓 A" },
      { "channel_id": 3, "speaker_name": "來賓 B" }
    ]
  }
}

客戶端必須遵守：

同一時刻只送一路：只送目前發言者那一路的 audio。同時送多路時，各路聲音會依收到的順序排進同一條辨識，逐字稿會錯亂（計費不受影響）。
持續送靜音：沒有人說話時，目前那一路也要持續送靜音（建議每 100ms 一幀），不要停送。
僅 pcm（同多聲道共通規則）。
語言全場共用：各路不可指定 transcription_languages（回 channel_language_not_allowed）；錄音中不能變更語言（set_channel_language 回 channel_language_not_allowed）。
第一路不可移除：channels[] 的第一路承載全場的辨識，remove_channel 會回 channel_remove_not_allowed；其他路可移除。

聲道狀態：

其他聲道的 status 跟著第一路：第一路轉 ready 時全部一起轉 ready；第一路重新準備辨識（暫停恢復、斷線續接、自動重連）時全部一起回到 preparing，每一路各收到一則 channel_status，reason 與第一路相同。斷線續接時的 preparing 由 resume_ok 的快照帶回，不另送事件。
add_channel 新增的聲道直接套用第一路當下的狀態；removed 依各路自己的狀態。
第一路變成 error 時，其他聲道也一起變成 error（reason 相同）；第一路恢復時一起恢復。
session_started 與 resume_ok 的 channels[] 快照依同一規則；每路不帶 transcription_languages。

已知限制：

換人的間隔小於約 0.8 秒時，前後兩人的話可能被併成一句，整句只標一個語者。
語者依聲道標記決定，在輪流發言的情境下準確度高；reassign_speaker、merge_speakers 不適用，無法事後修正。

TTS 播放模式說明

模式	說明	行為
`sync`	同步模式（預設）	自動播放最新的 `is_final=true` 翻譯句子，若前一句仍在播放則進入佇列等待
`async`	非同步模式（手動控制）	用戶可選擇任何已翻譯的句子進行 TTS，使用 `tts_play` 指令控制

長時間沒有語音時自動結束

錄音連續一段時間沒有辨識出任何文字（包含尚未定稿的中間結果），會自動結束，避免忘記停止的錄音持續計費。

預設門檻為 900 秒（15 分鐘），可用 silenceTimeoutSeconds 逐場調整；結束前約 2 分鐘會先送出一次預警。
辨識出文字就從 0 重新計時；resume 與 start_speaking 也會重新計時。
以下情況不計時：
- 暫停中：恢復後從 0 重新計時。暫停期間照常計費，要停止計費請結束錄音。
- 斷線等待續接的期間：續接後接著原本的秒數計算。
- 廣播（type: "broadcast"）：整場都不會因為沒有語音而結束。預備階段另有時間上限，見廣播功能指南。
多聲道：所有聲道都沒有辨識出文字才算；單一聲道沒有聲音不會結束錄音。
互譯手動模式：沒有按下說話時辨識到的聲音，也會重新計時。

silenceTimeoutSeconds 的值（start 的 data 頂層，選填）

值	效果
不帶，或 `null`	使用預設門檻
`0`	這一場不會因為沒有語音而自動結束，適合長時間開著、可能長時間沒人說話的場合
60～86400 的整數	這一場的門檻秒數
其他值	`start` 被拒絕，錯誤碼 `invalid_parameter`（`details.field` 為 `silenceTimeoutSeconds`），錄音不會開始

必須是 JSON 整數：字串（例如 "900"）、小數寫法（例如 900.0、1e3）、布林值都會被拒絕。
參數名稱是 silenceTimeoutSeconds；寫成 silence_timeout_seconds 會被拒絕（details.field 為 silence_timeout_seconds），不會被忽略。
廣播帶合法的值不會生效，但不合法的值一樣會被拒絕。
門檻在 120 秒以下時不會送出預警，時間到就直接結束。
斷線續接會沿用原本的設定；開始新的一場錄音時要再帶一次。

會收到的事件

stt_silence_warning（error 事件，severity: "warning"）：預警，錄音照常進行。details.silenceSeconds 為已經持續的秒數，details.remainingSeconds 為剩下的秒數。不要當成錄音結束；辨識出文字、或恢復錄音，就會重新計時。
stt_silence_timeout（severity: "fatal"）：錄音已自動結束。details.silence_seconds 為判定的門檻秒數。
接著依序收到 status: "ended" 與 task_complete，和客戶端送出 stop 相同：錄音照常保存、產生摘要，計費算到結束為止。

{
  "type": "error",
  "data": {
    "error_code": "stt_silence_warning",
    "severity": "warning",
    "message": "No speech detected for a while; the recording will end automatically soon",
    "context": "stt",
    "request_id": "req_abc123xyz789",
    "timestamp": "2026-09-25T10:28:00.000Z",
    "details": {
      "silenceSeconds": 780,
      "remainingSeconds": 120
    }
  }
}

收到 stt_silence_timeout 後請停止送出音訊；之後送達的音訊會各回一則 session_not_started，可以忽略。

錯誤碼	HTTP 狀態碼	說明	處理建議
`missing_transcription_languages`	400	未提供語言參數	確認請求包含 `transcription_languages`
`invalid_transcription_language`	400	無效的語言代碼	確認語言代碼格式正確（如 `zh-TW`）
`too_many_languages`	400	語言數量超過上限	轉錄語言最多 10 種、翻譯語言最多 12 種
`invalid_recording_type`	400	錄音類型無效	使用有效的類型值
`audio_format_unsupported`	400	`audio_format` 不支援，`details.supported_formats` 列出可用值	改用可用的音訊格式
`invalid_summary_template`	400	摘要模板無效	確認模板識別碼正確
`stt_init_failed`	503	服務初始化失敗	稍後重試
`auth_insufficient_credit`	402	點數不足	儲值點數後再使用
`auth_quota_exceeded`	402	可用點數不足，錄音未開始（即時錄音為不足一分鐘；連線不關閉；`details.remaining_budget` 為最近一次結算時的可用點數，`details.budget_scope` 說明那是誰的額度）	儲值後重新 `start`
`daily_limit_reached`	—	用量已達方案上限，錄音未開始	依方案規則重置（每日上限隔日重置）後恢復
`auth_service_error`	500	服務暫時不可用，錄音未開始（連線不關閉）	稍後重新 `start`
`service_shutdown`	—	服務正在關閉，錄音未開始，之後連線會關閉	稍後重新連線再 `start`
`tts_init_failed`	503	TTS 服務初始化失敗	稍後重試
`tts_invalid_language`	400	TTS 語言不在翻譯語言中	確認 `tts_language` 在 `translation_languages` 中
`broadcast_token_required`	400	廣播模式需要 Token	`broadcast` 類型必須提供 `broadcast_token`
`broadcast_token_invalid`	401	廣播 Token 無效	確認 Token 正確且未過期
`broadcast_not_ready`	503	廣播服務尚未啟動	稍後重試
`summary_invalid_mode`	400	`summary_mode` 不是 `builtin` / `custom`	改為合法 mode
`summary_mode_field_mismatch`	400	mode 與欄位組合不符（必填缺漏 / 禁帶被帶入）	依 mode 規則調整欄位
`summary_prompt_too_long`	400	`summary_prompt` 超過 3000 字元	縮短自訂 prompt
`summary_prompt_slug_too_long`	400	`summary_prompt_slug` 超過 64 字元	縮短識別碼
`summary_prompt_slug_invalid`	400	`summary_prompt_slug` 含控制字元（`\n` / `\r` / `\t` / `\0` 等）	移除控制字元
`invalid_recognition_mode`	400	辨識模式無效，或多聲道功能未在此環境開通（v1.10.0）	確認 `recognition_mode` 值；多聲道需先開通
`channel_mode_required`	400	多聲道未指定 `channel_mode`（v1.10.0）	提供 `channel_mode`（`per_channel` 或 `shared`）
`invalid_channel_mode`	400	`channel_mode` 不是 `per_channel` 或 `shared`；`shared` 在此環境未開通時也回此錯（v1.10.0）	修正 `channel_mode`；未開通時改用 `per_channel`
`channel_language_not_allowed`	400	`shared` 模式的聲道帶了 `transcription_languages`（v1.21.0）	移除各路的 `transcription_languages`
`channels_required`	400	多聲道未提供 `channels`（v1.10.0）	提供 1～8 路聲道設定
`too_many_channels`	400	聲道數超過上限 8（v1.10.0）	減少聲道數
`invalid_channel_id`	400	`channel_id` 超出值域（1～8）或重複（v1.10.0）	修正 `channel_id`
`channel_language_required`	400	某聲道未指定恰好一種語言（v1.10.0）	每路 `transcription_languages` 帶恰好 1 個
`channel_language_mismatch`	400	各聲道語言聯集與 `transcription_languages` 不一致（v1.10.0）	對齊兩份語言清單
`speaker_name_duplicate`	422	兩路以上使用相同的 `speaker_name`（v1.10.0）	每一路的名稱必須不同（不帶名稱則不受限）
`multichannel_requires_pcm`	400	多聲道僅支援 `pcm` 音訊格式（v1.10.0）	`audio_format` 改用 `pcm`
`multichannel_tts_not_allowed`	400	多聲道不支援語音合成（v1.10.0）	關閉 `tts_enabled`
`multichannel_broadcast_not_allowed`	400	廣播不支援多聲道（v1.10.0）	廣播改用 `multi_speaker` 或 `single`
`invalid_parameter`	400	多聲道與 `conversation` 或 `speaker_diarization` 同時指定，或 `speaker_name` 超長／含控制字元（v1.10.0）；`silenceTimeoutSeconds` 的值或名稱不合法、`broadcast_phase` 的值不合法、非 `broadcast` 類型帶 `broadcast_token`（v1.18.0）；`name` 超過 60 字元、`summary_language` 超過 20 字元，或 `options.speaking_speed`、`options.profanity_handling`、`conversation_mode`、`tts_mode` 的值不在可用清單內（v1.24.0，`details.valid_values` 列出可用的值）	依 `details.field` 修正參數
`plan_feature_not_allowed`	403	方案不含多聲道，或聲道數超過方案路數上限（`details.field` 為 `max_stt_streams`，v1.10.0）	減少聲道或升級方案

欄位	類型	必填	說明
`correct`	string	是	正確詞彙
`incorrect`	string[]	條件	錯誤變體列表，每項最多 200 字元。中文術語可以省略（見下方說明）；其他情況必填，空陣列會回 `config_invalid_entry`（`reason: "empty"`）
`case_insensitive`	boolean	否	本條規則的變體是否忽略大小寫（預設 `false` = 嚴格比對）

區塊	欄位	預設值	預設行為
`fuzzy_correction`	`case_insensitive`	`false`	嚴格（區分大小寫）
`translation_dict`	`case_sensitive`	`false`	寬鬆（不分大小寫）

錯誤碼	HTTP 狀態碼	說明	處理建議
`config_empty`	400	未提供任何設定。注意：空物件 `{}` 不算「有帶」 —— 送 `{"terminology": {}, "fuzzy_correction": {}, "translation_dict": {}}` 會命中此錯誤	至少提供一個有內容的設定項目；若要清空某個語言的字庫，請送 `{"語言代碼": []}`（例如 `{"zh-TW": []}`）
`config_term_too_long`	400	術語超過 100 字元	縮短術語長度
`config_too_many_entries`	400	術語筆數超過 500，或模糊詞校正規則超過 4000（皆為所有語言合計）	減少術語或校正規則
`config_too_many_dict_entries`	400	翻譯字典單一語言超過 3000 條目（`details.language` 指出是哪個語言）	減少該語言的字典條目
`config_invalid_entry`	400	字庫條目的欄位不合法（`details` 帶 `language`、`index`、`field`、`reason` 供定位，視情況另帶 `variant_index`、`max_length`、`count`／`max`）	依 `details` 指出的位置修正該條目