在线语音服务 API

说明：

以下请求的请求头中必须包含 Authorization: .

用真实值替换，可向管理员申请

TTS（Text2Speech）

支持音色

HTTP API

http://api.mthreads.com

接口说明

/tts/api/v1/generate

请求参数

类型：json

{
    "text": "这是一个端到端的中文语音合成系统",
    "voice": "boyten",
    "format": "wav",
    "sample_rate": 22050,
    "volume": 50,
    "speech_rate": 0,
    "pitch_rate": 0,
    "energy_rate": 0
}

返回结果

音频数据

请求示例

curl --location 'http://api.mthreads.com/tts/api/v1/generate' \
--header 'Content-Type: application/json' \
--header 'Authorization: Your token' \
--data '{
    "text": "这是一个端到端的中文语音合成系统",
    "voice": "boyten",
    "format": "wav",
    "sample_rate": 22050,
    "volume": 50,
    "speech_rate": 0,
    "pitch_rate": 0,
    "energy_rate": 0
}'

Grpc Endpoint

api.mthreads.com:53966

Proto

文件包：

请查看附件《tts.zip》

参数说明

详细说明见proto注释

时序图

一次tts请求的处理时序如下：

示例代码

文件包

请查看附件《tts_grpc_client.zip》

示例代码

# 解压文件
unzip tts_grpc_client.zip && cd tts_grpc_client
# 配置python环境
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple protobuf==3.20.1 grpcio==1.42.0 --ignore-installed
# 发送请求
python3 grpc_client.py --address '101.200.38.222:60377' --voice 'boyten' --text '轻轻的，我走了。正如我轻轻的来'
收到第1子句的语言学时间戳信息(0.0 -> 1.89).
收到第1子句的第1段音频，音频长度1.8905215419501133s
收到第2子句的语言学时间戳信息(1.89 -> 3.523).
收到第2子句的第1段音频，音频长度1.6351020408163266s
dump synthesized audio [3.52562358276644]s to path ./gRPCClient.wav
dump synthesized linguistic meta to path [./gRPCClient.csv]

流式ASR（Automatic Speech Recognition）

流式ASR使用WebSocket接口

使用要求

WebSocket URL

wss://api.mthreads.com/api/v1/asr

鉴权方式

在WebSocket连接的连接头（header）中加入：

{"Authorization": your_token}

交互流程

在流式识别中，随着用户传输数据，服务端不断返回结果，直到用户发送StopTranscription后，服务端返回TranscriptionCompleted。

用户发送StopTranscription后，需等待服务端返回所有剩余结果。服务端会继续识别已接收到的所有数据，待所有数据处理完成并将结果返回给用户后，再断开与用户的连接。

若用户在StopTranscription后发送任何信息，服务端都会返回错误信息。
:::

交互流程说明

阶段1：建立连接并设置参数

1. 客户端向服务端发送开始转录（StartTranscription）的请求，在该请求中，客户端需要指定识别过程中使用的相关参数

2. 服务端收到开始转录的请求后，会进行鉴权并初始化资源，完成后向客户端发送识别开始（TranscriptionStarted）的信息。

3. 以上步骤完成后，客户端可以开始向服务端发送待识别音频

阶段2：实时识别

1. 客户端将音频数据以二进制的形式向服务端发送

2. 服务端收到二进制音频数据后，开始进行流式识别：

   1. 当收到新一句话开始的音频数据后，会向客户端返回一句话开始（SentenceBegin）的信息。

   2. 当收到更多音频数据，直到识别的内容发生改变时，服务端会向客户端发送识别结果变化（SentenceChanged）的信息。在该结果中，服务端仅发送当前句子已被识别出的内容。注意：每次识别结果发生变化时，并不一定是多识别出了一个字，有可能是多了几个字或者是句子中之前的识别结果发生改变。

   3. 在识别一句话的过程中，识别结果变化的信息会发送多次

   4. 服务端自动检测到一句话说完后，会向客户端发送一句话识别结束（SentenceEnd）的信息。至此，一句话的内容识别完成

   5. 当客户端继续发送数据时，服务端会持续进行上述步骤，即循环返回一句话开始、识别结果变化、一句话识别结束

阶段3：停止识别

1. 当客户端需要停止识别过程时，向服务端发送结束识别（StopTranscription）的请求

2. 服务端停止识别并释放资源，并向客户端发送识别完成（TranscriptionCompleted）。至此整个交互过程完成。

发送请求

发送的请求主体分为文本和二进制两种格式。除发送音频数据采用二进制格式外，其余采用JSON编码的文本格式，并分为主体头（header）和主体内容（payload）两部分。

发送请求时使用相同的header格式，说明如下：

开始转录（StartTranscription）

开始识别，用于传输相关配置。其header部分如上所述，payload部分说明如下

示例

{
  "header":{
    "appid":"76e81efb964447",
    "type":"StartTranscription"
  },
  "payload":{
    "format":"pcm",
    "domain":"general",
    "language":"cn",
    "vocabulary_id":null,
    "lm_id":null,
    "enable_punctuation":true,
    "enable_itn":true,
    "remove_disfluency":true,
    "enable_speaker_info":false,
    "nbest":1,
    "show_confidence":true,
    "show_intermediate_result":true,
    "enable_semantic_sentence_detection":true,
    "special_word_filter":""
  }
}

发送音频数据（SendData）

直接发送二进制音频数据。

结束识别（StopTranscription）

在header中将name设置为"StopTranscription"，payload为空

{
  "header":{
    "appid":"76e81efb964447",
    "type":"StopTranscription"
  }
}

返回信息

返回信息的主体均采用JSON编码的文本，同样分为主体头（header）和主体内容（payload）两部分。返回信息使用相同header形式，说明如下：

识别开始（TranscriptionStarted）

在header中type为“TranscriptionStarted”，payload为空

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"TranscriptionStarted",
    "status":1000,
    "status_text":"Success."
  }
}

一句话开始（SentenceBegin）

在header中type为“SentenceBegin”，payload格式如下：

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"SentenceBegin",
    "status":1000,
    "status_text":"Success."
  },
  "payload":{
    "index":1
  }
}

句子识别结果变化（SentenceChanged）

注意：

该部分内容仅在show_intermediate_result=true时才会输出

在header中type为“SentenceChanged”，payload中的字段如下：

每个result元素包含以下内容：

每个词级别信息包含以下内容：

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"SentenceChanged",
    "status":1000,
    "status_text":"Success."
  },
  "payload":{
    "index":1,
    "start_time":0,
    "end_time":1135,
    "result":[
      {
        "text":"摩尔线",
        "confidence":0,
        "words":[
          {
            "text":"摩",
            "start_time":430,
            "end_time":870
          },
          {
            "text":"尔",
            "start_time":870,
            "end_time":990
          },
          {
            "text":"线",
            "start_time":990,
            "end_time":1135
          }
        ]
      }
    ]
  }
}

一句话识别结束（SentenceEnd）

在header中type为"SentenceEnd"，payload字段如下：

每个result元素包含以下内容：

每个词级别信息包含以下内容：

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"SentenceEnd",
    "status":1000,
    "status_text":"Success."
  },
  "payload":{
    "index":1,
    "start_time":0,
    "end_time":1430,
    "speaker":0,
    "result":[
      {
        "text":"摩尔线程",
        "confidence":0,
        "words":[
          {
            "text":"摩",
            "start_time":430,
            "end_time":870
          },
          {
            "text":"尔",
            "start_time":870,
            "end_time":990
          },
          {
            "text":"线",
            "start_time":990,
            "end_time":1140
          },
          {
            "text":"程",
            "start_time":1140,
            "end_time":1430
          }
        ]
      }
    ]
  }
}

识别完成（TranscriptionCompleted）

在header中的type为“TranscriptionCompleted”，payload为空

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"TranscriptionCompleted",
    "status":1000,
    "status_text":"Success."
  }
}

识别错误（Warning/Error）

在header中type为"Warning"或"Error"，payload为空

若错误类型为"Warning"，用户可以继续交互流程，连接被保持；

若错误类型为"Error"，本次交互流程直接结束，连接断开。

示例

{
  "header":{
    "taskid":"4c0d4443fcd34567b42e028a54400e40",
    "type":"Error",
    "status":3002,
    "status_text":"service timeout"
  }
}

示例代码

Python

使用前先安装MT ASR的python库

pip install mtasr

示例代码：https://github.com/yiliu-mt/mtasr_examples/tree/main/realtime_streaming_asr

具体使用方法见README

C++

代码编译与使用说明：

https://github.com/yiliu-mt/mtasr_examples_cpp

语音转换(Non-streaming)

HTTP API：http://api.mthreads.com

支持音色

使用限制

接口说明

/vc/api/v1/voices

返回当前音色列表&元数据

请求参数

无

返回结果

[
  {
    "voice_id": "xiaoling",
    "nickname": "晓凌",
    "voice_type": "甜美女声",
    "gender": "Female",
    "avatar_url": "/static/img/sweet_female.png",
  }
]

/vc/api/v1/generate

对指定目标音色进行语音转换

请求参数

http请求包括两部分参数：

• payload：在该字段内制定请求音频的相关配置，包括（voice, encoding, rate, source_encoding等)

• data 字段为将音频二进制文件按照 base64 格式编码（标准base64，RFC 4648）的文本

返回结果

• 正常：

  • HTTP status code 是 200

  • content 返回二进制音频数据。

• 错误：

  • HTTP status code 非 200

  • content 返回 error message。

错误码

示例代码

import requests
import base64
  
api_address = "http://ip:port/vc/api/v1/generate"
  
with open("demo.wav", "rb") as f:
    data = f.read()
    data = base64.b64encode(data).decode('utf-8')
  
audio_config = {
    "voice": "xiaoling",
    "encoding": "wav",  # 输出 format，默认 wav
    "rate": 48000,  # 输出 采样率，仅 48000
    "source_encoding": "wav",  # 输入 format，默认 wav
}
  
request_payload = {
    "payload": audio_config,
    "data": data
}
resp = requests.post(api_address, json=request_payload, timeout=(3, 30))
  
if resp.status_code == 200:
    print("Save converted wav content to {}".format("demo_out.wav"))
    open("demo_out.wav", "wb").write(resp.content) # 将收到的音频写入demo_out.wav文件
elif resp.status_code == 400:
    print("Received a client error! [{}]".format(resp.content))
elif resp.status_code == 500:
    print("Received a server error! [{}]".format(resp.content))
else:
    print("Received a unknown status code [{}] with content [{}]".format(resp.status_code, resp.content))

语音转换（Streaming）

Grpc Endpoint

api.mthreads.com:53966

支持音色

使用限制

Proto

请查看附件《service.proto》

参数说明

发送请求

1. 开始转换，配置参数

2. 发送语音数据

3. 结束转换

断开gRPC链接

接收响应

时序图

示例代码

请查看附件《stream_vc_grpc_client.zip》

:::
通过“--voice”指定目标音色

参数中“--simulate_delay”表示是否模拟用户使用时的发包间隔。如果为False，则连续发送所有数据
:::

python grpc_stream_demo.py \
  --hostname 101.200.38.222 \
  --port 61742 \
  --voice xiaoling \
  --chunk_size 500 \
  --simulate_delay true \
  --input_wav demo.wav \
  --output stream_demo_out.wav