diff --git a/examples/industrial_data_pretraining/sense_voice/README.md b/examples/industrial_data_pretraining/sense_voice/README.md index 42065ad18b..737659ffff 100644 --- a/examples/industrial_data_pretraining/sense_voice/README.md +++ b/examples/industrial_data_pretraining/sense_voice/README.md @@ -6,10 +6,10 @@ SenseVoice is a speech foundation model with multiple speech understanding capabilities, including automatic speech recognition (ASR), spoken language identification (LID), speech emotion recognition (SER), and audio event detection (AED).
- +
-[//]: # (
) +[//]: # (
)

@@ -56,7 +56,7 @@ Online Demo: We compared the performance of multilingual speech recognition between SenseVoice and Whisper on open-source benchmark datasets, including AISHELL-1, AISHELL-2, Wenetspeech, LibriSpeech, and Common Voice. In terms of Chinese and Cantonese recognition, the SenseVoice-Small model has advantages.
- +
## Speech Emotion Recognition @@ -64,13 +64,13 @@ We compared the performance of multilingual speech recognition between SenseVoic Due to the current lack of widely-used benchmarks and methods for speech emotion recognition, we conducted evaluations across various metrics on multiple test sets and performed a comprehensive comparison with numerous results from recent benchmarks. The selected test sets encompass data in both Chinese and English, and include multiple styles such as performances, films, and natural conversations. Without finetuning on the target data, SenseVoice was able to achieve and exceed the performance of the current best speech emotion recognition models.
- +
Furthermore, we compared multiple open-source speech emotion recognition models on the test sets, and the results indicate that the SenseVoice-Large model achieved the best performance on nearly all datasets, while the SenseVoice-Small model also surpassed other open-source models on the majority of the datasets.
- +
## Audio Event Detection @@ -78,7 +78,7 @@ Furthermore, we compared multiple open-source speech emotion recognition models Although trained exclusively on speech data, SenseVoice can still function as a standalone event detection model. We compared its performance on the environmental sound classification ESC-50 dataset against the widely used industry models BEATS and PANN. The SenseVoice model achieved commendable results on these tasks. However, due to limitations in training data and methodology, its event classification performance has some gaps compared to specialized AED models.
- +
## Computational Efficiency @@ -86,7 +86,7 @@ Although trained exclusively on speech data, SenseVoice can still function as a The SenseVoice-Small model deploys a non-autoregressive end-to-end architecture, resulting in extremely low inference latency. With a similar number of parameters to the Whisper-Small model, it infers more than 5 times faster than Whisper-Small and 15 times faster than Whisper-Large.
- +
@@ -360,7 +360,7 @@ For adding a new accent, language, or domain while retaining existing capabiliti python webui.py ``` -
+
## Remarkable Third-Party Work @@ -378,6 +378,6 @@ You can also scan the following DingTalk group QR code to join the community gro | FunASR | |:--------------------------------------------------------:| -|

| +| | diff --git a/examples/industrial_data_pretraining/sense_voice/README_ja.md b/examples/industrial_data_pretraining/sense_voice/README_ja.md index 721d8b1461..9a880c3372 100644 --- a/examples/industrial_data_pretraining/sense_voice/README_ja.md +++ b/examples/industrial_data_pretraining/sense_voice/README_ja.md @@ -5,9 +5,9 @@ SenseVoiceは、音声認識（ASR）、言語識別（LID）、音声感情認識（SER）、および音響イベント分類（AEC）または音響イベント検出（AED）を含む音声理解能力を備えた音声基盤モデルです。本プロジェクトでは、SenseVoiceモデルの紹介と、複数のタスクテストセットでのベンチマーク、およびモデルの体験に必要な環境のインストールと推論方法を提供します。
- +
-[//]: # (
) +[//]: # (
)

@@ -52,7 +52,7 @@ SenseVoiceは、音声認識（ASR）、言語識別（LID）、音声感情認 オープンソースのベンチマークデータセット（AISHELL-1、AISHELL-2、Wenetspeech、Librispeech、Common Voiceを含む）でSenseVoiceとWhisperの多言語音声認識性能と推論効率を比較しました。中国語と広東語の認識効果において、SenseVoice-Smallモデルは明らかな効果の優位性を持っています。
- +
## 感情認識 @@ -60,13 +60,13 @@ SenseVoiceは、音声認識（ASR）、言語識別（LID）、音声感情認 現在、広く使用されている感情認識のテスト指標と方法が不足しているため、複数のテストセットでさまざまな指標をテストし、最近のベンチマークの複数の結果と包括的に比較しました。選択されたテストセットには、中国語/英語の両方の言語と、パフォーマンス、映画、自然な会話などのさまざまなスタイルのデータが含まれています。ターゲットデータの微調整を行わない前提で、SenseVoiceはテストデータで現在の最良の感情認識モデルの効果を達成および上回ることができました。
- +
さらに、テストセットで複数のオープンソースの感情認識モデルを比較し、結果はSenseVoice-Largeモデルがほぼすべてのデータで最良の効果を達成し、SenseVoice-Smallモデルも多数のデータセットで他のオープンソースモデルを上回る効果を達成したことを示しています。
- +
## イベント検出 @@ -74,7 +74,7 @@ SenseVoiceは、音声認識（ASR）、言語識別（LID）、音声感情認 SenseVoiceは音声データのみでトレーニングされていますが、イベント検出モデルとして単独で使用することもできます。環境音分類ESC-50データセットで、現在業界で広く使用されているBEATSおよびPANNモデルの効果と比較しました。SenseVoiceモデルはこれらのタスクで良好な効果を達成しましたが、トレーニングデータとトレーニング方法の制約により、イベント分類の効果は専門のイベント検出モデルと比較してまだ一定の差があります。
- +
## 推論効率 @@ -82,7 +82,7 @@ SenseVoiceは音声データのみでトレーニングされていますが、 SenseVoice-smallモデルは非自己回帰エンドツーエンドアーキテクチャを採用しており、推論遅延が非常に低いです。Whisper-Smallモデルと同等のパラメータ量で、Whisper-Smallモデルより5倍高速で、Whisper-Largeモデルより15倍高速です。同時に、SenseVoice-smallモデルは音声の長さが増加しても、推論時間に明らかな増加はありません。
- +
@@ -339,7 +339,7 @@ bash finetune.sh python webui.py ``` -
+
## 注目すべきサードパーティの取り組み - Triton (GPU) デプロイメントのベストプラクティス：Triton + TensorRT を使用し、FP32 でテスト。V100 GPU で加速比 526 を達成。FP16 のサポートは進行中です。[リポジトリ](https://github.com/modelscope/FunASR/blob/main/runtime/triton_gpu/README.md) @@ -354,5 +354,5 @@ python webui.py | FunASR | |:--------------------------------------------------------:| -|

| +| | diff --git a/examples/industrial_data_pretraining/sense_voice/README_zh.md b/examples/industrial_data_pretraining/sense_voice/README_zh.md index 117b48f1d3..e844afaeec 100644 --- a/examples/industrial_data_pretraining/sense_voice/README_zh.md +++ b/examples/industrial_data_pretraining/sense_voice/README_zh.md @@ -5,7 +5,7 @@ SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。本项目提供 SenseVoice 模型的介绍以及在多个任务测试集上的 benchmark，以及体验模型所需的环境安装的与推理方式。
- +
@@ -58,7 +58,7 @@ SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别 我们在开源基准数据集（包括 AISHELL-1、AISHELL-2、Wenetspeech、Librispeech 和 Common Voice）上比较了 SenseVoice 与 Whisper 的多语言语音识别性能和推理效率。在中文和粤语识别效果上，SenseVoice-Small 模型具有明显的效果优势。
- +
## 情感识别 @@ -66,13 +66,13 @@ SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别 由于目前缺乏被广泛使用的情感识别测试指标和方法，我们在多个测试集的多种指标进行测试，并与近年来 Benchmark 上的多个结果进行了全面的对比。所选取的测试集同时包含中文 / 英文两种语言以及表演、影视剧、自然对话等多种风格的数据，在不进行目标数据微调的前提下，SenseVoice 能够在测试数据上达到和超过目前最佳情感识别模型的效果。
- +
同时，我们还在测试集上对多个开源情感识别模型进行对比，结果表明，SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果，而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。
- +
## 事件检测 @@ -80,7 +80,7 @@ SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别 尽管 SenseVoice 只在语音数据上进行训练，它仍然可以作为事件检测模型进行单独使用。我们在环境音分类 ESC-50 数据集上与目前业内广泛使用的 BEATS 与 PANN 模型的效果进行了对比。SenseVoice 模型能够在这些任务上取得较好的效果，但受限于训练数据与训练方式，其事件分类效果专业的事件检测模型相比仍然有一定的差距。
- +
## 推理效率 @@ -88,7 +88,7 @@ SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别 SenseVoice-small 模型采用非自回归端到端架构，推理延迟极低。在参数量与 Whisper-Small 模型相当的情况下，比 Whisper-Small 模型推理速度快 5 倍，比 Whisper-Large 模型快 15 倍。同时 SenseVoice-small 模型在音频时长增加的情况下，推理耗时也无明显增加。
- +
@@ -388,7 +388,7 @@ bash finetune.sh python webui.py ``` -
+
## 优秀三方工作 @@ -404,4 +404,4 @@ python webui.py | FunASR | |:--------------------------------------------------------:| -|
| +| | diff --git a/runtime/android/readme.md b/runtime/android/readme.md index 4bcd976534..808fe5e73b 100644 --- a/runtime/android/readme.md +++ b/runtime/android/readme.md @@ -1,6 +1,6 @@ # AndroidClient -先说明，本项目是使用WebSocket连接服务器的语音识别服务，并不是将FunASR部署到Android里，服务启动方式请查看文档[SDK_advanced_guide_online_zh.md](https://github.com/modelscope/FunASR/blob/main/funasr/runtime/docs/SDK_advanced_guide_online_zh.md)。 +先说明，本项目是使用WebSocket连接服务器的语音识别服务，并不是将FunASR部署到Android里，服务启动方式请查看文档[SDK_advanced_guide_online_zh.md](https://github.com/modelscope/FunASR/blob/main/runtime/docs/SDK_advanced_guide_online_zh.md)。 使用最新的 Android Studio 打开`AndroidClient`项目，运行即可。也可以直接下载[APK安装包](https://yeyupiaoling.cn/AndroidClient.apk)安装使用，或者使用手机扫码下载。