aria tech blog

深層学習に関する調べものなどをまとめます

論文解説:Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining

目次

論文情報

arxiv[1912.06813] Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
demo : Voice Transformer Network: Sequence-to Sequence Voice Conversion using Transformer with Text-to-Speech Pretraining

概要

本手法では、TTS(text-to-speech)タスクによる事前学習を用いた、Transformerベースの1対1seq2seq音声変換モデルを提案しています。

音声変換タスクにおいて、RNNやCNNをベースとしたseq2seqモデルは多く提案されていますが、自然言語の分野で用いられることの多いTransformerをベースとした音声変換の手法は未だ提案されていません。
加えて、現状seq2seqモデルを音声変換タスクに用いること自体、学習に必要なデータ量が非常に多いことや変換された音声の品質が悪いことから、実用には程遠いと言えます。
本研究では、大規模かつ利用しやすいTTSコーパスを利用して学習を行ったTTSモデルから、音声変換タスクへと知識を伝達する学習手法を提案しています。
事前学習されたモデルパラメータを用いて初期化された音声変換モデルは、高忠実度で明瞭度の高い音声の隠れ表現を生成することが可能としています。
結果として、提案する学習手法がデータ効率の良い学習を促進し、明瞭度、自然性、類似性の点で既存のseq2seq音声変換モデルよりも優れていることを示しました。

提案手法

本手法では、TTSタスクから音声変換タスクへ転移学習を行う学習手法と、そのモデルであるVoice Transformer Networkを提案しています。

以下では、TTSの枠組みであるseq2seq TTSの簡単な解説を行った後、本手法の解説をします。

sequence-to-sequence TTS

seq2seqのTTSでは入力特徴列  { \boldsymbol{x}_{1:n} = (\boldsymbol{x}_1, ..., \boldsymbol{x}_n)} から、目標特徴列  {\boldsymbol{y}_{1:m} = (\boldsymbol{y}_1, ..., \boldsymbol{y}_m)} を生成します。
RNNやLSTMベースの手法では入力と出力の系列長が一致する必要がありましたが、seq2seqの場合は必ずしも両者の系列長が一致している必要はありません。
(i.e,  n \not= m

seq2seqのモデルの多くはエンコーダ・デコーダ構造となっており、近年の研究ではattention機構が組み込まれたモデルが提案されています。 エンコーダにより、入力として与えられた {\boldsymbol{x}_{1:n}} が隠れ表現 {\boldsymbol{h}_{1:n}} = (\boldsymbol{h}_1, ..., \boldsymbol{h}_n) にマップされます。 またデコーダは自己回帰的に\boldsymbol{y}_tを生成します。 \boldsymbol{h}_{1:n}の重み付きベクトル和がcontextベクトル\boldsymbol{c}_tとして計算されます。 ここで、重みは注意確率ベクトル\boldsymbol{a}_t = (a_{t}^{(1)}, ..., a_t^{(n)})として表現されます。 注意確率ベクトルのそれぞれの要素a_t^{(k)}は、隠れ表現 {\boldsymbol{h}_{k}}の時刻tにおける重要度を表していると考えることができます。 デコーダはcontextベクトル\boldsymbol{c}と時刻t-1までに生成された特徴列 \boldsymbol{y}_{1:t-1}を用いて、 {y_{t}}を生成します。 注意確率ベクトルaの計算、デコーダの生成にはデコーダの隠れ状態\boldsymbol{q}_{t-1}もインプットとして与えれられます。

以上の処理を定式化すると以下のようになります。

\boldsymbol{h}_{1:n} = Enc(\boldsymbol{x}_{1:n})

\boldsymbol{a}_t = attension(\boldsymbol{q}_{t-1}, \boldsymbol{h}_{1:n})

\boldsymbol{c}_t = \sum_{k=1}^n a_t^{(n)}\boldsymbol{h}_k

\boldsymbol{y}_t, \boldsymbol{q}_t = Dec(\boldsymbol{y}_{1:t-1}, \boldsymbol{q}_{t-1}, \boldsymbol{c}_t)

TTSと音声変換のタスクは(特にデコーダの処理内容が)似ているため、転移学習的なアプローチを行えないだろうか?というのが本研究のテーマとなります。

Transformer-based TTS

本手法では、自然言語処理の文脈で猛威を奮っているTransformer[3]をベースとしたモデルを用いています。
多くの方が解説記事を書いてくださっているため、ここではTransformer自体に関しての解説はしません。 自分が日本語の解説記事を読んでいた際は、こちらの方の記事がとても参考になりました。 deeplearning.hatenablog.com

以下では、本手法で提案しているVoice Transformer Networkと、そのベースモデルであるTransformer-TTSについて解説します。

f:id:ariacat3366:20201007115037p:plain:w350
Transformer-TTS(VC)の概要

上記はTransformer-TTSとVoice Transformer Networkの概要図です。

Transformer-TTSは、TransformerにTacotron2のアーキテクチャを結合したような構造となっています。
Transformerとの変更点として、エンコーダ側とデコーダ側にTacotron2由来のPre Netが追加されています。
また、TTSタスクの入力であるテキスト系列とVCタスクの入力であるスペクトログラムでは空間のスケールが異なるため、学習可能な重みを持つ位置埋め込み(Scaled Positional Encodings)を導入しています。
出力側では、音響特徴量を生成するための線形投影と、ストップトークンを予測するための線形投影のためのレイヤが追加されています。
また、最近年提案されているTTSモデルの多くで、5層のCNNで構成されるPost Netで残差を予測し、最終出力に足し合わせることで品質を高めるという手法を用いており、本手法においても同様のアーキテクチャを採用しています。

本手法ではこのアーキテクチャを用いてTTSタスクの学習を行い、転移学習として音声変換タスクを学習します。

学習について

本項では、本手法の学習について解説します。

f:id:ariacat3366:20201007114951p:plain:w500
学習の概要

上記はVoice Transformer Networkの一連の学習フローの概要図です。
学習で用いるデータセットについてですが、小規模のパラレル音声コーパス\boldsymbol{D}_{VC} = (\boldsymbol{S}_{src}, \boldsymbol{S}_{target})、そして大規模なTTSコーパス\boldsymbol{D}_{TTS} = (\boldsymbol{T}_{TTS}, \boldsymbol{S}_{TTS})がそれぞれ使用可能であるとします。
ここで、\boldsymbol{S}_{src}, \boldsymbol{S}_{target}はそれぞれソース、ターゲット話者の音声を指し、\boldsymbol{T}_{TTS}, \boldsymbol{S}_{TTS}はそれぞれTTSコーパスのテキストと音声を指します。
本手法では、\boldsymbol{D}_{TTS}を第一段階の事前学習に、\boldsymbol{D}_{VC}を第二段階の適応学習に用います。

Decoder pretraining

まず、\boldsymbol{D}_{TTS}を用いてTransformer-TTSを普通に学習します。
このフェーズで、音韻情報が押し込まれた隠れ特徴空間\boldsymbol{H}から音声を生成するデコーダ{Dec}_{TTS}^{S}が学習されます。

Encoder pretraining

次に、Decoder pretrainingで学習した{Dec}_{TTS}^{S}を用いて、エンコーダ{Enc}_{TTS}^{S}を学習します。 この時、{Dec}_{src}^{S}の重みはフリーズします。
{Enc}_{TTS}^{S}アーキテクチャですが、入力が音声\boldsymbol{S}_{TTS}となるため、Transformer-TTS(VC)の概要の図で示した[VC]のアーキテクチャを用います。
このフェーズで、{Enc}_{TTS}^{S}は音声の音韻情報のみを効果的に隠れ特徴空間\boldsymbol{H}へと押し込むように学習されます。

VC model training

最後に、Decoder pretrainingで学習した{Dec}_{TTS}^{S}と、Encoder pretrainingで学習した{Enc}_{TTS}^{S}の重みで{Dec}_{VC}^{S}{Enc}_{VC}^{S}初期化し、\boldsymbol{D}_{VC}を用いて学習を行います。
既に事前の学習で音声変換タスクに対して非常に適応しやすい重みを獲得しているため、スクラッチから学習を行う場合と比較して半分の時間で学習が収束するとしています。

実験

本論文では、転移学習の効果を比較するための実験と、ベースラインとの品質の比較をするための実験の2つの実験を行っています。

転移学習の効果を比較するための実験では、異なるサイズの教師データを用いて学習した場合の品質比較、またデコーダとエンコーダの事前学習を行わなかった場合の品質比較を行っています。
ここでの教師データというのはVC model trainingに用いるパラレルの音声データのことを指しており、事前学習では大規模なTTSコーパスを用いて学習していると考えられます。

ベースラインとの品質の比較をするための実験では、ATTS2S[5]というTacotronベースの手法との品質比較を行っています。
実験条件はATTS2Sとほぼ同様ですが、本手法では変換にメルスペクトログラムを用いています。(ATTS2SではWORLD特徴量を用いています)
比較では、生成された音声の自然性と話者一致性に関しての評価を比較しています。

結果

以下は、作者が公開している本手法のデモ音声が聴けるサイトです。
demo : Voice Transformer Network: Sequence-to Sequence Voice Conversion using Transformer with Text-to-Speech Pretraining
品質の確認の際はデモを聞くことをお勧めします。

以下は、転移学習の効果を比較するための実験の結果を示した表です。

f:id:ariacat3366:20201015184430p:plain:w700
実験1の結果

教師データが少ない場合でも、ベースラインであるATTS2Sよりも高い品質の音声が生成できていることがわかります。
また、エンコーダとデコーダの事前学習が最終的な品質に大きく影響を与えていることが確認できます。

また、以下はベースラインとの品質の比較をするための実験における、ベースライン手法であるATTS2Sと提案手法(VTN)の比較表です。

f:id:ariacat3366:20201020154348p:plain
実験2の結果

提案手法がベースラインに比べて高い自然性と話者一致性を示していることがわかります。 また、教師データのサイズが非常に小規模な場合(80)においても、非常に高い自然性と話者一致性を維持していることも確認できました。

所感

この論文が公開された当初はどうだったのかわからないですが、最近ではTTSで学習したモデルを音声変換のデコーダとして用いる、もしくは転移学習により音声変換タスクに利用するという手法がそこそこ提案されていて、流行を感じます。[4]
これらの手法は、音声変換のネックとなっていた「どのようにして音声から話者性を消して、新しい話者性に上書きするか」という問題に対して、事前にテキスト→音声で学習済みのモデルを用意してあげることで、エンコーダにテキスト情報(発話情報)を獲得させることを暗に強制するという解決をしており、個人的にもとても理にかなっているアプローチだなと思っています。
デモに関しても、非常に高品質な音声へと変換ができていると感じます。
元音声の抑揚、イントネーションの情報は失われてしまいますが、それが問題ないようであれば本手法のようなTTSのモデルをVCへと流用するアプローチはとても良いなと思いました。

参考文献

  1. Huang, Wen-Chin & Hayashi, Tomoki & Wu, Yi-Chiao & Kameoka, Hirokazu & Toda, Tomoki. (2019). Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining.

  2. N.Li,S.Liu,Y.Liu,S.Zhao,andM.Liu,“NeuralSpeechSynthesis with Transformer Network,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 6706–6713.

  3. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, 6000–6010.

  4. Zhang, Mingyang & Zhou, Yi & Zhao, Li & Li, Haizhou. (2020). Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data.

  5. K. Tanaka, H. Kameoka, T. Kaneko, and N. Hojo, “ATTS2S-VC: Sequence-to-sequence Voice Conversion with Attention and Con- text Preservation Mechanisms,” in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2019, pp. 6805–6809.