Describe the bug

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢

Expected behaviour

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢

To Reproduce

No response

Environment Details

No response

Relevant Log Output

Additional Context

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢