多模态机器翻译

1 什么是多模态翻译？

• 除文本外，有时也存在图像、视频等其他模态的信息可供使用，多模态翻译系统同时将源端文本和其他模态的信息作为模型输入，翻译系统在其他模态信息的辅助下进行翻译。（WMT在2016到2018年连续三次将多模态机器翻译作为共享任务。）
• 在多模态机器翻译中，一般是以图像为额外的模态信息，辅助翻译系统进行翻译。