Создание подписей к изображениям с помощью аудио стало сложной, но перспективной задачей в области глубокого обучения. В данной работе предлагается новый подход к решению этой задачи путем объединения конволюционных нейронных сетей (CNN) для извлечения признаков изображения и рекуррентных нейронных сетей (RNN) для последовательного анализа аудио.

В частности, мы используем предварительно обученные CNN, такие как VGG, для извлечения визуальных признаков из изображений и используем представления спектрограмм в сочетании с RNN, такими как LSTM или GRU, для обработки аудиовходов. Предлагаемая нами модель основывается не только на визуальном содержании изображений, но и на сопутствующих аудиосигналах.

Мы оцениваем производительность нашей модели на эталонных наборах данных и демонстрируем ее эффективность в генерации связных и контекстуально релевантных подписей к изображениям с соответствующими аудиовходами. Кроме того, мы проводим анализ вклада каждой модальности в общую производительность создания титров.

Наши результаты показывают, что объединение визуальной и слуховой модальностей значительно улучшает качество создания титров по сравнению с изолированным использованием одной из модальностей. .