Die Beschriftung von Bildern mit Audiodaten hat sich als anspruchsvolle, aber vielversprechende Aufgabe im Bereich des Deep Learning herausgestellt. Dieses Papier schlägt einen neuartigen Ansatz zur Bewältigung dieser Aufgabe durch die Integration von Convolutional Neural Networks (CNNs) für Bild Feature-Extraktion und rekurrente neuronale Netze (RNNs) für sequentielle Audio-Analyse.

Konkret nutzen wir vortrainierte CNNs wie VGG, um visuelle Merkmale aus Bildern zu extrahieren, und verwenden Spektrogrammdarstellungen in Verbindung mit RNNs wie LSTM oder GRU, um Audioeingaben zu verarbeiten. Das von uns vorgeschlagene Modell basiert nicht nur auf dem visuellen Inhalt, sondern auch auf den begleitenden Audiohinweisen.

Wir evaluieren die Leistung unseres Modells anhand von Benchmark-Datensätzen und demonstrieren seine Effektivität bei der Generierung kohärenter und kontextuell relevanter Bildunterschriften für Bilder mit entsprechenden Audioeingaben. Zusätzlich führen wir Tabellierungsstudien durch, um den Beitrag jeder Modalität zur Gesamtleistung der Beschriftung zu analysieren.

Unsere Ergebnisse zeigen, dass die Fusion von visuellen und auditiven Modalitäten die Qualität der Beschriftung im Vergleich zur isolierten Verwendung einer der beiden Modalitäten deutlich verbessert. .