In der kunsthistorischen Forschung ist die eingehende und umfassende Auseinandersetzung mit Quellenmaterial verschiedenster Natur ein aufwendiger und anspruchsvoller Schritt, um ein ganzheitliches Verständnis des Forschungsgegenstandes zu erlangen. Dabei ist neben dem Inhalt der Quellen auch ihre Verlässlichkeit und ursprüngliche Intention relevant. Annotationen können dabei behilflich sein, verhältnismäßig schnell einen Überblick über den Inhalt einer Quelle zu bekommen, sowie Widersprüche und Zusammenhänge hervorzuheben. Dieser Beitrag zeigt auf, welches Potential die Verknüpfung von multimodalen Daten mittels Annotationen bietet. Dazu wird skizziert welche Arbeitsschritte für die Annotierung von 3D-Modellen, Bildern und Texten nötig sind und welche Möglichkeiten der Automatisierung sich aktuell abzeichnen. Verschiedene Anwendungsszenarios für eine Forschungsplattform verdeutlichen Einsatzmöglichkeiten für die Forschung in der Kunst- und Architekturgeschichte.