Audiovisuelle Übersetzung
Während der Arbeit mit Audiosoftware wie Logic oder Ableton begegnen dem Nutzer häufig digital aufgezeichnete Audiowellen. Sie sind wichtig, um bestimmte Impulse oder Rhythmen im Audiomaterial zu erkennen oder zu verändern. Im Falle von aufgenommener Sprache sind diese Wellen ein fast perfektes Abbild der durch Luftschwingungen übertragenen sprachlichen Kommunikation des Menschen. Dies finde ich faszinierend, da hier deutlich wird wie naturhaft-abstrakt geformt diese Signale, die das Ohr bzw. das Gehirn sofort versteht, eigentlich sind. Mithilfe einer Kamera und einem Lautsprecher habe ich im Rahmen dieses Projekts versucht, eine momenthafte Darstellung der Audiowellen einzelner Wörter im echten Raum zu entwickeln. Hiervon ausgehend wurde untersucht, ob diese Art der Darstellung von Sprache auch eine Übersetzung sein kann. Welche Informationen sind den entstandenen Bildern zu entnehmen und könnte man lernen sie zu lesen?
Audiovisual Translation
While working with Digital Audio Workstations like Logic or Ableton one often encounters digitally produced images of audio waves. These are useful for analysing or manipulating specific impulses and rhythms in the source material. In the case of the recorded human voice they serve as an almost perfect image of our communication through the use of sound waves. The abstract and morphogenetic nature of these images and the fact, that the human ears and brain are capable of instantly understanding these signals, fascinates me. In the course of this semester I tried to develop a way of capturing the audio waves of specific words in realtime with a speaker and a camera. Based on the results I tried to determine if the images could be viewed as a translation of the spoken word. Could one learn to read them and what kind of information do they contain?
