2.3 功能
下面我们将讨论声音化特别具有优势的三个领域:互补性、听觉分析和科学交流。
2.3.1 互补性
文化社会学家Gerhard Schmied指出,听觉是视觉最重要的补充感官。[19] 通常,只有通过结合发挥不同功能的感知通道,才能产生有意义的解释。[20]这表明了声音化的巨大潜力:它们可以增强可视化效果,也可以对其进行补充。这一原则已经在教育科学传播中得到运用:“如果我们使用更多的‘输入渠道’,我们传达学习内容的有效性就会提高。” [21]此外,复杂的数据,比如数字人文学科中经常发现的数据,需要适当复杂的呈现方式。通过结合视觉和听觉参数,即将它们分布在多个感知通道上,可以同时呈现更高密度的信息。
感知通道的互补性还有一个优点,即视觉和听觉元素不一定必须代表相同的过程。例如,当用户操作视觉界面时,可以通过声音播放附加信息。在电脑游戏中,音效和音乐通常会根据游戏玩法动态生成。在数字人文学科中,数据库应用程序或版本可以配上交互式配乐。此外,声音化可以为视力受损的人提供探索性数据访问,否则只能通过可视化才能获得。在《为盲人用户提供的声音处理》中,立体声效果用于实现地理维度。[22]因此,出于不同的原因,交互是声音化的一个重要方面。
2.3.2 听力分析
听觉分析过程大部分是在无意识中发生的。为了充分挖掘声音化的潜力,首先需要培养更有意识的分析性聆听能力:“通过分析性聆听的过程中处理数据,可能出现一些原本无法察觉的模式。” [23]戈特弗里德·威廉·莱布尼茨在他被广泛引用的论述中已经指出,音乐是“大脑隐藏的算术,而大脑并没有意识到它的计算过程” [24]。事实上,声音化在科学上的成功往往是基于偶然发现的与预期模式不符的声音模式,从而引起人们对之前未被考虑到的现象的关注,[25]例如,罗伯特·亚历山大 (Robert Alexander) 在分析太阳风暴时就遇到了这种情况(有关更多信息,请参见第 3.2 节)。[26]这可能与“信息漫游者”的隐喻相似,后者在数据景观中漫游时会遇到一些有趣的现象。[27]
因此,我们也可以观察到›自主‹声音化的潜力,它不仅可以作为视觉界面的补充,还可以作为独立的、纯粹的听觉数据访问。这不仅使视力有限的人受益,而且还提供了充分利用耳朵的分析能力的机会,因为它对与视觉完全不同的刺激做出反应并意识到完全不同的现象。总体来说,听觉的获取还没有被如此严格地预先结构化,因此(至少到目前为止)几乎没有任何标准的方案,但却有更多的实验空间。这里需要耐心。一种声音模式最初对于听众来说似乎没有什么不寻常的,但是在经过学习过程之后,甚至在第二次聆听之后,可能会有完全不同的感受。一个智力障碍是设计一种尚未被设计用于产生特定效果或期望的声音化,但最初满足于创建一种声音表示的任务,然后可以通过纯声学的方式由耳朵进行分析 - 也就是说,没有预定义的术语。
2.3.3 科学传播
布拉德·拉斯勒认为,声音化为科学交流提供了绝佳的机会:“当数字变成声音时,研究人员可以听到眼睛未曾注意到的信息,音乐的特性可以让非科学家一眼就明白复杂系统的含义。” [28]事实上,这是声音化的另一个优势:它们可以使人类感觉器官无法感知的过程和事件变得有形,从而使普通人能够理解。其目的不在于分析数据,而在于利用声音进行媒体呈现。
这就引出了声音化的认识论方面:声音化必须达到什么程度才被认为是“客观的”?原则上,客观度量是由声音化算法提供的。只要算法记录下来并且基础数据可用,声音化仍然是可重复和透明的。然而,声音化并不能使数据像图表一样可读,而是将其传递到耳朵进行分析。用户的审美期望经常会在此产生干扰。
事实上,由于声音化与音乐的接近性,它往往以一种未指定的方式被设计,以达到美观或至少听起来有吸引力的效果。最迟在公开演示时就会发生这种情况。亚历山德拉·萨珀 (Alexandra Supper) 指出了这方面的巨大差异:
“有些声音化技术会用管弦乐的声音让听众平静下来,有些则可能会促使他们随着电子音乐的节奏翩翩起舞,而还有一些则避开任何音乐内涵,而是依靠让人联想到盖革计数器的抽象咔嗒声。” [29]
声音化通常会经过编辑以用于公开演示、准备用于视频,甚至通过乐器现场演奏。这延伸到»音乐化«的领域,其中美学占据突出地位。这在调解功能中发挥了重要作用。然而,出于科学的原因,数据的声音化应在算法上可重现,这一乌拉圭电报数据 点也很重要。因此,不应为了美观而改变基础数据。信息元素和设计元素的结合可以称为暗示性的,但就像在可视化领域一样,它是不可避免的。作曲家玛格丽特·安妮·谢德尔写道:“在当前对声音化的迷恋中,必须做出审美决定才能将数据转化到听觉领域这一事实可能会被掩盖。” [30]声音化为设计带来了新的空间,应积极加以利用。如果这能激发用户的兴趣,这就符合科学精神,只要不以牺牲透明度为代价。
3. 声音化实践
3.1 数据-声音映射:时间轴和数据点
在实践中如何将信息转化为声音?通过声音传输字符例如: B. 从摩尔斯电码中得知。您可能记得的另一件事是来自调制解调器的声音拨号信号。这些声音并不是经过刻意的美学设计。引用一句话(归功于约翰·凯奇)来谈论音乐概念的开放性:“如果这个词让你震惊,你不需要称它为音乐。” [31]在声音化中,声音和信息的行为方式与音乐和符号类似,但更为抽象:声音是一种按照预定规则加密的信息表现形式。
基本上,在声音化过程中,数据流排列在时间轴上,然后使用传输系统将数据转换为声音。在最简单的情况下,每个数据点,无论其质量如何,都会被重现为单一的声音。盖革计数器是测量不可见放射性的经典仪器,它利用这一原理,将入射辐射物理转换为咔嗒声。声音序列越密集,放射性越高(在极端情况下会产生几乎连续的音调)。压缩可以分析听觉,从而估计接近辐射源的速度。