Предложение методов измерения связей между зрением и слухом

Статья является теоретической основой для подготовки мультимедийного опроса выявляющего реакции на звуково-изображенные сигналы. Предметом исследования слуха будет громкость, частота колебаний и тембр звука. Зрения же: местоположение, величина, яркость, форма и цвет сияющей площади. Цель исследования, это построение очередной модели синеситезийного восприятия и определение причин происхождения зрительно слуховых ассоциации.

Предыдущие достижения

Сегодня можно выделить два главных типа статистических исследований, связанных с синестезей. Цель первого - выделение группы людей, которые многосенсорно принимают возбуждения действующее на лишь одно чувство¹. Тщательные данные показывают различные связи между чувствами. Второй вид исследования, это анкеты для определения ассоциации, формирующихся в воображении. Различия между методами исследований возникают прежде всего из различий в понимании феномена синестезии. Исследование, которое я хочу предложить, совпадает со вторым описанным мною видом.

Похожие исследования произведены сотрудниками Института Экспериментальной Эстетики «Прометей» в Казани в 1968 и в 2002 г². Самое главные - с моей точки зрения - применение в том что знание и опыт ответчиков имеет влияние на результат исследования³. Кроме того, доказано, что большинство музыкантов по-схоже видят яркость, величину и форму звука.

Анкета была адресована русским композиторам, и они легко могли вообразить про себя звуки описанные в вопросах. Но разница в музыкальном воображении могла вызывать информационный шум особенно в труднейших вопросах. Из-за этого появляется нужда в подготовлении анкеты в мультимедийном виде. При этом, благодаря использованию Интернета, увеличится число ответчиков.

Главные предположения анкеты

Предметом исследований будут черты звука которые, можно легко представить в виде различных изображений. Неизменно повторяющейся схемой будет один звук и разные движущиеся изображения, среди которых ответчики будут выбирать то которое по их мнению наиболее подходит играющему звуку. Из-за того, что большинство людей обладают релятивном слухом - исследованны будут реляции между звуками и изображениями, показанные как непрерывные смены различных черт звука и изображения. Такое решение ведет за собою упрощение и объединение звуков и изображений.

Чтоб определить причины появления похожих ответов, респонденты будут спрошенные о своем поле, возрасте, национальности, право- или леворукости. Кроме того, мы попросим их кратко описать музыкальный и художественный опыт. Дополнительно, автоматически будет считываться время затраченные на ответы и количество просмотров очередных движущихся картинок.

Статистические данные, собранные в ходе исследования, будет полезны, на пример, для подготовки принципов мультимедийного дизайна. Знание того, как звук напрямо соответствует свету заставит светомузыкантов искать умышленное межчувственное противоречие.

Связи

Инструментом для изучения очередных связей между чувствами будут четыре разные звука: синусоида в частоте 440 Гц⁴ с постепенно увеличивающей силой. Тот звук будет использован только в одной пробе касающейся силы звука. Следующие два звука, это синусоида с постоянной силой и постепенно увеличивающей частотой колебаний от 440 до 880 Гц⁵ и звук с постепенно изменяющимся тембром путем смены долей аликвотов (от басов до сопрано). В целом я хочу пользоваться этими звуками подряд, потому что они похоже, представляют смены двух очень важных черт звука: высоту и тембр. Последним звуком будет плавный переход из чистой синусоиды о частотой 400 Гц в шум. Тот звук будет использован в вопросе об насыщенности звука. Итак, давайте поссмотрим отдельные связи в области зрения и слуха.

Яркость звука вытекающая из его громкости

Количество света, испускаемого изображением тесно связано с величиной и яркостью сияющей площади. В свете этого, существенной детерминантой является яркость фона на котором расположена сияющая площадь. Когда мы хотим изобразить звук в виде белого круга тогда количество света будет прямо пропорционально величине и яркости круга. Все путается когда мы захотим сделать обратное: черный круг на белом фоне. Если большинство ответчиков скажет, что уменьшение черного круга совпадает со усилением звука можно вывести что количество света всегда соответствует громкости звука.

• Проба 1 - Более громче звуки ярче?

Расположение звука на плоскости

Чтобы определить расположение чего-то на плоскости, нужные две координаты. В музыке мы имеем понятие высоты звука, которые всем одинаково понятно. Даже людям не обладающими музыкальными способностями. Принято считать, что звуки с большой частотой колебаний называются высокими, а с малой частотой - низкими. Возможно, что найдуться люди которые иначе воспринимают движение звука по вертикальной оси. В гитаре струны издающие низкие звуки находятся дальше от пола, чем высокие, что может иметь влияние на воображение высоты звука. Чтобы определить расположение звука на плоскости, необходимо поставить два вопроса о двух координатах. Тот же тест будет источником информации как расположение звука связно с его тембром и частотой колебаний.

• Проба 2 - Высокие звуки ли по-настоящему высокие?
• Проба 3 - С какой стороны находятся высокие звуки?

Третий координат расположения звука

Леонардо да Винчи выдвинул тезис что высота звука связана с линейной перспективой⁶. Большинство музыкальных форм организованны так, что низкие звуки выступают более редко и определяют, какие высокие звуки должны появляться. Переход с воображенного зрительного пространства автоматически создет необходимость расположения высоких звуков перед низкими. Чтобы правильно поставить вопрос, необходимо очень просто показать, движение в оси глубины.

• Проба 4 - Бас играют ли в фоне?

Величина звука

Воображение низких звуков в виде больших цветных пятен вытекает из того, что большая величина звучащего предмета влияет на высоту звука. Но нужно помнить, что в художественной композиции увеличение предмета, находящегося в передним плане, заставляет уменьшаться поверхность фона. Когда фон белый и пятно изображающие звук - темное, тогда увеличение пятна сделает все изображение темнее. Но ведь мы уже знаем, что низкие звуки ассоциируется с темными цветами. Итак возникают необходимость протестировать связывание величины звука с графическими формами представленными на разных фонах.

• Проба 5 - Действительно ли высокие звуки воспринимаються как маленькие?

Форма края звука

Исследования, произведенные в 2002 г. сотрудниками «Прометея» показали, что круг часто ассоциируется с низкими звуками, а треугольник - с высокими. Но вообще, мировые исследователи чаще изучали связь форм и гласных⁷. Так Василий Кандиский отметил, что тембры музыкальных инструментов бывают овальные или резкие⁸. Причина такой аналогии видна прежде всего в чертеже звуковой волны, изображающий смены звукового давления происходящие в определенном времени. Возвеличение частоты колебании дает сгущение чертежа и обострение вершин волны. Некоторые музыканты идя этим путем, попытались создать музыку, рисуя чертежи, которые менялись в звук.⁹

• Проба 6 - Какой формой звучить треугольник?

Яркость звука, вытекающая из частоты колебаний

Ассоциирование высоких звуков с яркими точками возможно связано с легкостью определения их расположения в пространстве. Похоже как в предыдущем тесте и тем связаным громкостью - вляние на результаты исследований может иметь яркость фона. Затем необходимо сделать два тесты с разными фонами.

• Проба 7 - Ярко ли я говорю?

Цвет звука - тембр

Среди наиболее используемых синестетических названий свойств звука высота и цвет наиболее популярные. Эти понятия переплетаются друг с другом и чувствами результатом чего стали различные попытки точного определения ступени звукоряда цветом радуги. Среди ученых которые следовали этим путем был Исаак Ньютон¹⁰. Несмотря, на то что тезис о связи очередных клавиши пианино со цветами радуги уже эффективно опровергнут¹¹ - нужно сказать, что исследования Ньютона в этой области вдохновляют. Базируясь на психофизиологическим эксперименте, он сказал что способность различения звуков похожа на способность различения цветов. Это касается предлагаемого мною исследования в том что существует возможность ассоциации смены высоты звука со сменой цвета. Но цвет, о котором говорят музыканты более связан с тембровой высотой. Он выступает часто как результат промежуточной ассоциации со субъективном восприятием температуры звука.

Создание движущегося изображения представляемого смену цвета и звука усложняют два момента. Во первых: цвета отличаются не только температурой, но тоже яркостью. Ограничение смены цвета так чтоб найти возможно большую смену температуры при возможно меньшей сменой яркости решит проблему. Вторая сложность заключается в том что всякой цвет имеет свой теплый и холодный эквивалент. Затем возникает вопрос: какие цвета показать.

• Проба 8 - Что это такое теплый тембр?

Насыщенность звука

Чтоб точно описать цвет можно пользоваться перцептивной цветовой моделью. Примером такой модели является HSV, базирующаяся на цветовом тоне, насыщенности и яркости. Предыдуще вопросы проверяли бы цветовый тон и яркост. Остаються только насыщенность. Как насыщенность цвета перевести в звук? Мне кажется что она связанна со степенью порядка в области тембра. Тембры с более упорядоченной структурой - на пример синусоида - могут быть восприняты как чистые цвета. Шумы более похожи серостям.

• Проба 9 - Что играет более цветно? Флейта или барабан?

Выводы

Очевидно, что лучше подготовленая анкета, принесет более объективное данные. Из-за этого появляется необходимость, чтобы уже в стадии предположении она была по возможности максимально тщательно подготовлена. Итак, мой доклад не является замкнутым сбором информации о теме из заголовка. Прежде всего, он вопросом в чем я ошибаюсь. Он явлпяется приглашением к сотрудничеству в подготовке предположений анкеты. В начале анкета будет сделана на польском, русском и английском а так же я буду очень рад если кто-нибудь захочет перевести вопросы на другие языки. Возможной формой участия может быть извещение об анкете вашим знакомых.

Эти выводы вероятно не появились бы если бы нет многолетние исследования Б. Галеева и его супруги И. Ванечкины. Их влияние в развитие знания о синестезии очень великое. Пользуясь случаем, я хотел бы поблагодарить доктора К. Яловчика и М. Здановича за ценные разговоры о синестезии. Прежде всего хочу поблагодарить Бога который сотворил звук и сам есть свет.

Библиография

1. Thomas Birch, The history of the Royal Society of London for improving of natural knowledge, A. Millar in the Strand, 1757
2. Ванечкина И.Л., Некоторые итоги анкетного опроса по выявлению закономерностей цветного слуха среди членов союза композиторов СССР, 1968
3. Ванечкина И.Л., Галеев Б.М., „Цветной слух” музыкантов: мифы и реальность, 2003
4. Ванечкина И.Л., Галеев Б.М., Кандинский и Скрябин: мифы и реальность, 1998
5. Ванечкина И.Л., Галеев Б.М., Овсянников А.А., Анкетный опрос „цветного слуха” композиторов России, 2002
6. Василий Кандинский, О духовном в искусстве, Аврора, 1990
7. Bartosz Mozyrko, Nazywanie kształtów, kształtowanie nazw. O znaczeniu asemantycznych skojarzeń nazw dla projektowania logo
8. Овсянников А.А., Анкетное исследование „цветного слуха” и „цветового мышления", 2000
9. Oliver Sacks, Musicophilia: Tales of Music and the Brain, Vintage Books, 2008
10. Maciej H. Zdanowicz, Obrazowanie muzyki - badanie nowych możliwości wizualnej transkrypcji dźwięków, Łódź 2010