Эффе́кт «злове́щей доли́ны» (англ. uncanny valley ) - гипотеза, по которой робот или другой объект, выглядящий или действующий примерно как человек (но не точно так, как настоящий), вызывает неприязнь и отвращение у людей-наблюдателей.

История [ | ]

Искусственные персонажи, которые должны вызывать симпатию, не должны быть чересчур похожи на людей, особенно если они анимированы - это хорошо знают мультипликаторы .

Кукла Бунраку

В художественной и мемуарной литературе [ | ]

Страх, возникающий при созерцании «человека», имеющего небольшие отклонения от нормы, и усиление впечатления из-за его движения были подмечены ещё в 1818 году писательницей Мэри Шелли в романе «Франкенштейн, или Современный Прометей »:

Как описать мои чувства при этом ужасном зрелище, как изобразить несчастного, созданного мною с таким неимоверным трудом? А между тем члены его были соразмерны, и я подобрал для него красивые черты. Красивые - Боже великий! Жёлтая кожа слишком туго обтягивала его мускулы и жилы; волосы были черные, блестящие и длинные, а зубы белые как жемчуг; но тем страшнее был их контраст с водянистыми глазами, почти неотличимыми по цвету от глазниц, с сухой кожей и узкой прорезью чёрного рта. <…> На него невозможно было смотреть без содрогания. Никакая мумия, возвращенная к жизни, не могла быть ужаснее этого чудовища. Я видел своё творение неоконченным; оно и тогда было уродливо; но когда его суставы и мускулы пришли в движение, получилось нечто более страшное, чем все вымыслы Данте.

Мэри Шелли. Франкенштейн, или Современный Прометей

В отличие от них манекен, как существо неживое (которое, например, объесться чем-либо было не в состоянии), казалось бы, никаких дискуссионных проблем вызвать не мог. Не должен был… Однако это только так казалось. Как вскоре выяснилось, одна из извечных общих проблем моделирования - об оптимальной мере приближения модели к натуре - проявила себя и здесь.

В одной из комнат пристройки к монтажно-испытательному корпусу расположились «спасенцы» - представители конструкторского бюро, создавшего катапультируемое кресло и скафандр космонавта. За несколько дней до пуска корабля-спутника - это было, если не ошибаюсь, как раз в день моего первого приезда на космодром - они предъявили Королёву и нескольким «сопровождающим его лицам» всё своё хозяйство в собранном виде: кресло и прикреплённый к нему системой привязных ремней облачённый в ярко-оранжевый скафандр манекен.

Изготовители манекена постарались, чтобы всё - во всяком случае, всё доступное обозрению - в нём было «как у человека». А посему сделали ему лицо совершенно человекоподобное: со ртом, носом, глазами, бровями, даже ресницами… Я не удержался от реплики, что, мол, увидев такую фигуру где-нибудь в поле или в лесу, наверное, в первый момент принял бы её за покойника.

И действительно, было в сидящем перед нами манекене что-то мертвенно-неприятное. Наверное, всё-таки нельзя, чтобы нечеловек был чересчур похож на человека.

См. также [ | ]

Примечания [ | ]

1. Митио Каку . 10. Искусственный разум и кремниевое сознание // Будущее разума = The Future of the Mind: The Scientific Quest to Understand, Enhance, and Empower the Mind / пер. с англ. Н. Лисовой, науч. ред. К. Томс. - М. : Альпина нон-фикшн , 2015. - С. 318-320. - 502 с. - 5000 экз. - ISBN 978-5-91671-369-5 .
2. Masahiro Mori. The Uncanny Valley (англ.) // IEEE Robotics & Automation Magazine: пер. с яп. Karl F. MacDorman and Norri Kageki. - 2012. - Vol. 19, № 2 . - P. 98–100. - DOI :10.1109/MRA.2012.2192811 . Архивировано 4 января 2018 года. (первое издание статьи на японском языке Mori M. The Uncanny Valley // Energy, 1970. Vol. 7. №. 4. pp. 33-35)
3. Tinwell A., Grimshaw M., Abdel Nabi D., Williams A. Facial expression of emotion and perception of the Uncanny Valley in virtual characters (англ.) // Computers in Human Behavior (англ.) . - 2011.
4. Minsoo Kang. The Ambivalent Power of the Robot (англ.) // Antennae. - 2009. - № 9 .
5. Галлай М. Л. С человеком на борту . - М. : Советский писатель , 1985.

Литература [ | ]

Bartneck, C., Kanda, T., Ishiguro, H., & Hagita, N. (2007). Is the Uncanny Valley an Uncanny Cliff? Proceedings of the 16th IEEE, RO-MAN 2007, Jeju, Korea, pp. 368-373. DOI :10.1109/ROMAN.2007.4415111 html Burleigh, T. J. & Schoenherr (2015). A reappraisal of the uncanny valley: categorical perception or frequency-based sensitization? Frontiers in Psychology , 5:1488 DOI :10.3389/fpsyg.2014.01488 . Burleigh, T. J., Schoenherr, J. R., & Lacroix, G. L. (2013). Does the uncanny valley exist? An empirical test of the relationship between eeriness and the human likeness of digitally created faces. Computers in Human Behavior 29(3), 759-771 DOI :10.1016/j.chb.2012.11.021 . Chaminade, T., Hodgins, J. & Kawato, M. (2007). Anthropomorphism influences perception of computer-animated characters" actions. Social Cognitive and Affective Neuroscience, 2 (3), 206-216. Chattopadhyay, D., & MacDorman, K. F. (2016). Familiar faces rendered strange: Why inconsistent realism drives characters into the uncanny valley. Journal of Vision, 16(11):7, 1-25. doi: 10.1167/16.11.7 Cheetham, M., Suter, P., & Jancke, L. (2011). The human likeness dimension of the «uncanny valley hypothesis»: behavioral and functional MRI findings . Front Hum Neurosci 5, 126. Ferrey, A., Burleigh, T. J., & Fenske, M. (2015). Stimulus-category competition, inhibition and affective devaluation: A novel account of the Uncanny Valley. Frontiers in Psychology , 6:249 DOI :10.3389/fpsyg.2015.00249 . Goetz, J., Kiesler, S., & Powers, A. (2003). Matching robot appearance and behavior to tasks to improve human-robot cooperation. Proceedings of the Twelfth IEEE International Workshop on Robot and Human Interactive Communication. Lisbon, Portugal. Green, R. D., MacDorman, K. F., Ho, C.-C., & Vasudevan, S. K. (2008). Sensitivity to the proportions of faces that vary in human likeness . Computers in Human Behavior 24(5), 2456-2474. doi: 10.1016/j.chb.2008.02.019 Ho, C.-C., & MacDorman, K. F. (2010). Revisiting the uncanny valley theory: Developing and validating an alternative to the Godspeed indices. Computers in Human Behavior, 26(6), 1508-1518 DOI :10.1016/j.chb.2010.05.015 Ho, C.-C., & MacDorman, K. F. (2016). Measuring the uncanny valley effect: Refinements to indices for perceived humanness, attractiveness, and eeriness. International Journal of Social Robotics, 8(5). DOI :10.1007/s12369-016-0380-9 Ho, C.-C., MacDorman, K. F., & Pramono, Z. A. D. (2008). Human emotion and the uncanny valley: A GLM, MDS, and ISOMAP analysis of robot video ratings. Proceedings of the Third ACM/IEEE International Conference on Human-Robot Interaction. March 11-14. Amsterdam. DOI :10.1145/1349822.1349845 Ishiguro, H. (2005). Android science: Toward a new cross-disciplinary framework . CogSci-2005 Workshop: Toward Social Mechanisms of Android Science, 2005, pp. 1-6. Kageki, N. (2012). An uncanny mind (An interview with M. Mori). IEEE Robotics & Automation Magazine , 19(2), 112-108. doi:10.1109/MRA.2012.2192819 Kätsyri, J. & Förger, K. & Mäkäräinen, M. & Takala, T. 2015. A review of empirical evidence on different uncanny valley hypotheses: support for perceptual mismatch as one road to the valley of eeriness . Frontiers in Psychology. MacDorman, K. F. (2005). (недоступная ссылка) CogSci-2005 Workshop: Toward Social Mechanisms of Android Science , 106-118. (An English translation of Mori’s «The Uncanny Valley» made by Karl MacDorman and Takashi Minato appears in Appendix B of the paper.) MacDorman, K. F. (2006). Subjective ratings of robot video clips for human likeness, familiarity, and eeriness: An exploration of the uncanny valley. ICCS/CogSci-2006 Long Symposium: Toward Social Mechanisms of Android Science. July 26, 2006. Vancouver, Canada. MacDorman, K. F. & Entezari, S. O. (2015). Individual differences predict sensitivity to the uncanny valley. Interaction Studies , 16(2), 141-172. doi:10.1075/is.16.2.01mac MacDorman, K. F. & Chattopadhyay, D. (2016). Reducing consistency in human realism increases the uncanny valley effect; increasing category uncertainty does not. Cognition , 146, 190-205. doi:10.1016/j.cognition.2015.09.019 MacDorman, K. F. & Ishiguro, H. (2006). . :10.1162/PRES_a_00212 Pollick, F. E. (forthcoming). In search of the uncanny valley. In Grammer, K. & Juette, A. (Eds.), Analog communication: Evolution, brain mechanisms, dynamics, simulation. The Vienna Series in Theoretical Biology. Cambridge, Mass.: The MIT Press. Ramey, C.H. (2005). The uncanny valley of similarities concerning abortion, baldness, heaps of sand, and humanlike robots. In Proceedings of the Views of the Uncanny Valley Workshop, IEEE-RAS International Conference on Humanoid Robots. Saygin, A.P., Chaminade, T., Ishiguro, H., . & (2011) The thing that should not be: Predictive coding and the uncanny valley in perceiving human and humanoid robot actions. Social Cognitive Affective Neuroscience, 6(4). Saygin, A.P., Chaminade, T., Ishiguro, H. (2010) The Perception of Humans and Robots: Uncanny Hills in Parietal Cortex. In S. Ohlsson & R. Catrambone (Eds.), Proceedings of the 32nd Annual Conference of the Cognitive Science Society (pp. 2716-2720). Austin, TX: Cognitive Science Society. Schoenherr, J. R. & Burleigh, T. J. (2014). Uncanny sociocultural categories . Frontiers in Psychology, 5:1456, DOI : 10.3389/fpsyg.2014.01456 . Seyama, J., & Nagayama, R. S. (2007). The uncanny valley: Effect of realism on the impression of artificial human faces. Presence: Teleoperators and Virtual Environments, 16(4), 337-351. Tinwell, A., Grimshaw, M., Abdel Nabi, D., & Williams, A. (2011) Facial expression of emotion and perception of the Uncanny Valley in virtual characters. Computers in Human Behavior, 27(2), pp. 741-749. Tinwell, A., Grimshaw, M., & Williams, A. (2010) Uncanny Behaviour in Survival Horror Games. Journal of Gaming and Virtual Worlds, 2(1), pp. 3-25. Tinwell, A., Grimshaw, M., & Williams, A. (2011) The Uncanny Wall. International Journal of Arts and Technology, 4(3), pp. 326-341. Vinayagamoorthy, V. Steed, A. & Slater, M. (2005). Building Characters: Lessons Drawn from Virtual Environments. Toward Social Mechanisms of Android Science: A CogSci 2005 Workshop. July 25-26, Stresa, Italy, pp. 119-126. Yamada, Y., Kawabe, T., & Ihaya, K. (2013). Categorization difficulty is associated with negative evaluation in the «uncanny valley» phenomenon . Japanese Psychological Research, 55(1), 20-32.

«Призрак в доспехах» — манга Масамуне Сиро, ставшая основой для полнометражных аниме, сериала и последующей голливудской экранизации. На телевидении Майор Мотоко Кусанаги появилась в аниме-сериале «Призрак в доспехах: Синдром одиночки», вышедшем на экраны в 2002 году.

«Призрак в доспехах» — настоящий мир кибербудущего

Синдром одиночки — понятие из философии постмодернизма, напрямую пересекающееся с понятием симулякра, виртуальной реальности. Призраком же, в контексте истории, принято называть то, что отличает искусственный интеллект от естественного. Некую «прибавку», невычислимый элемент.

Сериал «Призрак в доспехах: Синдром одиночки»

Любопытно, что до этого мы имели дело с рисованным воспроизведением манги. Мир аниме создается художником до последнего штриха, пикселя на экране. В то же самое время фильм работает с реальной натурой, несмотря на обилие спецэффектов.

В будущем исчезнет экран, но все вокруг станет «картинкой»

Фрагмент фильма: город-картинка

Сегодня мы можем говорить о наступившей эре высоких технологий, экспансии экранной культуры, засилье виртуального мира. В мире «Призрака в доспехах» будущее уже наступило. Для передачи информации не требуется посредник, разработана система телепатического общения — предела человеческой коммуникации. А значит экранное изображение, как посредник, теряет свое функциональное предназначение. Его заменяет голограмма, вписанная в окружающий мир, контактирующая с ним и меняющая его облик. В таком «несегментированном» пространстве особо остро встает вопрос о человеке, его статусе. О том самом «призраке». Оставим этот вопрос для размышления философам, займемся визуальным феноменом, который актуализируется в мире киборгов, но уже сегодня мерцает на телеэкране.

Фрагмент фильма «Призрак в доспехах»

Человек боится себе подобных роботов

«Зловещая долина» — термин, введенный в 1978 году Масахиро Мори. Ученый занимался исследованием восприятия лиц роботов. Результат оказался ожидаемым: чем больше робот похож на человека, тем он приятнее для восприятия, но это только поначалу. На определенном этапе сходство человека и робота начинают пугать.

Мультипликаторы и аниматоры в курсе: для того чтобы созданный персонаж вызывал симпатию, он не должен доподлинно воспроизводить черты человека. В чем же причина наших страхов? Доподлинно это не установлено, но есть версии, что все дело в том, что «человекоподобный» робот вызывает ассоциации с ожившим покойником. Мы подсознательно принимаем его за «своего», но все же мелкие детали вызывают определенный диссонанс (отсутствие мимики, взгляд). Отсюда и тревога. Мы не можем отнести увиденное ни к одному из типов. Мы не знаем, что ждать от такого объекта, мы попросту его не чувствуем.

График, демонстрирующий место «зловещей долины» в восприятии

Но если встреча с таким созданием у нас еще впереди, то эффект, вызывающий тревогу, уже вовсю эксплуатируется в кино. Так зомби. монстры и киборги вовсю используют приемы «остранения» для создания образа.

Монстр Франкенштейна — яркий пример попадания образа в «зловещую долину»

В культурной истории также существуют примеры подобных «тревожных» объектов. Прежде всего к ним можно отнести куклы бунраку. Их маски определенно имеют параллели с человеческими лицами в гриме.

Куклы театра бунраку

На телевидении, как и было сказано выше, подобные явления носят скорее непреднамеренный характер. Они получаются почти случайно, эффект «зловещей долины» скорее мерцает в данном случае, а не выражен полностью как идея. Рассмотрим наиболее яркие примеры.

Сериал «Терминатор: Хроники Сары Коннор» содержит множество примеров этого эффекта, в том числе и в диалогах (лишенный эмоций повтор фразы только что услышанной от собеседника)

Сериал «Доктор Кто». Персонаж-автон, пластиковая копия одного из героев. Эффект достигается гримом и особой мимикой.

Персонаж детской программы «Радуга» медведь Бангл. Ростовая кукла, способная напугать ребенка из-за слишком человеческой мимики

Персонаж Пилот из французской образовательной программы «Téléfrançais». У куклы слишком человеческие черты.

Научно-популярный сериал «Прогулки с пещерным человеком». Пример эволюционного попадания в «зловещую долину» Уже не животное, еще не человек

Эпизод сериала «Черное зеркало» полностью посвящен взаимоотношениям человека и андроида. Пугающие первые эпизоды серии как раз подтверждают теорию «зловещей долины» и отсылают к монстру Франкенштейна

Анимация в научно-популярном сериале «Тираны древнего мира» также попадает в «зловещую долину». Реконструкция лиц оказывается прямым путем к созданию тревожной атмосферы на экране

Стоит помнить о развитии технологий

Примеры «жутковатых» образов на экране — сигнал для нашего подсознания. Эти несознательные ошибки авторов телепрограмм всего лишь «по касательной» задевают наши системы восприятия. Относиться к ним можно с юмором, но факт приближения кибернетического будущего налицо. И к этому нужно быть готовым.

Одно из самых значительных достижений художественного фильма Аватар заключается в том, что ему первому в истории кинематографа удалось преодолеть так называемый эффект "Зловещей долины".

Зловещая долина (англ. Uncanny Valley) — гипотеза, по которой робот или другой объект, выглядящий или действующий, примерно как человек (но не точно так, как настоящий), вызывает неприязнь и отвращение у людей-наблюдателей.

В 1978 году японский ученый Масахиро Мори провел опрос, исследуя эмоциональную реакцию людей на внешний вид роботов. Поначалу результаты были предсказуемыми: чем больше робот похож на человека, тем симпатичнее он кажется — но лишь до определённого предела. Наиболее человекоподобные роботы неожиданно оказались неприятны людям из-за мелких несоответствий реальности, вызывающих чувство дискомфорта и страха. Неожиданный спад на графике «симпатии» и был назван «Зловещей долиной», притом Масахиро Мори обнаружил, что анимация усиливает и позитивное, и негативное восприятие.

Возможные причины

Причина такого психологического феномена не выяснена до сих пор. Возможно, проблема в том, что человек так устроен, что подсознательно анализирует малейшие отклонения от «нормальности». Может быть, причина в том, что на определённом уровне сходства робота с человеком машина перестаёт восприниматься как машина и начинает казаться ненормальным человеком или оживлённым трупом, кадавром. Кроме того, причиной неприязни может являться симметрия лица робота, которая редко наблюдается у людей и выглядит немного устрашающе. Феноменом «зловещей долины» издавна пользуются создатели фильмов, литературы, игр и анимации, чтобы вызвать чувство страха, — достаточно вспомнить Франкенштейна, зомби, медсестер из Сайлент-Хилла или киношных девочек-из-колодца. Искусственные персонажи, которые должны вызывать симпатию, не должны быть чересчур похожи на людей, особенно если они анимированы — это хорошо знают мультипликаторы.

Преодоление

Кэмерону предстояло решить, как преодолеть "зловещую долину" анимации - в чём же изъян компьютерных актёров "Беовульфа" и "Полярного экспресса" Земекиса, что как бы здорово те ни были анимированны, у зрителя остаётся впечатление неестественности героев? Как рассказывает сам Кэмерон, "Земекис решил использовать для анимирования лиц те же motion capture камеры, что используются для регистрации движений актёров. Получилось отстойно." Затея Бонэхема заключалась в следующем - производственной бригаде нужно было сделать гипсовые слепки голов всех актёров, затем под каждого актёра смастерить индивидуальную подвесную систему для крошечных видеокамер, которые снимали бы лица с расстояния в несколько сантиметров. Широкоугольные объективы регистрировали бы каждое подёргивание лицевых мышц, каждое моргание глаз, каждый изгиб бровей.

Но для того, чтобы аватары выглядели реалистично, потребовалось ещё больше. До работы с Кэмероном, Бэнехэм (специалист по анимации) "оживлял" Голлума из "Властелина Колец". При анимировании улыбки Голлума художники норовили растянуть его рот чуть шире, чем положено, а это неизбежно привело бы к неестественности персонажа. Для того, чтобы подчеркнуть характерную эмоциональность Голлума, Бэнехэму и его команде пришлось вплотную изучить физиологию: при помощи каких мышц человек улыбается? В каком порядке действуют эти мышцы? Сколько света поглощает кожа и сколько отражает? Какова глубина человеческого зрачка? Мимика Голлума, которая стала главным залогом удивительнейшей реалистичности этого персонажа, это не съёмки performance-capture, а кропотливая, покадровая работа компьютерных художников. Система, которая была выбрана для "Аватара" модернизировала этот процесс - аниматоры теперь получали изображение с закреплённых на головах актёров камер, которые подробно регистрировали все мимические метаморфозы лиц тех или иных героев фильма.

Открытого без малого 40 лет назад японским учёным Масахиро Мори. За это время разработчики предприняли множество попыток создать робота, с которым человек мог бы разговаривать на равных. Но даже лучшие образцы пока вызывают лёгкое чувство… беспокойства.

Или у вас - нет?

Что за феномен

Эффект «зловещей долины» (uncanny valley) заключается в том, что воспринимается человеком как дружественный объект лишь до определённой степени схожести. Если человекоподобные механизмы с микросхемами и горящими лампочками мы воспринимаем как нечто мирное и комичное, то совсем иная ситуация - с , максимально похожими на нас. Мелкие несоответствия реальному человеку (идеально симметричное, застывшее лицо, резкость мимики) провоцируют страх и неприязнь.

Если изобразить человеческое восприятие робота на графике, мы увидим ту самую «долину», которую образует кривая, обозначающая правдоподобность. Иными словами, человеку комфортнее взаимодействовать с таким же человеком либо машиной (промышленным роботом, компьютером и т.д.), чем с роботом, максимально похожим на человека.

Почему так происходит?

На этот счёт есть четыре основных теории:

человек бессознательно анализирует и отторгает мельчайшие отклонения от нормы, вследствие чего воспринимает робота не как машину, а как больного или мёртвого человека;

видя гуманоидного робота, человек сталкивается с неизвестным существом, от которого можно ожидать чего угодно;

мы не в состоянии понять чувства объекта, подобного себе, и нас охватывает чувство неизвестности;

человек не получает прогнозируемой реакции от робота и воспринимает его как человека-психопата, а это, опять же, грозит опасностью.

Воскрешённый писатель и английский джентльмен

Четыре видео демонстрируют роботов, максимально напоминающих человека: они разговаривают, реагируют на движения собеседника и даже отвечают на его вопросы, гримасничая и кивая.

Какие эмоции они у вас вызывают? Ощущаете ли вы эффект «зловещей долины» на себе?

Джулс

Джулс - робот, способный поддержать джентльменский диалог. Он сделан из гибкого лёгкого материала, слабо отличимого от человеческой кожи - по крайней мере, на видео.

Этот антропоморфный робот, произве… скорее рождённый в Hanson Robotics , поддержит разговор «благородным» голосом, каким обычно объявляют станции метро. Ответ будет сопровождён довольно натуральной мимикой.

Кроме того, многие интернет-пользователи находят этого персонажа очень привлекательным внешне.

Эрика

Эрика - робот, созданный японским робототехником и главой лаборатории робототехники при Осакском университете Хироси Исигуро и представленный в 2015 году в токийском музее, посвящённом науке и инновациям.

Роботы, способные существовать с людьми, - прямая специализация Хироси Исигуро. За разработки в этой области он получил Премию Знаний (1 миллион долларов) и включён в список 100 ныне живущих гениев по версии Creators Synectics (опубликован Daily Telegraph в 2007-м).

Эрика не только двигается и разговаривает, но довольно точно показывает «эмоции» с помощью мимики и жестов и даже в состоянии распознать невербальные сигналы человека.

Курокава

Курокава (Kurokawa) - совместная разработка производителя робототехники Kokoro и Национального института передовых научных исследований и технологий (AIST ). У этого суперреалистичного человекоподобного робота есть «предшественник» - Актроид-Ф (Actroid -F ).

Роботы способны поддерживать разговор друг с другом, использовать 12 выражений лица в зависимости от происходящего и имитировать движения людей.

Оба робота были успешно протестированы в клиниках: эксперимент состоял в том, чтобы проследить за реакцией живых людей в присутствии гуманоидов. Выяснилось, что лишь четверо пациентов из 70 чувствовали себя некомфортно в такой ситуации.

Эффект «зловещей долины» в озвучке виртуальной реальности

• AR и VR ,
• Игры и игровые приставки ,
• Звук ,

• Перевод

Многие художники, работающие в игровой индустрии, знакомы с эффектом «зловещей долины», но звукорежиссеры и композиторы, как правило, не сталкиваются с этой проблемой. Тем не менее, учитывая стремительное развитие виртуальной реальности, ситуация может кардинально измениться. В данной статье мы поговорим о том, как именно этот эффект может коснуться аудиоспециалистов. Но для начала давайте выясним, что же такое «зловещая долина»?



Чтобы продемонстрировать эффект «зловещей долины», чаще всего используется такой график. Идея заключается в следующем: чем больше неживой объект, например робот, похож на человека, тем симпатичнее он кажется. Однако этот эффект растет лишь до определенного момента: когда максимальная степень реализма уже вот-вот достигнута, симпатия резко сменяется отвращением или даже страхом. Другими словами, из-за малейших несоответствий реальности ваш персонаж превращается в монстра. Более подробно об эффекте «зловещей долины» рассказывается в видео из серии Extra Credits:

Итак, мы выяснили, что художники подразумевают под «зловещей долиной», но какое отношение это имеет к аудио?

«Объемный звук – имитация реальности или иллюзия?»

Концепция «зловещей долины» в области аудио была впервые представлена Френсисом Рамзи в докладе «Объемный звук – имитация реальности или иллюзия?» на собрании чикагского отделения Общества инженеров-акустиков (Audio Engineering Society) в штаб-квартире компании Shure Incorporated в городе Найлз, штат Иллинойс, в мае 2014 года. Френсис Рамзи получил степень кандидата наук в области аудиотехники в Университете Суррея и сейчас занимает должность председателя технического совета AES.

В блестящей полуторачасовой презентации (полную запись которой члены организации AES могут посмотреть по ссылке) Френсис Рамзи рассказывает об эволюции объемного звука и о многочисленных попытках добиться безупречной симуляции естественного акустического пространства. Он также рассматривает различные подходы к решению этой проблемы: и с эстетической точки зрения, и с математической – путем создания идеальной технологии синтеза волнового поля. Попутно он задается вопросом: какую цель преследует объемный звук – максимальное приближение к реальности или создание правдоподобной иллюзии? Это приводит нас к основному тезису доклада.

Саунд-дизайн в виртуальной реальности: «почти» не считается

Рамзи утверждает, что объемный звук начинает стимулировать всё больше участков головного мозга по мере достижения максимальной степени реализма. Почему это происходит? Дело в том, что слух очень остро реагирует на «естественность» звука. Нам хорошо известно, как звук распространяется в окружающей среде. Мы знаем, как он отражается, реверберирует и как различные объекты могут заглушать звук или изменять его тембр. Когда виртуальное акустическое окружение достигает вершины пространственного реализма и тембрового соответствия, наш мозг начинает сопоставлять эту модель с реальным окружением, запечатленным в нашей памяти. И, даже если на первый взгляд симуляция безупречна, малейший изъян вызовет у нас негативную реакцию. «Звук почти как настоящий, но с ним что-то не так, – подумаете вы. – Что-то меня смущает».

В качестве примера давайте посмотрим видео виртуальной реальности Oculus, демонстрирующее работу плагина объемного звука AstoundSound 3D RTI от компании GenAudio. Несмотря на то, что позиционирование аудио действительно впечатляет, в демоверсии плагина напрочь отсутствуют эффекты преграждения и поглощения звука (чего создатели и не скрывают). Таким образом, вы можете сами убедиться, какое впечатление производят эти несоответствия в реалистичном акустическом окружении. Особенно хорошо они прослеживаются, когда игрок заходит в дом, а журчание фонтана во дворе остается неизменным, хотя звук должен был стать более приглушенным.

В докладе Рамзи приводит результаты исследований Гленна Дикинса, технического архитектора отдела цифровой конвергенции в компании Dolby Laboratories. Дикинс исследовал теорию «зловещей долины» применительно к голосовой озвучке. Человеческая речь укореняется в нашем сознании точно так же, как человеческий облик и движения, поэтому мы с легкостью воспринимаем ее в трехмерном пространстве. Таким образом, голосовая озвучка в 3D еще больше рискует попасть в «зловещую долину». Минимальное отклонение голоса от условного расположения в пространстве может вызвать у слушателя чувство глубокого дискомфорта.

Актуальность технологии сжатия аудиоданных, используемой в разработке традиционных видеоигр, вызывает сомнения, когда речь идет о виртуальной реальности. Особенно это касается голосовой озвучки. Любой геймер может заметить, что голоса персонажей звучат странно, даже не зная, что причиной тому – компрессия записи. Процесс сжатия изменяет звучание голоса на самую малость, но в виртуальной реальности это слышно совершенно отчетливо. Малейший просчет – и аудио оказывается на краю «зловещей долины».

Саундтреки в виртуальной реальности: оптимистичный прогноз

В своем блоге я уже рассуждала о том, какую роль играет музыка в трехмерном акустическом пространстве виртуальной реальности. Но у Френсиса Рамзи абсолютно противоположное мнение на этот счет. По его словам, для слушателей совсем не принципиально, чтобы звучание саундтрека было объемным. Композиторы в игровой индустрии могут вздохнуть с облегчением, ведь это значит, что саундтрекам не грозит эффект «зловещей долины».

Ссылаясь на результаты исследования того, как неискушенные и опытные слушатели воспринимают объемный звук, Рамзи утверждает, что позиционирование музыки в пространстве не так важно. Все участники опроса сошлись во мнении, что решающим фактором для саундтрека является качество звука, но объем никак на него не влияет. Значит ли это, что слушатели готовы добровольно поверить в эту иллюзию независимо от ее соответствия правилам виртуальной реальности? Раз так, звукорежиссеры могут смело жертвовать позиционированием закадровой музыки (т. е. музыки, источник которой не является частью виртуального мира) в пользу голосовой озвучки и элементов саунд-дизайна. При этом саундтрек, как и прежде, будет способствовать эмоциональной вовлеченности и погружению в мир игры. Впрочем, в других ситуациях (например в фильмах) слушатели могут воспринимать объемные саундтреки иначе. В любом случае роль закадровой музыки в виртуальной реальности требует более подробного изучения.

С другими типами музыки дело обстоит намного проще. Как-никак, саундтрек не всегда выполняет свою привычную роль создания атмосферы в игре. К примеру, в музыкальных визуализаторах виртуальной реальности позиционировать аудио в пространстве совершенно не обязательно, ведь оно и так стоит на первом плане (как если бы вы просто слушали музыку). Вы можете убедиться в этом сами, посмотрев превью музыкального визуализатора Harmonix Music VR от компании-разработчика таких известных серий, как Rock Band и Dance Central:

Заключение

В заключение доклада Френсис Рамзи приходит к выводу: во всем, что касается озвучки виртуальной реальности, «почти» не считается. Другими словами, по-настоящему реалистичное звучание должно быть по-настоящему безупречно. В противном случае лучше остановиться на стилизованном аудио, намеренно искажающем и утрирующем аспекты реального звука, чем пытаться воссоздать его точную копию.