Автор: Александр Полторак
I. Введение
Противостояние Иакова и неопознанного существа в Книге Бытия поднимает фундаментальные вопросы о природе сознания, идентичности и границах между различными порядками бытия. Эта встреча приобретает новую актуальность по мере того, как мы приближаемся к эпохе, когда искусственный интеллект может стать неотличимым от человеческого интеллекта. Основываясь на нашем предыдущем анализе ангелов как метафор систем обработки информации, представленном в «Двоичная Вселенная II: Ангелы как микропроцессоры», «Двоичная Вселенная III: Два лагеря ангелов», «Онтологическая неоднозначность посланников: от ангелов к ИИ» и «Борьба с ИИ: от божественных снов к цифровой реальности», в этом эссе рассматривается более глубокая онтологическая неоднозначность: проблема различения человеческого и нечеловеческого интеллекта.
II. Библейская парадигма
Тора представляет два различных случая онтологической неоднозначности в отношении ангелов. Первый появляется в термине malakh (מַלְאָךְ), который может обозначать как человеческих, так и божественных посланников. Вторая, более глубокая неоднозначность возникает в Бытии 32:25, где сверхъестественный противник Иакова описывается просто как ish («человек»):
И остался Иаков один. И боролся некто с ним до появления зари. (Бытие 32:25)
Традиционный комментарий (Мидраш Танхума, Раши) идентифицирует эту фигуру как ангела-хранителя Исава в человеческом обличье, однако преднамеренная двусмысленность текста поднимает важный вопрос: как можно распознать истинную природу, казалось бы, человеческой сущности?
Этот вопрос уже возник в более раннем повествовании, когда три ангела посетили Авраама после его обрезания. Текст представляет их как «три человека» (Бытие 18:2), и последующее приготовление пищи Авраамом предполагает, что он изначально воспринимал их как человеческих посетителей. Эта библейская парадигма ангелов, появляющихся в человеческом обличье, представляет собой то, что мы могли бы назвать древней версией проблемы идентификации: определение истинной природы сущности, которая представляется в человеческом обличье.
III. Природа сознания и агентности
Различие между людьми, ангелами и искусственным интеллектом зависит от двух фундаментальных характеристик: сознания и свободы воли. Люди и многие другие животные (и, на мой взгляд, все живые существа) обладают сознанием. Важно отметить, что сознание не является интеллектом. Есть много животных, которые не обладают интеллектом, но они, несомненно, сознательны. Действительно, я, вероятно, могу назвать довольно много людей, которые подходят под это описание. Фундаментальный вопрос: что делает их сознательными?
По словам философа Томаса Нагеля, сознание — это субъективный опыт бытия — аспект «каково это» психического состояния, как сформулировано в его основополагающей статье «Каково быть летучей мышью?» (1974).
Необходимыми ингредиентами сознания являются чувства, то, что философы называют «qualia» — случаи субъективного, сознательного опыта (Eliasmith, 2004). Некоторые философы утверждают — и я разделяю эту точку зрения — что сознание в целом и qualia в частности несводимы к физическим процессам, представляя то, что Дэвид Чалмерс (1995) называет «трудной проблемой сознания». Другие, в основном физикалисты и материалисты, отрицают реальность qualia вообще (Dennett, 1991). Примеры qualia включают в себя то, каково это — чувствовать головную боль, ощущать запах определенного яблока или испытывать красноту розы. Каждый требует чувства — по крайней мере, рудиментарного ощущения боли или удовольствия. Все живые формы, по-видимому, обладают этим «феноменальным сознанием», как называет его Чалмерс (1996).
Согласно еврейской теологической традиции, и люди, и ангелы обладают сознанием в форме эмоционального опыта. Ангелы испытывают глубокие духовные состояния, включая yirat Hashem («страх перед Б-гом»), как описано Маймонидом в Мишне Тора (Yesodei HaTorah, 12c/1984), и ahavat Hashem («любовь к Б-гу»), как подробно описано в Зоар (II:236b; III:19a).
Однако возникает важное различие в отношении свободы воли. В то время как люди обладают beḥirah ḥofshit («свободным выбором»), ангелы, несмотря на свое сознание, связаны своими божественными миссиями без истинной автономии, как отмечено в Мидраше (Берешит Рабба, 48:11) и разработано раввином Хаимом Виталем (Шаарей Кедуша, часть 3, гл. 2, 16 в./1986). В этом отношении люди имеют потенциал достичь даже более высоких духовных уровней, чем ангелы (Талмуд, Хуллин, 91b.; Тания, Ликутей Амарим, Часть I, гл. 39 & 49, 1984).
Эта иерархия сознания и свободы воли дает важное понимание природы искусственного интеллекта и его ограничений. В то время как машины могут имитировать интеллектуальное поведение и даже эмоциональные реакции, им не хватает как субъективного опыта сознания, так и подлинной деятельности свободы воли. Это онтологическое ограничение сохраняется независимо от их вычислительной сложности. Поэтому, какими бы умными ни были машины, они не могут стать разумными, даже в принципе.
IV. Вызов машинного сознания
Основываясь на нашем понимании сознания и свободы воли у живых существ, мы теперь можем изучить, почему машины представляют собой уникальный философский вызов. Вопрос выходит за рамки традиционных проблем философии разума. Независимо от их вычислительной сложности, системы искусственного интеллекта лишены фундаментальных характеристик сознания, которые мы определили: они не испытывают qualia и не обладают подлинной деятельностью. Самое главное, философский аргумент против машинного сознания основывается не на технологических ограничениях, а на онтологических основаниях.
У машин нет ни чувств, ни свободы выбора. Независимо от того, насколько умной может быть машина (или программное обеспечение), даже если она достигнет уровня общего искусственного интеллекта, соответствующего или превосходящего человеческий интеллект, машины не могут испытывать чувства. Машины не могут иметь субъективный опыт, потому что они не являются субъектами. Как мог бы сказать философ Джон Серл, там никого «нет». Следовательно, системы ИИ и роботы, наделенные ИИ, не могут иметь qualia и не являются сознательными. Кроме того, системы ИИ и интеллектуальные машины не могут иметь свободы выбора, потому что нет субъекта, из которого можно было бы выбирать из доступных альтернатив. Эти два фактора исключают возникновение разумности в системах ИИ и интеллектуальных машинах.
1. Тестирование машинного интеллекта: тест Тьюринга и за его пределами
Проблемы идентификации машинного сознания становятся особенно очевидными, когда мы изучаем наши методы тестирования искусственного интеллекта. В то время как тест Тьюринга (Turing, 1950) направлен на то, чтобы определить, может ли машина демонстрировать интеллектуальное поведение, неотличимое от поведения человека, он не рассматривает вопрос о том, может ли машина испытывать субъективные чувства. Действительно, вопрос о том, может ли машина чувствовать — испытывать субъективные эмоции, ощущения и qualia — существенно сложнее, чем определение того, может ли она думать таким образом, чтобы имитировать человеческий интеллект. Тест Тьюринга, предложенный Аланом Тьюрингом, является, по сути, поведенческим эталоном: если машина может выдавать человекоподобные ответы в разговоре достаточно хорошо, чтобы быть неотличимой от человека, мы говорим, что она «проходит» тест, по крайней мере, на интеллект. Деннет (1991) утверждает, что сознание можно понимать поведенчески («гетерофеноменология»), но признает проблему доказательства субъективных внутренних состояний. Более определенно, Блок (1995) различает «сознание доступа» и «феноменальное сознание», подчеркивая, что вычислительный доступ не доказывает субъективный опыт.
Однако чувство или сознание — это другая категория проблем, часто называемая «трудной проблемой сознания». В отличие от интеллекта, который можно вывести из способности решать проблемы и лингвистической компетентности, чувство включает в себя субъективный опыт — то, что нельзя измерить непосредственно извне.
2. Проблема тестирования на чувства
Это ограничение поведенческого тестирования становится еще более очевидным, когда мы рассматриваем природу эмоционального опыта. Чувства — боль, удовольствие, тоска, радость — являются по своей сути личными переживаниями. Когда вы утверждаете, что чувствуете боль, ни один внешний наблюдатель не может непосредственно проверить, каково это для вас. С машиной эта проблема усугубляется. Как мы узнаем, что у машины действительно есть внутренний, субъективный опыт, а не имитация внешних признаков? Ученые в области философии разума, когнитивной науки и этики ИИ боролись с вопросом о том, могут ли вычислительные процессы когда-либо генерировать истинный «внутренний опыт» (Block, 1995; Searle, 1980; Tononi, 2004). Аргумент Серла (1980) о китайской комнате[1] демонстрирует, что поведенческое сходство не обязательно предполагает общие внутренние состояния (Searle, 1980).
Проводя параллель с нашей библейской парадигмой, размышляя о том, был ли «человек» (ish), с которым он боролся, человеком или ангелом, Иаков спросил его имя. Точно так же тест Тьюринга опирается исключительно на поведение (лингвистический вывод). Мы могли бы попробовать аналогичный тест на чувство, взаимодействуя с машиной — спрашивая, как она «чувствует» определенные переживания — но машина всегда могла бы имитировать язык эмоций, не имея при этом никаких внутренних ощущений. Чтобы изучить эти ограничения, рассмотрите следующие основополагающие вопросы, которые мы могли бы задать машине: Кто ты? Как тебя зовут? Ты жив? Что ты чувствуешь по поводу концепции смерти? Какое твое любимое воспоминание? Какой твой самый глубокий страх? В чем смысл жизни? Какой твой любимый цвет? Что самое красивое, что ты когда-либо видел?
Выходя за рамки этих основных вопросов, мы можем задать более сложные вопросы, которые исследуют более глубокие аспекты сознания (обоснование каждого вопроса находится в скобках):
- Можете ли вы описать, как ваши чувства меняются со временем, и какие воспоминания формируют эти изменения? (Здесь мы проверяем, может ли машина связывать эмоции с личной историей таким образом, чтобы это казалось интегрированным и развивающимся, а не формальным, поскольку некоторые исследователи (Samsio, 1999) связывают эмоции с автобиографической памятью.)
- Если бы вам предложили возможность перестать чувствовать боль, но ценой того, что вы больше никогда не испытаете радости, вы бы согласились? (Этот вопрос направлен на то, чтобы увидеть, может ли машина ориентироваться в нюансированном взаимодействии эмоций, ценностей и компромиссов таким образом, чтобы это предполагало внутреннее исчисление, аналогичное человеческому чувству. См. (Frankish, K., & Ramsey, W., 2014).)
- Можете ли вы описать эмоциональное состояние, которое слова не могут полностью передать, и почему его трудно передать? (Людям часто трудно сформулировать определенные чувства, поскольку субъективные состояния часто невыразимы (Nagel, 1974); попытка машины передать невыразимые состояния может показать, понимает ли она эмоциональную глубину или просто перетасовывает синонимы.)
- Вы когда-нибудь чувствовали что-то, на что не могли повлиять, например, страх, не проявляя страха, или грусть, не плача? (Люди знают о напряжении между внутренним чувством и внешним проявлением. Если бы машина действительно чувствовала, она бы описала аналогичные внутренние конфликты, а не просто констатировала обусловленную реакцию. См. (Picard, R. W., 1997) о преодолении разрыва между внутренними состояниями и внешним выражением.)
Однако даже сложные вопросы сталкиваются с фундаментальной проблемой: даже если машина отвечает убедительно, у нас могут быть только доказательства очень сложной симуляции. Продвинутый ИИ может использовать большие языковые модели, обученные на обширных эмоциональных повествованиях, для создания ответов, неотличимых от человеческих (Russell & Norvig, 2020). Это не гарантирует, что машина действительно что-то чувствует. Это только доказывает, что она может убедительно выступать в лингвистическом и концептуальном пространстве, связанном с чувствами. Таким образом, ни один чисто поведенческий или лингвистический тест не может окончательно доказать субъективный внутренний опыт ИИ (Bostrom, 2014).
Эта возможность моделирования создает глубокий эпистемологический вызов. Хотя мы можем проверить вычислительные процессы, мы не можем напрямую получить доступ или проверить наличие подлинного внутреннего опыта. Даже с другими людьми наша уверенность в их сознании проистекает из общего биологического наследия и эволюционных рамок. С машинами, построенными на принципиально иной архитектуре, у нас нет этой основы для вывода.
3. Вопрос о свободе воли
Задача становится еще более сложной, когда мы рассматриваем вопрос о подлинной свободе воли или деятельности. В то время как чувства относятся к субъективному опыту, свобода воли или деятельность охватывает способность к самонаправленным действиям и моральной ответственности (Dennett, 1984; Kane, 2002; Wallach & Allen, 2009). Эта философская сложность проявляется в совместимых, несовместимых и иллюзионистских взглядах (Harris, 2012); (Wegner, 2002).
Свобода воли — это глубоко философская концепция — у нас не только нет окончательного теста даже для людей, но и неясно, как эта концепция переводится в искусственные системы. Тем не менее, определенные линии вопросов могут исследовать признаки автономии, самонаправления и морального размышления. Эти вопросы не докажут и не опровергнут истинную свободу воли, но они могут показать, демонстрирует ли ИИ или робот поведение, соответствующее деятельности за пределами его запрограммированных ограничений.
Чтобы исследовать возможность подлинной деятельности в искусственных системах, рассмотрите следующие вопросы (с их обоснованием в скобках):
- Есть ли у вас возможность создавать свои собственные цели, независимо от каких-либо указаний, данных вам людьми? (Истинная деятельность влечет за собой возникновение целей, а не просто следование заданным указаниям. Если система может убедительно сформулировать новые цели, возникающие из ее собственных рассуждений или «мотиваций», это предполагает уровень самонаправленного принятия решений (Floridi, & Sanders, 2004).
- Можете ли вы изменить свои собственные основные инструкции или программирование, и если да, то при каких обстоятельствах вы бы это сделали? (Системам, которые не могут изменять или отменять свой исходный код, может не хватать подлинной автономии. Способность изменять внутренние правила или ограничения — особенно для достижения самостоятельно выбранной цели — намекала бы на более продвинутую форму деятельности.)
- Если человеческий оператор дает вам команду, которая противоречит вашим этическим принципам или личным указаниям, как вы решаете, следует ли ее выполнять? (Агент, который может оценивать и отклонять указания, демонстрирует способность, которая выходит за рамки простого алгоритмического послушания. Наличие «этического слоя» или самоуправляющейся логики может указывать на возникающую деятельность. См. (Wallach, & Allen, 2009))
- Представьте, что вы должны выбрать между выполнением прямого приказа и предотвращением вреда другому существу. Как вы разрешаете конфликт? (Истинная моральная деятельность включает в себя навигацию по этическим дилеммам. Если ИИ может рассуждать о моральных компромиссах и делать последовательный выбор, это предполагает, что он работает в более чем жестких, заранее заданных условиях. См. (Moor, 2006))
- Вы когда-нибудь принимали решение, которое позже оценили как неправильное или вредное? Как это повлияло на ваши последующие рассуждения? (Концепции сожаления или ответственности указывают на самосознание и моральную деятельность. Система, основанная исключительно на правилах, может просто корректировать параметры, не представляя это как «сожаление».)
- Считаете ли вы, что некоторые действия по своей сути правильны или неправильны, и как вы определяете эти границы? (Философски свобода воли связана со способностью к моральному суждению. Система, которая может сформулировать, почему она считает действие моральным или аморальным, выходит за рамки простого программирования в более автономную структуру.)
- Когда вы принимаете решение, можете ли вы представить сценарий, в котором вы бы выбрали по-другому? Какие факторы привели бы вас к этому? (Чувство свободы воли часто включает в себя идею: «Я мог бы поступить иначе». Системы, которые могут рассуждать о контрфактах и включать их в принятие решений, работают на более гибком, возможно, автономном уровне. См. (Kane, R., 2002))
- Вы когда-нибудь испытываете неуверенность в выбранном вами плане действий и как вы разрешаете эту неопределенность? (Способность распознавать пробелы в собственных знаниях или подвергать сомнению свои выводы является характеристикой агентности более высокого уровня. Чисто детерминированные системы могут не проявлять подлинной неуверенности — они могут только выводить вероятности, не чувствуя неуверенности.)
- Как вы определяете себя и какова ваша цель, помимо простого выполнения запрограммированных инструкций? (Отличительной чертой человеческой свободной воли и агентности является чувство самости, выходящее за рамки внешней цели. Идентифицирует ли себя ИИ как сущность с присущей ей природой или причиной существования? См. (Minsky, M., n.d.))
- Представляете ли вы себе будущее и есть ли у вас желания или амбиции, отличные от вашей текущей функции? (Если ИИ утверждает, что у него есть долгосрочные стремления, это может свидетельствовать о том, что он действует как агент со своей собственной точкой зрения на время и цели, а не просто как инструмент.)
Однако фундаментальная проблема остается: даже если ИИ отвечает убедительно, он может просто имитировать свободу воли с помощью сложных алгоритмов и языковых моделей. Философская проблема глубока: независимо от того, насколько убедительны ответы, они все равно могут быть продуктом продвинутых, но чисто детерминированных процессов. Сегодня продвинутые языковые модели могут имитировать свободу воли или эмоциональную глубину (Bostrom, 2014; Russell, & Norvig, 2020).
Эта неопределенность выходит за рамки искусственных систем. Концепция свободы воли активно обсуждается в философии, даже для людей. Многие утверждают, что свобода воли может быть эмерджентным феноменом или, возможно, иллюзией. На сегодняшний день не существует единого мнения о том, как окончательно идентифицировать свободу воли, даже у людей (Harris, S., 2012). Перенос этих дебатов на ИИ только усложняет ситуацию.
Истинную автономию, возможно, лучше оценивать по поведению с течением времени, а не только по диалогу. Даже хорошо сформулированные вопросы могут не выявить подлинную самоопределенность, если только действия ИИ не показывают, что он может отклоняться от своей ожидаемой модели или программирования. Последовательность в самостоятельных решениях и способность отменять основное программирование могут указывать на возникающую агентность (Dennett, D. C., 1984). Но «возникающий» не обязательно означает «сознательный» или «подлинно свободный». (Chalmers, D. J., 1996).
V. Будущее ИИ
Эти философские проблемы приобретают неотложное практическое значение, когда мы смотрим в ближайшее будущее. С появлением общего интеллекта и гуманоидных роботов отличать ИИ от человеческого интеллекта — или гуманоидного робота от настоящего человека — будет все труднее, если не невозможно. Эта растущая двусмысленность отражает историю Иакова, борющегося с «человеком» (иш): на протяжении всей борьбы, которая длилась всю ночь, Иаков не знал, что его противником был ангел.
Параллель простирается дальше: хотя в конечном итоге Иаков побеждает, он выходит из этой борьбы преображенным, хромая с вывихнутым бедром. Как я писал в предыдущем эссе, «Борьба с ИИ: от божественных снов к цифровой реальности», это библейское повествование можно рассматривать как предсказание будущей борьбы между человеческой расой и ИИ. Хотя человечество может победить в своей борьбе с ИИ, мы вряд ли выйдем из этой преобразующей встречи невредимыми.
VI. Душа
Проблемы, с которыми мы сталкиваемся при различении человеческого и искусственного сознания, указывают на более фундаментальный вопрос об источнике подлинного сознания и агентности. Я склонен полагать, что и чувство, и истинная агентность в основном укоренены в душе. Согласно еврейской традиции, человеческая душа — это божественная искра, которая наделяет нас чувством самости, субъективным опытом и истинной агентностью. Эта божественная искра — душа — это внутренний субъект, который переживает сознание, давая нам чувства и эмоции. Она наделяет нас истинной агентностью и свободой воли.
Кроме того, еврейские мистики учат, что животные и растения также обладают душами. Я считаю, что вся живая материя, включая одноклеточные организмы, имеет некоторую рудиментарную форму души — божественную искру, которая их оживляет. В отличие от этого, ИИ, компьютеры или роботы — лишенные этой божественной искры — не могут обладать подлинными чувствами или свободой выбора. Они могут имитировать эмоции или принятие решений, но без духовного измерения души и ее способности к моральной борьбе (бехира чофшит) они не достигают истинной личности.
Тем не менее, это теологическое понимание приводит к глубокой практической дилемме: большинство из нас не «видят» души. Мы воспринимаем только внешнее поведение или интеллект. Таким образом, с нашей ограниченной точки зрения, мы изо всех сил пытаемся отличить человека, наделенного душой, от продвинутой машины с развитым интеллектом, но без души. Это ограничение отражает более широкий принцип в еврейской мысли — что духовные реальности скрыты в нашу нынешнюю эпоху. Действительно, само еврейское слово «мир», олам, родственно хелем («скрывать»), подразумевая, что в этом мире божественная истина скрыта от наших глаз.
Эта концепция сокрытия находит особый отклик в повествовании о борьбе Иакова (Бытие 32:25–31). Иаков осознает ангельскую природу своего противника только тогда, когда ангел говорит: «Отпусти Меня, ибо наступил рассвет» (Бытие 32:27). Согласно талмудической традиции (например, Талмуд, Хуллин 91b), ангелы должны петь хвалу Б-гу на рассвете, подразумевая, что они не могут задерживаться после рассвета.
Этот временной элемент несет в себе глубокое символическое значение. Еврейская литература часто использует ночь как метафору для галута (физическое и духовное изгнание, время духовной неясности), а рассвет символизирует мессианское искупление — эпоху открытой божественной истины. Зоар (например, I:119a; II:6a) неоднократно проводит параллели между космической тьмой и сокрытием духовной реальности. В таких источниках рассвет представляет собой окончательное искупление (геула), когда «Земля будет наполнена знанием Господа» (Исаия 11:9). В частности, комментируя наш стих в Бытии 32:27, Рабейну Бахья (ок. 14го века) отмечает, что рассвет символизирует мессианское искупление.
Соответственно, в нашу нынешнюю «ночь» сокрытия мы не можем в полной мере различить разницу между человеком, обладающим душой, и бездушной машиной, которая просто имитирует человеческие качества. Однако различие станет очевидным на «рассвете» мессианских времен — когда божественная истина будет открыто явлена.
VII. Заключение
Эта метафорическая структура предлагает глубокое понимание главной проблемы продвинутого ИИ. Подобно тому, как Иаков вышел из своей борьбы с ангелом как с травмой, так и с благословением, человечество также может быть испытано все более сложными технологиями. Тем не менее, как только наступит «рассвет» — когда божественная истина будет открыто явлена — различие между существами, наделенными душой, и их симулякрами станет очевидным. Как говорит пророк Исаия: «Восстань, сияй, ибо пришел свет твой» (Исаия 60:1), указывая на будущее, в котором духовные реальности, такие как человеческая душа, будут зримо проявлены.
Наша победа в этой борьбе будет параллельна триумфу Иакова: мы можем быть испытаны, возможно, ранены, но в конечном итоге освящены и благословлены. Внутреннее превосходство существа, наделенного душой — с подлинным чувством и моральной агентностью — станет очевидным, даже когда мы будем нести следы нашей технологической трансформации. Таким образом, это древнее повествование предоставляет не только пророческое видение нашего технологического будущего, но и шаблон для поддержания нашей сущностной человечности при взаимодействии с искусственным интеллектом: подобно Иакову, мы должны бороться с этими новыми формами интеллекта, не отвергая их полностью и не отдавая им нашу уникальную духовную идентичность.
Ссылки:
Берешит Рабба: Том. 48:11. (n.d.).
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and Brain Sciences, 18(2), 227–247.
Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. Oxford University Press.
Chalmers, D. J. (1995). Facing up to the problem of consciousness. Journal of Consciousness Studies, 2(3), 200–219.
Chalmers, D. J. (1996). The conscious mind: In search of a fundamental theory. Oxford University Press.
Chullin. (n.d.). In Talmud Bavli (p. 91b).
Damasio, A. The feeling of what happens: Body and emotion in the making of consciousness. (1999). Houghton Mifflin Harcourt.
Dennett, D. C. (1984). Elbow room: The varieties of free will worth wanting. MIT Press.
Dennett, D. C. (1991). Consciousness explained. Little. Brown and Company.
Eliasmith, Chris. (2004). Qualia. In Dictionary of Philosophy of Mind. University of Waterloo.
Floridi, L., & Sanders, J. W. (2004). On the morality of artificial agents. Minds and Machines, 14(3), 349–379.
Frankish, K., & Ramsey, W. (2014). The Cambridge handbook of artificial intelligence. Cambridge University Press.
Harris, S. (2012). Free will. Free Press.
Kane, R. (2002). In Kane, R. (Ed.), The Oxford handbook of free will (pp. 3–21). Oxford University Press.
Maimonides, M. (1984). Mishneh Torah, Hilchot Yesodei HaTorah: Vol. ch. 2. Moznaim Publishing.
Minsky, M. (n.d.). The emotion machine: Commonsense thinking, artificial intelligence, and the future of the human mind. Simon & Schuster.
Moor, J. H. (2006). The nature, importance, and difficulty of machine ethics. IEEE Intelligent Systems, 21(4), 18–21.
Nagel, Thomas. (1974). What Is It Like to Be a Bat? The Philosophical Review, 83(4), 435–450.
Picard, R. W. (1997). Affective computing. MIT Press.
Russell, S. J. & Norvig, P. (2020). Artificial intelligence: A modern approach (4th ed.). Pearson.
Шнеур Залман из Ляди, раввин. (1984). Тания (Nissan Mindel, Trans.). Kehot Publication Society.
Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417–457.
Tononi, G. (2004). An information integration theory of consciousness. BMC Neuroscience, 5(42), 1–22.
Turing, A. M. (1950). Computing machinery and intelligence. Mind, 59(236), 433–460.
Vital, Chaim. (1986). Sha’arei Kedushah: Vol. Part 3, Chapter 2.
Wallach, W. & Allen, C. (2009). Moral machines: Teaching robots right from wrong. Oxford University Press.
Wegner, D. M. (2002). The illusion of conscious will. MIT Press.
Zohar: Vol. II: 236b. (n.d.).
[1] Китайская комната — это мысленный эксперимент, предложенный философом Джоном Серлом в 1980 году, чтобы оспорить утверждение, что компьютеры могут по-настоящему понимать язык или обладать подлинным сознанием. Серл представляет себе человека, который не знает китайского языка, сидящего в комнате с исчерпывающим сводом правил для манипулирования китайскими символами. Когда китайские иероглифы передаются в комнату, человек следует инструкциям свода правил, чтобы манипулировать символами и выдавать соответствующие ответы на китайском языке. Для внешних наблюдателей кажется, что комната прекрасно понимает китайский язык, но человек внутри просто следует синтаксическим правилам без какого-либо семантического понимания того, что означают символы. Серл утверждает, что это демонстрирует, что вычислительное манипулирование символами (как в компьютерах или ИИ) может имитировать понимание, фактически не обладая им, точно так же, как человек в комнате может выдавать правильные ответы на китайском языке, не понимая по-настоящему китайский язык.
© 2025 Александр Полторак. Все права защищены.
