Последнее предупреждение

Если какая-то верная идея вас раздражает, обычно она соответствует хотя бы одной психологической ошибке.

Роберт Пирсиг (Robert Pirsig) сказал: «Самый большой глупец в мире может сказать, что солнце светит, но из этого не следует, что на самом деле вокруг кромешная тьма». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гарро (Garreau) (2005), по-видимому, утверждает, что сценарий постепенного усиления искусственного ума является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке наложения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о психологических систематических ошибках, чем не знать о них. В противном случае мы попадем прямо во вращающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в систематических ошибках мышления. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.

Джерри Кливер (Jerry Cleaver) сказал: «Вы терпите неудачу не из-за ошибок в использовании сложных и замысловатых методов. Нет, причина в том, что вы упускаете из виду что-то простое. Например, забываете следить за мячом».

Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение

Почему нам нужна отдельная дисциплина, изучающая глобальные риски? Падающие астероиды не похожи на сконструированные супервирусы; физические катастрофы — это не нанотехнологические войны. Почему бы не рассматривать каждую из этих проблем по отдельности?

Если кто-то предполагает физическую катастрофу, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание в Кастель Браво вызвало взрыв в 15 мегатонн, вместо 4—8 мегатонн, по причине неучтенной термоядерной реакции с участием лития-7. Они правильно решили неверное уравнение, забыли подумать обо всех слагаемых, которые должны были быть включены, и в результате, по крайней мере, один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к сборнику «Принятие решений в условиях неопределенности».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю кое-что — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать.

Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физику сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция.

Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствие превосходными. Таким образом, рекрутер имеет высокую оценку своих способностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько предубеждений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, объемного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше.

Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку. (Качелмейер и Шихета (Kachelmeier and Shehata 1992) предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп «испанка» в 1918 году убил 25—50 миллионов человек. Вторая мировая война убила 60 миллионов. 10⁷ — таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значительно бóльшие числа, такие как 500 миллионов смертей, и особенно — качественно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением. Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, которые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать истребление человечества с абсолютным спокойствием. «Истребление человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не плохи, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.

Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной литературы, посвященной психологии глобальных рисков. А она должна быть.

В математическом представлении теории решений на основании теоремы Байеса имеется концепция ценности информации — ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом — ценность вычислений, охватывающих некие данные, определяется на основе самих данных. (Good 1952); (Horvitz et al. 1989).

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Сент-Дьёрди (Albert Szent-Györgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они простираются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.