Читать «Седьмое чувство. Под знаком предсказуемости: как прогнозировать и управлять изменениями в цифровую эпоху» онлайн - страница 194

Безусловно, проволочная «машина» Ника Бострома является вымышленной опасностью, и никто не забудет дать команду этой машине прекратить делать скрепки, но то, как он смотрит на эту проблему, представляется не таким уж маловероятным. Если люди могут потерять рассудок, его может в некотором смысле утратить и искусственный интеллект. «Мы не можем беспечно предполагать, что сверхинтеллект обязательно поделиться конечной стоимостью продукта, стереотипно полагаясь на мудрость и интеллектуальное развитие человечества, – пишет Бостром. – Не менее вероятно и технически проще, что мы построим суперинтеллект, который превратит конечную стоимость в ничто, что поддается расчету». Поскольку эти устройства мыслят таким образом, что мы не понимаем, мы, конечно, не можем следовать за ними в реальном времени и сталкиваемся со следующей проблемой: мы не знаем, как сказать машине – не делай этого. Как много того, чему мы могли бы надеяться научить ее: быть милосердной, бороться за свободу, следовать моральному кодексу, – все это выходит далеко за рамки того, что может быть достигнуто посредством математических вычислений. Мы, в конце концов, не решили проблему даже затем, чтобы запрограммировать самих себя для достижения этих ценностей.

Если машина Бострома, производящая бумажные скрепки, вам кажется фантастической, достаточно легко представить другие, более реальные опасности, остающиеся за гранью человеческого контроля. Вспомните о медико-санитарной помощи. Первоначально вы должны узнать о том, что представляет собой головоломка, известная в теории игр как «ультимативная проблема». Все происходит следующим образом. Я говорю вам, что вы можете выиграть приз в миллион долларов, но вы должны разделить его с кем-то другим. Как вы разделите его, остается на вашем усмотрении, но существует требование: если ваш партнер отказывается от доли, которую вы ему предлагаете, никто из вас не получит и цента. Если разделить банк, отдав лишь доллар вашему приятелю, а остальное оставить себе? Это оскорбит его. Ваш друг откажется наверняка. Но что вы должны решить? Можно было бы ожидать, что разумно было бы разделить все поровну, но все люди жадные. Таким образом, ваш партнер не захочет остаться ни с чем, а вы продолжаете желать большего, полагая, что можете получить это. Когда ученые рассматривают этот коктейль жадности и страха, они полагают, что предложение в $ 300 000 почти всегда принимается. Тем не менее есть удивительный способ изменить результат – противопоставить человека компьютеру в этих переговорах. Приятель, предлагающий другу поделиться в долях восемьдесят к двадцати, скорее всего получит отказ. Слишком жаден. А если компьютер сделает подобное предложение? Обезличенное отсутствие очарования у машины, подающей только звуковые сигналы, притягивает биологических игроков к нахождению компромисса. И предложение в $ 200 000, как правило, к общему удовлетворению принимается.