Читать «Седьмое чувство. Под знаком предсказуемости: как прогнозировать и управлять изменениями в цифровую эпоху» онлайн - страница 193

То, что исходило из того незамысловатого «стихотворения» NASA: «Наши роботы предшествуют нам», было страхом: существующий искусственный интеллект был только наживкой. Мы жадно набрасываемся на него, надеясь, что он снимет человеческую боль, только для того, чтобы понять, что мы сами попались на крючок и в ближайшее время будем съеденными. Представляется весьма маловероятным допущение, что суперинтеллектуальное устройство всегда будет достаточно послушным нам, отвлечет нас от его тайных систем управления или выявит свои нарастающие проблемы, которые мы сможем без затруднений понять. Если честно, нам потребовалось бы достаточно много времени, чтобы разобраться в его системе управления, не говоря уже о том, чтобы добраться до них. Большая часть наших побуждающих мотивов позволят искусственному интеллекту эффективно вмешиваться в жизнь все большего и большего числа людей. Научить и поощрять его быть непокорным, а в некоторых ситуациях крайне непослушным, могло бы стать оружием нападения на наших врагов, наших политических оппонентов и, наконец, друг на друга. Для Винджа было достаточно легко предвидеть, чем это закончится. Это не было некой возможной хозяйской надеждой на помощь «декоративной собачки» – искусственного интеллекта. Это было устройство-ротвейлер с ярко выраженным интересом к «мясному» запаху власти, насилию и алчности.

Эта проблемы вызвала интерес у оксфордского философа Ника Бострома, который провел следующий мыслительный эксперимент. Представьте себе сверхинтеллектуальную машину, запрограммированную делать все необходимое, чтобы с высокой скоростью производить скрепки. Это мог бы быть компьютер, который подключен ко всем ресурсам, необходимым для решения этой задачи. Иди и вычисли это! Вот и все, что его люди-инструкторы могли бы сказать. По мере того как искусственный интеллект, осуществляющий производство скрепок становится все лучше и лучше в выполнении своей задачи, он требует все больше и больше ресурсов: больше электроэнергии, стали, средств производства и доставки. Скрепки складываются. Машина осматривается. «Если бы только я могла контролировать энергообеспечение», – размышляет она. Она наблюдает за доставкой. Берет под контроль горнодобывающую промышленность. Людей. И так, амбициозна в своем производстве большего количества и лучшего качества скрепок, что она начинает думать о своих владельцах, которые не в состоянии остановить ее до тех пор, пока она не переработает весь мир в скрепки. Вы должны были надеяться, что кто-то вспомнил и поместил команду Холта в ее логику.