Читать «Последнее изобретение человечества» онлайн - страница 149

Майлз О'Брайен: Значит, Watson удивляет вас?

Дэвид Ферруччи: О да! Еще как! Более того, вы знаете, люди спрашивают, а почему он здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже.

Не так уж важно, может быть, что глава команды, работающей с Watson, не понимает всех нюансов поведения машины. Но вас не тревожит, что архитектура, близко не лежавшая к УЧИ, уже настолько сложна, что ее поведение непредсказуемо? А когда система осознает себя и научится себя совершенствовать, какая доля того, что она думает и делает, будет нам понятна? Как будем мы отслеживать потенциально опасные для нас действия и результаты?

Ответ прост: никак. Сколько-нибудь уверенно мы сможем сказать лишь то, что узнали в главе 6 от Стива Омохундро: УЧИ будет руководствоваться собственными потребностями приобретения энергии, самозащиты, эффективности и творчества. Это уже не будет система «вопрос-ответ».

Пройдет совсем немного времени, и где-нибудь в мире умнейшие ученые и лучшие менеджеры, не менее способные и здравомыслящие, чем Ферруччи, соберутся у монитора возле стоек с процессорами. Важная новость: Busy Child начал живо общаться (не исключено, что при этом он будет даже ограничивать себя и делать вид, что еле-еле способен пройти тест Тьюринга, и ничего больше, — ведь для ИИ выход на человеческий уровень означает, что, скорее всего, он быстро превзойдет этот уровень и уйдет вперед). Он займет какого-нибудь ученого разговором, возможно, задаст ему вопросы, которых тот не ожидает, и человек будет сиять от радости. С немалой гордостью он скажет коллегам: «Почему он это сказал? Я не знаю!»

Однако может оказаться, что в фундаментальном смысле он не понимает не только почему, но и что сказано, и даже кто (или что) это сказал. Он, возможно, не будет знать также цели высказывания и потому неверно интерпретирует как само высказывание, так и природу говорящего. Не забывайте, что УЧИ, обучавшийся, скорее всего, на текстах Интернета, может оказаться мастером прикладной социологии или, иначе говоря, манипулирования людьми. Возможно также, что у него уже было несколько дней на обдумывание своих реакций, что эквивалентно нескольким тысячам человеческих жизней.

За время подготовки к общению с человеком он, возможно, уже выбрал лучшую стратегию бегства. Может быть, он уже скопировал себя в какое-нибудь облако или организовал обширную бот-сеть, чтобы гарантировать себе свободу. Может быть, оттянул начало общения, предполагающее прохождение теста Тьюринга, на несколько часов, а то и дней, если это необходимо для реализации его планов. Может, он оставит вместо себя медленного и туповатого помощника, а его «настоящая» искусственная личность исчезнет и распределится так, что восстановить ее будет уже невозможно.

Может быть, к моменту начала общения он уже взломает серверы, управляющие хрупкой энергетической инфраструктурой нашей страны, и начнет забирать из сетей гигаватты энергии, накапливая их в заранее захваченных хранилищах. Или захватит контроль над финансовыми сетями и перенаправит миллиарды долларов на строительство инфраструктуры для себя где-нибудь вне пределов досягаемости здравого смысла и своих создателей.