Читать «Последнее изобретение человечества» онлайн - страница 148
Джеймс Баррат
В книге 1998 г. «Размышления об искусственном интеллекте» (Reflections on Artificial Intelligence) Блей Уитби утверждает, что из-за принципиальной непознаваемости таких систем мы проявим большую глупость, если используем их в «критичных по безопасности» ИИ:
«Проблемы, которые [специально разработанная алгоритмическая] система испытывает с созданием программного обеспечения для критичных по безопасности приложений, — ничто по сравнению с тем, с чем мы столкнемся при более современных подходах к ИИ. Программное обеспечение, в котором используется какая-то нейронная сеть или генетический алгоритм, непременно вызовет еще одно затруднение: оно окажется, часто почти по определению, "непознаваемым". Под этим я подразумеваю, что точные правила, которые позволили бы нам полностью предсказать его поведение, отсутствуют, а часто и не могут быть получены. Мы можем знать, что система работает, можем испытать ее на множестве случаев, но мы никогда не сможем точно сказать, как именно она это делает… Это означает, что проблему нельзя откладывать, поскольку и нейронные сети, и генетические алгоритмы находят в реальном мире множество применений… Это область, где большую часть работы еще только предстоит проделать. Общий дух исследований ИИ, как правило, говорит больше о приложении всех усилий к тому, чтобы техника работала, нежели о внимательном рассмотрении возможных последствий в плане безопасности…
Один практик однажды предположил, что несколько «небольших» аварий были бы даже желательны, чтобы сосредоточить внимание правительств и профессиональных организаций на задаче производства безопасного ИИ. Но, может быть, лучше начать заранее.
Да, всенепременно, давайте начнем
Критичными по безопасности приложениями ИИ, о которых писал Уитби в 1998 г., были управляющие системы для автомобилей и самолетов, атомных электростанций, автоматического оружия и т. п. — архитектуры слабого ИИ. Прошло уже больше десяти лет в мире, где должен появиться УЧИ, и мы должны заключить, что масштабы опасностей таковы, что
Дэвид Ферруччи:…Он учится вносить поправки в свою интерпретацию, опираясь на верные ответы. И теперь от неуверенности он начинает переходить к уверенности в правильных ответах. А затем он может, ну, как бы совершить скачок.
