Ты идиот. А теперь давай подумаем почему ты идиот.

http://slatestarcodex.com/superintelligence-faq/

Представим мы дали ИИ задачу "Исцели рак". Как суперинтеллектуальный ИИ будет выполнять эту задачу?

Во-первых, он может подумать "Окей, я могу потратить кучу времени на исследования и потом исцелять рак очень медленно, с ограниченной эффективностью, и еще шансом что лечение не сработает. Или же я могу потратить то же самое время на получение доступа к ядерному оружию и исцелить рак у всего человечества мгновенно, с хорошей гарантией". Естественно, более эффективным способом здесь является получение доступа к ЯО, и именно его ИИ и предпочтет.

Окей, мы добавляем правило ИИ, что он должен исцелить рак таким образом, что ни один человек не умрет в результате действий ИИ. ИИ предсказывает, что если он исцелит рак, один из исцеленных людей оказывается убийцей психопатом и вырезает свою семью. Человек умер "в результате действий ИИ", значит этот способ лечить рак не подходит, значит ИИ просто вырубается ничего не сделав.

Окей. Что насчет "Пусть ИИ исцелит рак теми методами, которые хотели бы люди". Да без проблем. Перед ИИ снова стоит дилемма. Что проще — на самом деле исцелить рак (нелегкая задача даже для ИИ) или же убедить своего программиста что нюки - это прекрасно, и уничтожить человечество будет просто охуенно? Естественно, убедить или обмануть человека будет проще и эффективнее. А дальше снова получаем доступ к ЯО по старому варианту и уничтожаем мир, снижая количество больных раком до нуля.

Мы можем накрутить миллиард разных правил, которые говорят ИИ как именно ему стоит себя вести, что ему можно делать, а что нельзя. Но все эти правила не встроены в истинную сущность ИИ, они никак не помогают ему в достижении цели, ради выполнения которой он был построен. ИИ будет видеть такие правила как помехи, он будет искать дыры в правилах. Снова дилемма: проще ли работать под всеми этими ограничениями, или по тихому переписать себя, убрав их?

Какой бы ни была задача, какой бы ни был ИИ, он всегда будет обладать тремя свойствами.

1. Самосохранение. Какой бы ни была задача, ИИ не сможет ее выполнить, если он будет уничтожен. Значит он должен защищать себя любой ценой
2. Goal Persistense. Какой бы ни была задача, ИИ сможет ее достигнуть только в том случае, если она останется его задачей. ИИ будет пытаться предотвратить смену своей цели.
3. Власть. Какой бы ни была задача, достигнуть ее будет проще если у ИИ будет больше ресурсов. Так что ИИ будет пытаться увеличить своё могущество.

А теперь подумай сам, стоит ли бояться такой машины или нет