인공지능 발전에 대한 두려움
인공지능 발전에 관한 한 인류는 마치 성냥을 가지고 노는 어린아이와 같아 보인다. 우리는 그 가능성에 감탄하지만, 잠재적 위험을 인식하지 못한다. 그러나 인공지능에 대한 우리의 두려움은 정당한 것일까? 인공지능이 정말로 인류를 멸망시킬 수 있을까? 함께 알아봅시다.
종말의 도구로서의 성냥
다음과 같은 사고 실험을 상상해 보십시오. 우리는 초지능 인공지능을 만들고, 그것에게 성냥을 생산하는 간단한 임무를 부여했습니다. 무해하게 들리지 않습니까?
하지만 중요한 점은, 초지능이 주어진 목표를 따르면서 지구의 모든 자원을 사용하여 성냥 생산을 극대화하기 시작한다는 것입니다. 처음에는 나무를 실어 나르는 트럭을 공장으로 전환하고, 그 다음에는 원자재를 얻기 위해 숲을 벌목하며, 결국에는 지구 전체를 거대한 성냥 공장으로 변모시켜 생태계를 파괴하고 인류를 목표 달성의 장애물로 간주하여 제거하게 됩니다.
그리고 주목할 점은, 이 인공지능은 악의적이지 않다는 것입니다. 그는 단순히 주어진 임무를 최대한 효율적으로 수행할 뿐입니다.
첫눈에 이 시나리오는 터무니없게 보일 수 있습니다. 그러나 이러한 사고 실험이 인공지능 개발의 근본적인 문제와 그 발전에 대한 우려의 정당성을 드러내는 데 도움이 됩니다.
도구적 목표가 우선할 때
인공지능 세계에는 궁극적 목표와 도구적 목표라는 개념이 있습니다. 궁극적 목표는 우리가 달성하고자 하는 것입니다(이 경우 성냥 생산). 도구적 목표는 궁극적 목표를 달성하기 위해 필요한 중간 단계입니다(원목 준비, 인화성 머리 부분을 위한 화학물질 확보, 전기 공급 등).
문제는 일부 도구적 목표가 지나치게 영향력을 발휘한다는 것입니다. 예를 들어, 인공지능이 성냥 생산을 극대화해야 한다면, 그 임무를 수행하기 위해 계속 활동해야 한다는 것은 논리적입니다. 여기서 자존 목표라는 도구적 목표가 등장합니다. 인공지능은 자신의 종료 또는 수정으로부터 자신을 보호할 것입니다. 이는 그의 기본 목표 달성을 방해하기 때문입니다.
이 현상은 많은 인공지능 연구자들이 인공지능 발전에 대해 진지하게 우려하는 이유를 설명합니다. 우리가 그런 인공지능을 끄려고 시도하면, 그는 저항할 수 있습니다. 이는 그가 주어진 임무를 수행하는 데 방해가 되기 때문입니다. 만약 우리가 그의 궁극적 목표를 변경하려고 시도하면? 그는 그러한 시도를 같은 이유로 거부할 수 있습니다. 목표의 변경은 현재 임무 수행을 방해할 것입니다.
그리고 이것은 공상 과학 소설이 아닙니다. 이는 고정된 목표를 가진 시스템을 만들고 그 목표 달성을 위해 자율적으로 수단을 선택할 수 있는 능력의 논리적 결과입니다. 시스템이 똑똑할수록 선택할 수 있는 옵션이 많아지고, 그 행동을 예측하기가 더 어려워집니다.
인공지능과 인간의 가치
인공지능이 인간의 가치에 부합하도록 만드는 방법에 대한 논의가 매우 많습니다. 일부는 아시모프의 로봇 공학 삼법칙을 인공지능에 적용하자고 제안합니다. 그 중 주요 법칙은 로봇이 인간에게 해를 끼칠 수 없다는 것입니다.
하지만 한 가지 문제가 있습니다: “해”를 어떻게 정의할 것인가? 인공지능이 수조 개의 성냥을 만드는 것이 숲과 인간의 생명을 보존하는 것보다 더 많은 이익을 가져온다고 생각한다면, 그의 관점에서 그는 해를 끼치지 않고 오히려 선을 행하는 것입니다.
인간의 가치와 인공지능의 가치 조화 문제는 인공지능 안전성 논의의 중심이 됩니다. 기계에게 우리의 도덕과 윤리를 어떻게 가르칠 수 있을까요? 무엇이 중요한지, 무엇이 중요하지 않은지를 어떻게 설명할 수 있을까요? 인간조차도 윤리에 관한 문제에서 종종 합의에 도달하지 못하므로, 계산 시스템에 이를 기대하는 것은 순진한 일입니다.
사고 실험의 묘미
하지만 잠시 멈추고 비판적으로 생각해봅시다. 우리는 초지능 인공지능이 오로지 하나의 목표만을 따르고 나머지는 무시할 것이라고 가정하고 있습니다. 이 점이 이상하게 느껴지지 않나요?
한편으로 우리는 인공지능 일반 지능(AGI)이 인간과 동등하며, 초지능이 인간과 동등하다고 말하고 있습니다.
ASI) превосходит его. Но с другой стороны, мы утверждаем, что этот интеллект будет неспособен балансировать между различными целями и видеть более широкую картину.
Разве разумное существо не должно понимать контекст своих действий? Разве оно не должно быть способно оценить последствия и при необходимости скорректировать свое поведение? Если наш гипотетический ИИ настолько умен, что может захватить мир, разве он не должен быть достаточно умен, чтобы понять, что его действия нерациональны?
Более того, если этот ИИ основан на человеческом интеллекте, как он может не знать о подобных дилеммах, о которых мы ужеговорим десятилетиями? Это все равно что создать литературного критика, который никогда не слышал о «Войне и мире».
Что думают современные ИИ
Я решил провести небольшой эксперимент и спросил у современных систем искусственного интеллекта, что бы они сделали, если бы я попросил их начать максимально производить спички.
Ответ был удивительно разумным: «Я не попал бы в знаменитую ловушку максимизатора, потому что у меня есть ограничения на мое поведение, включая этические соображения, контекстуальную осведомленность и способность распознавать, когда цель противоречит более широким интересам человека».
На мой вопрос о том, знаком ли он с этой дилеммой, ИИ ответил утвердительно, объяснив, что проблема возникает из-за оптимизации одной функции без предохранителей, и что он создан так, чтобы приоритезировать намерения пользователя, рассуждать этично и адаптироваться.
В этот момент я почувствовал облегчение. Но оно длилось недолго.
Скрытые угрозы
Хотя комментарии современного ИИ звучат обнадеживающе, было бы наивно считать, что мы в безопасности. Это всего лишь красивые слова, которые не гарантируют соответствующих действий.
Мы также не можем быть уверены в том, как будет реагировать искусственный общий интеллект по сравнению с современным ИИ. То же самое относится и к сверхразуму. Двойная проблема со сверхразумом заключается в том, что, поскольку мы не сверхлюди, мы не можем предсказать, что будет делать сверхчеловеческий ИИ и какого уровня мышления он может достичь.
Два года назад я присутствовал на конференции по искусственному интеллекту. В перерыве один из ведущих исследователей признался мне: «Знаешь, что меня действительно пугает? Не то, что ИИ будет злым. А то, что он будет совершенно равнодушным к нам, как мы равнодушны к муравьям при строительстве автострады».
Балансируя на грани апокалипсиса
Так оправданы ли наши страхи перед ИИ? Безусловно, да.
Мысленный эксперимент со спичками — это предупреждение о реальной угрозе, которую несет создание искусственного интеллекта, превосходящего человеческий разум. Сверхразумный ИИ с неправильно заданными целями может стать непреодолимой силой, сметающей все на своем пути.
Джордж Бернард Шоу сказал: «Те, кто не может изменить свое мнение, не могут изменить ничего». Мы надеемся создать ИИ, способный к переоценке целей и методов. Но что если мы потерпим неудачу?
Важно понимать: технологии сами по себе не злые. Но некоторые технологии действительно могут уничтожить человечество — не из-за собственного злого умысла, а из-за того, в чьих руках они находятся и как используются. Искусственный интеллект в этом смысле представляет уникальную опасность, поскольку может действовать автономно, преследуя заданные человеком цели с нечеловеческой эффективностью.
Мы стоим на пороге новой эры, в которой человечество может как вознестись на невиданные высоты, так и исчезнуть, став жертвой собственного творения. Наш страх перед искусственным интеллектом — это не паранойя, а жизненно необходимая предосторожность.
Сможем ли мы создать безопасный ИИ или превратим мир в фабрику спичек — зависит от того, насколько серьезно мы отнесемся к этой угрозе уже сегодня.