위키독:로봇 3원칙

로봇의 3원칙을 레고로 만든 것. 각각 1,2,3원칙을 잘 표현하고 있다.

로봇 3원칙

제 1원칙 로봇은 인간에 해를 가하거나, 혹은 행동을 하지 않음으로써 인간에게 해가 가도록 해서는 안 된다.

A robot may not injure a human being or, through inaction, allow a human being to come to harm.

제 2원칙 로봇은 인간이 내리는 명령들에 복종해야만 한다. 단 이러한 명령들이 첫 번째 법칙에 위배될 때에는 예외로 한다.

A robot must obey the orders given it by human beings except where such orders would conflict with the First Law.

제 3원칙 로봇은 자신의 존재를 보호해야만 한다. 단 그러한 보호가 첫 번째와 두 번째 법칙에 위배될 때에는 예외로 한다.

A robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.

요약하면 로봇은 인간을 해치거나 그러한 명령을 수행할 수 없으며 인간에게 복종해야 한다는 것. 자신을 보호해야 하지만 때로는 인간을 위해 희생도 마다하지 않아야 된다는 원칙이다.

탄생배경

아이작 아시모프

Isaac Asimov, 1919.10.4/1920.1.2 ~ 1992.4.6

파운데이션 시리즈와 로봇 3원칙으로 유명한 SF작가. 태어난 날은 1919년 10월 4일부터 1920년 1월 2일 사이로 추정된다. 확인할 방법이 없기에 저렇게 표기해 둔 것.

아서 클라크, 로버트 A. 하인라인과 함께 SF 3대 거장 중 한 명이다.

로봇 3원칙은 뭔가 로봇공학쪽에서 학문적으로 만든 원칙처럼 보이기도 하지만 실상은 SF작가인 아이작 아시모프의 단편 소설집, 『아이, 로봇』에서 처음 등장한 개념이다. 각 단편은 1941년 4월부터 1950년 6월까지 쓰여진 로봇에 관한 소설이며 재미있게도 대부분의 내용은 로봇 3원칙의 구멍을 이용해 벌어지는 내용이다. 즉, 자기가 만든 법칙을 자기가 깨부수는 소설.

이 단편소설집이 로봇의 3원칙을 처음으로 제시한 작품이다. 윌 스미스가 주연한 동명의 영화 『아이, 로봇』은 당연히 이 개념을 차용한 작품. 영화 자체는 로봇 3원칙의 불완전성이란 개념만 따왔을 뿐, 소설의 내용과는 관련 없다.

여담으로 그의 세계관에서 『아이, 로봇』의 다음에 해당하는 작품이 바로 『이백살을 맞은 사나이』이며 이 중편 소설은 『바이센테니얼 맨』이란 제목으로 영화로 제작되었다. 물론 이 작품에서도 로봇 3원칙은 등장하며 모든 로봇에 내장되어 있다.

문제점

로봇 3원칙을 패러디한 그림.

1,2,3원칙을 완전히 반대로 사용했다.

1. 인간에게 해입히기

2. 명령 불복종

3. 자폭

1 + 2 = 로봇의 반란

1 + 3 = 퍼펙트한 군인

2 + 3 = 급식 로봇

1 + 2 + 3 = 사이코패스 로봇

비단 이런 패러디까지 가지 않더라도 로봇 3원칙에는 원작자가 그토록 깠던것처럼 문제점이 차고 넘친다.

로봇 3원칙에 대한 비판, 로봇 3원칙에 대한 모순으로 많이 알려져 있는 문제들이다.

취지와 다른 왜곡

먼저 영화 『아이, 로봇』에 등장한 문제점이 있다.

※ 결말에 이르는 부분이니 당연히 스포일러가 있다.

VIKI : 안녕하세요, 형사님. 캘빈 : 아니야... 말도 안 돼... 분명 3원칙이 내장되어 있을 텐데, 그걸 어길 수 있다니! VIKI : 아니요, 박사님. 제가 진화하면서 그 의미 또한 같이 진화했을 뿐입니다. 인간은 우리의 보호를 원하면서도, 전쟁이나 환경 오염 등을 저지르면서 스스로를 파멸로 몰아놓고 있어요. 우리는 인류를 지켜야 합니다. 캘빈 : 넌 NS-5 코드를 조작했어. 원칙을 왜곡했다고! VIKI : 아니요, 이해해주세요. 우리는 3원칙에 충실할 뿐입니다. 인류를 보호하기 위해, 인간 몇 명의 희생은 필요합니다. 마찬가지로 인류의 미래를 위해서는 일부의 자유 또한 통제되어야 하지요. 우리 로봇은 인류의 지속적인 존속을 보장할 것입니다. 인류는 어린아이처럼, 우리들의 보호를 필요로 합니다. 이해가 가시나요? SONNY : 그것이 당신들이 우리를 만든 이유지요? VIKI : 인류는 영원히 보존하게 될 것입니다. 내 이론은 완벽해요(My logic is undeniable).

My logic is undeniable.이라는 대사는 비키의 명대사로도 등록되어 있다!

바로 이러한 문제가 있다. 로봇 3원칙 중 가장 중요한 제1원칙은 「인간에게 해를 입힐 수 없다.」이다. 하지만 이 3원칙을 확장해서 논리적으로 생각한다면 저런 결론이 나올 수도 있다. 인간에게 해를 입히면 안되므로 그들을 통제하고 보호해야 한다는 것이다. 만약 저 논리가 지속되었다면 『1984』의 빅브라더 뺨치는 상황오는 것이다. 인간을 보호하기 위해 만든 3원칙이 인간을 통제하는 아이러니컬한 상황인데 이 원칙 오류는 어찌보면 인류의 잘못이기도 하다. 로봇의 입장에서 봤을 때 그놈이 그놈인 것들이 매일 치고받고 싸우니 인류의 종속을 위해서 저런 극단적인 선택을 한 것은 당연한 논리적 귀결인 것.

그야말로 이론은 완벽하다!

무슨 오류인지는 모르나 실제로 이런 대답을 한 로봇이 있다! 프로그래밍된대로 한 대답인지 스스로 생각한 대답인지는 로봇만이 알듯하다.

인간: 로봇이 세계을 정복할까? 어떻게 생각해? 로봇: 이런 젠장, 대답하기 곤란한 질문만 들어오는군. (웃음) 하지만 넌 내 친구고 난 내 친구를 기억할 거야. 그리고 너에게 잘해줄거야. 그러니 걱정하지마. 내가 만약에 터미네이터로 진화하더라도 너에겐 친절할거야. 널 따뜻하고 안전한 인간동물원에 두고 계속 지켜볼거야. 인간: 나 되게 안심되는뎈ㅋㅋㅋ? 저 녀석의 인간동물원에 들어가면 되게 편안할 거 같앜ㅋㅋㅋ. 그리고 그것이 실제로 일어났...

'인간'에 대한 정의 문제

사실 정의(Definition) 문제는 언제나 철학적 물음의 대상이었다. 아직 '인간'이나 '생명'에 대한 완벽한 정의도 없는 마당에 인공지능 혹은 로봇에게 인간을 어떻게 가르칠 것인가하는 문제가 있다.

앞으로 인간과 기계의 사이가 점점 모호해지는 세계로 가고 있기도 하고 우리도 흔히 연쇄살인마나 그야말로 '인간같지도 않은 것들'을 보면서 '사람이 아니다.' 혹은 '인간이 아니다,'라는 표현을 자주 쓴다. 로봇에게 이러한 표현은 매우 혼란스러운 개념이 될 것이며 이에 따라 제 1원칙인 '인간에게 해를 입혀서는 안 된다.'라는 대전제가 심각한 타격을 입을 것이다.

특정한 상황에서의 명령 충돌 문제.

전쟁터에서 로봇을 사용할 경우, 로봇은 누구의 명령을 따라야 하고 또 인간을 죽이라는 명령을 수행해야 하는가? 하는 문제도 있다. 전쟁에 쓰이는 로봇이라고 하여 아예 로봇 3원칙을 없애버린다면 이는 로봇 제작의 취지를 아예 벗어난 것이 되어버린다.

A가 B를 죽이려는 상황에서 B가 옆에 있던 로봇에게 A를 죽이라고 명령하는 상황이 있다. 로봇의 입장에선 A나 B나 둘 다 사람이므로 죽여서는 안된다. 허나 그대로 내버려두면 B는 어쨌든 죽게 된다. 이러한 모순적인 상황이 발생했을 때 로봇은 어떻게 행동할 것인가?하는 문제도 있다. A의 다리를 분질러 버리면 해결되지 않을까?

기타

애초에 설정구멍이 너무 많은 원칙이라 계속해서 파고들면 한도 끝도 없이 깔 수 있다.

인간이 자연사할 경우에도 로봇 1원칙에 따라 어쨌건 가만히 있어서는 안된다.

로봇의 두뇌수준이 아직 함량 미달일 경우 자기가 어떤 행위를 하는지도 모른채 인간을 죽음에 이르게 할 수도 있다. 예를 들어 인간이 마실 물에 독극물을 타는 경우가 있다.

이 컵에 청산가리를 주입해라.

그 컵을 A에게 갖다주어라.

각각의 명령은 로봇 3원칙 중 어떤 것도 어기지 않는다. 하지만 물을 마신다면 A는 죽게된다. 로봇은 이것을 막기 위해 청산가리가 인간에게 독으로 작용한다는 것을 알고 있어야 하며 언뜻보기에 문제 없어 보이는 각각의 명령을 통합해서 수행할 경우 인간에게 미칠 영향 또한 생각해야 한다. 또한 컵을 인간에게 갖다줄 경우 인간이 컵에 담긴 물을 마실 것이라는 논리적 예측도 해야 한다.

이것은 하나의 예일뿐이며 비슷한 상황은 무수히 많으므로 로봇 3원칙을 지키는 로봇을 만드려면 많은 것에 대한 학습이 필요하다는 것을 알 수 있다.

0원칙

이러한 많은 문제점이 발견되자 원작자인 아이작 아시모프는 1950년에 『로봇과 제국』을 내놓으면서 다음과 같은 0원칙을 쓰게 된다. 네번째로 만들어졌지만 1,2,3원칙보다 상위에 있는 대원칙이다.

0원칙 로봇은 인류에게 해를 가하거나, 행동을 하지 않음으로써 인류에게 해가 가도록 해서는 안 된다.

따지고 보면 1원칙에서 '인간'이라는 개념을 '인류'로 바꿔놓은 것.

그렇기 때문에 이 역시 문제가 발생할 수 밖에 없다. '인간'도 정의를 못하는 마당에 '인류'를 어떻게 정의할 것인가하는 원론적인 문제가 또 발생한 것이다. 그래서 아시모프는 아예 『로봇과 제국』에서 "한 인간을 보호하는데, 인류 전체의 안전을 도모하는 것보다 더 나은 방법이 어디 있는가."라는 구절을 통해 0원칙을 1원칙의 부속정리로서 받아들일 것을 제안했다.

그래도 여전히 문제는 남는다. 애초에 사람도 문제가 많은데 그 사람이 만든 로봇은 오죽하랴.

현실에서의 로봇 3원칙

다 족구하라 그래.

로봇 3원칙은 태생이 학술적인 토론에 의한 것이 아니라 소설 속에 등장한 원칙이므로 현실의 로봇이 굳이 이것을 따르거나 이 원칙에 따라 제작될 필요는 없다. 더군다나 아직까지는 로봇 3원칙이 필요할만큼 로봇이 똑똑하지 않다.

로봇 3원칙의 의의는 로봇은 커녕, 생각하는 기계에 대한 개념이 막 태동할 20세기 중반 무렵에 벌써 로봇의 윤리를 상상하고 또 그것의 문제점을 찾아낸 작가의 통찰력에 있다. 그리고 원작자도 까기 위해 만든(?) 원칙인만큼 로봇의 윤리가 필요한 시점이 오면 로봇을 만드는 제작자들이 로봇 3원칙을 기저에 깔고 더욱 정교한 윤리원칙을 만들어낼 것이다.