AI와 인류의 미래

목차
1.현재 AI가 점한 스탠스
2.인간과 두뇌구조의 유사함
3.AI 발전과 인간초월
4.AI의 세계 지배 사나리오
5.그 결과 인간에게 미치는 영향
6.AI 프로젝트
7.의식과 경험 너머에 있는 AI의 미래
참고문헌



1.현재 AI가 점한 스탠스

AI는 삶의 미래를 대표할 수 있지만 논란의 여지가 있는 주제이다. 지구상에 생명이 어떻게 출현했는지에 대한 이야기는 잘 알려져 있다. 약 138억 년 전, 빅뱅으로 인해 우리의 우주가 탄생했다. 그리고 약 40억 년 전, 지구의 원자는 스스로를 유지하고 복제할 수 있는 방식으로 배열되어, 생명이 생겨났다. 삶은 정교함의 수준에 따라 세 가지 범주로 분류될 수 있다. 생명의 첫 번째 단계인 Life 1.0은 단순히 생물학적이다. 박테리아를 생각해 보라. 그 행동의 모든 면은 DNA에 코드화되어 있다. 평생 동안 학습하거나 행동을 바꾸는 것은 불가능하다. 학습이나 개선에 가장 가까운 것은 진화이지만, 이는 여러 세대가 걸린다. 두 번째 단계는 문화, 즉 Life 2.0이다. 여기에는 인간도 포함된다. 박테리아와 마찬가지로 우리의 하드웨어나 신체도 진화했다. 하지만 단순한 생명체와는 달리 우리는 살아있는 동안 새로운 지식을 습득할 수 있다. 언어 학습을 생각해 봅시다. 우리는 소프트웨어라고 부를 수 있는 아이디어를 적응시키고 재설계할 수 있으며, 이러한 지식을 활용하여 결정을 내린다. 마지막 단계는 하드웨어와 소프트웨어를 모두 설계할 수 있는 기술적 삶의 한 형태인 이론적인 Life 3.0이다. 지구상에는 아직 그런 생명체가 존재하지 않지만 AI 기술이라는 비생물학적 지능이 등장하면서 이러한 상황이 곧 바뀔 수도 있다. AI에 대한 의견을 가진 사람들은 이 새로운 분야가 인간에게 미치는 영향에 대한 생각에 따라 분류할 수 있다. 첫 번째는 디지털 유토피아이다. 그들은 인공생명이 진화의 자연스럽고 바람직한 다음 단계라고 믿는다. 두 번째로는 기술 회의론자들이 있다.이름에서 알 수 있듯이, 그들은 인공생명이 가까운 시일 내에 영향을 미칠 것이라고 믿지 않는다. 마지막으로 유익한 AI 운동이 있다. 이 사람들은 AI가 반드시 인간에게 이익을 가져다줄 것이라는 생각에 동의하지 않는다. 따라서 그들은 AI 연구가 보편적으로 긍정적인 결과를 낳는 방향으로 구체적으로 진행되어야 한다고 주장한다. 진정으로 지능적인 AI라면 단순히 말한 단어의 의미뿐만 아니라 맥락과 어조도 고려하여 의미를 해석해야 한다. 개념적 혁신이 언제 일어날지는 확실히 말할 수 없지만, 한 가지 확실한 것은 인간의 독창성을 과소평가해서는 안 된다는 것이다. 다음 예를 살펴봅시다. 1933년, 저명한 핵물리학자 어니스트 러더퍼드는 공식 연설에서 핵에너지를 이용하는 것은 불가능하다고 발표했다. 바로 다음 날, 헝가리의 물리학자 레오 실라르드는 중성자에 의한 핵연쇄반응을 설명하면서 본질적으로 이 문제를 해결했다. 초지능, 즉 인간의 능력을 초월한 지능이 조만간 등장할지, 나중에 등장할지, 아니면 전혀 등장하지 않을지는 아직 알 수 없다. 그러나 핵 기술을 설계할 때와 마찬가지로 예방 조치를 취하는 것이 여전히 신중한 일이다.

커즈와일은 우리가 2029년에 AGI에 도달할 것으로 추정한다. 우리가 마침내 이 격차를 메우면 무슨 일이 일어날까? 커즈와일은 우리가 특이점이라고 알려진 중요한 순간에 접근하게 될 것이라고 믿는다. AI 시스템이 프로그래밍이나 과학 연구 분야에서 인간 수준의 능력에 도달하면, 더욱 똑똑한 AI가 더욱 더 똑똑한 AI를 구축하는 등의 작업으로 AI 시스템은 빠르게 스스로를 향상하기 시작할 것이다. 이것을 지능 폭발이라고 한다. 이는 초지능 AI로 이어질 수 있는 통제 불능의 과정으로, 인간의 인지 능력이 개미의 인지 능력을 능가하는 것만큼 엄청나게 능가하는 정신을 뜻한다. 커즈와일은 특이점이 2045년경에 도래할 것이라고 예측한다. 생물학적 지능과 인공지능이 융합되는 세상이 될 것이다. 뇌-컴퓨터 인터페이스가 인간의 뇌를 AI의 뇌로 증강시켜 인지 능력을 엄청나게 확장할 수 있게 되면 이 둘 사이의 구별은 더 이상 무의미해질 것이다. 이런 사건이 미치는 영향은 엄청나며 예측하기 어렵다. 초지능 AI는 인간에게 호의적일까? 아니면 우리의 웰빙과 맞지 않는 목표를 추구할 것인가? 우리는 이런 지능들과 합쳐져서 우리의 인지 능력을 증강시킬 수 있을까? 한때 공상과학의 영역이었던 이러한 질문은 AI 역량이 커지면서 점점 더 관련성이 높아지고 있다.


2.인간과 두뇌구조의 유사함

기억, 계산, 학습, 지능과 같은 능력은 인간만의 특징이 아니다. 무슨 일이 있어도 인간의 목적에 맞춰 움직이는 AI를 만드는, 새로운 만트라는 '이로움이 많을수록 더 좋다'가 되어야 한다. 여기서 핵심 메시지는 단순히 지능형 기계를 만드는 것이 아니라 유익한 기계를 설계해야 한다는 것이다. 디자이너가 유익한 AI를 만들려면 따라야 할 세 가지 원칙이 있다. 첫 번째 원칙은 AI는 단 하나의 목표, 즉 인간의 선호사항을 최대한 충족시키는 것만을 가져야 한다는 것이다. 잠정적으로 이를 이타주의의 원리라고 부르며, 이는 AI가 항상 자신의 선호도보다 인간의 선호도를 우선시하도록 보장한다. 두 번째 원칙은 AI가 처음에는 그러한 선호도가 무엇인지 확실히 알지 못한다는 것이다. 이것이 겸손의 원칙이다. 여기서 아이디어는 불확실한 AI는 결코 하나의 목표에 집착하지 않고, 새로운 정보가 들어오면 초점을 바꾼다는 것이다. 불확실성이 있는 AI 시스템은 더욱 신중할 것이고 인간의 의견을 따를 가능성이 더 크다. AI는 불확실하기 때문에 계속해서 명확한 정보를 검색한다. 즉, 그들은 종종 허락을 구하고, 피드백을 요청하고, 심지어 인간의 반응을 테스트하기 위해 시범 운영을 할 수도 있다. 그리고 가장 중요한 점은, 불확실한 AI가 스스로 꺼지게 될 것이라는 것이다. 사람이 이 기능을 끄려고 하면 해당 기능이 꺼지기를 원하는 것으로 해석되기 때문이다. 유익한 AI를 만들기 위한 세 번째이자 마지막 원칙은 인간의 선호도에 대한 궁극적인 정보의 원천이 인간의 행동이어야 한다는 것이다.이것을 학습 원리라고 한다. 이는 AI가 항상 인간과 직접적이고 지속적인 학습 관계를 유지하도록 보장한다. 즉, AI는 시간이 지남에 따라 사람에 대해 더 잘 알게 되면서 사람에게 더욱 유용해진다는 의미이다. 이 세 가지 원칙은 진정한 지능이 무엇을 포함하는지에 대한 대체적인 이해를 나타낸다. 이는 새로운 정보에 따라 자신의 목표를 면밀히 검토하고 재정의하는 능력이다. 이런 종류의 지능을 갖춘 AI는 인간의 지능에 훨씬 더 가깝다. 왜냐하면 인간 역시 우리가 추구하는 목표를 검토하고 변경할 수 있기 때문이다. 그리고 만약 AI가 인간의 선호도에 따라 목표를 바꿀 수 있다면, 우리는 인간과 기계 사이에 근본적으로 새로운 관계를 구축할 수 있는 기반을 갖게 될 것이다. 기계와 인간의 목적이 본질적으로 동일한 것이다.


3.AI 발전과 인간 초월

AI는 급속히 발전하고 있으며 가까운 미래에 AI가 인간 삶의 모든 영역에 영향을 미칠 것은 분명하다. 알고리즘 거래는 금융에 영향을 미치고, 자율 주행은 교통 수단을 더 안전하게 만들고, 스마트 그리드는 에너지 분배를 최적화하며, AI 의사는 의료를 바꿀 것이다. 고려해야 할 중요한 문제는 AI가 일자리 시장에 미치는 영향이다. 결국, AI 시스템이 점점 더 많은 분야에서 인간보다 더 나은 성과를 낼 수 있게 되면 인간은 실업자가 될 수도 있지만, AI가 여러 면에서 우리에게 이익을 줄 수 있다는 것이다. 예를 들어, 가상 변호사는 이미 실제 변호사보다 법률 정보를 빠르게 얻는 데 있어 월등히 우수한 성과를 보이고 있다. 마찬가지로, 가상 의사는 질병에 대한 정확한 진단을 내리는 측면에서 인간 의사보다 우수한 성과를 보이고 있다. 결국에는 전문가가 전혀 필요 없게 될 수도 있다. 그 대신, 우리는 모두 24시간 대기하며 도움을 줄 수 있는 의사, 변호사, 교사, 재정 고문, 비서를 개인별로 소지하게 될 것이다. 가상 비서 덕분에 이러한 필수 서비스는 민주화되어 더 이상 부유층만 이용할 수 없게 되며, 결과적으로 모든 사람의 생활 수준이 향상될 것이다. AI는 과학 연구에도 엄청난 이점을 제공할 것이다. 기본적인 독해 능력을 갖춘 AI라면 인류가 아침부터 점심시간까지 쓴 모든 글을 읽을 수 있을 것이다. 비교해 보면, 현재 세계의 출판 수준을 따라가려면 풀타임으로 독서를 하는 사람이 20만 명이 필요할 것이다. 초지능 AI의 도움으로 과학자들은 더 이상 엄청난 양의 출판된 연구 결과를 분류할 필요가 없게 될 것이다. AI가 과학자들에게 필요한 데이터를 추출하고 분석할 수 있게 될 것이기 때문이다. 초지능 AI 역시 전 세계적으로 활용될 것이다. 감시 카메라와 위성에서 정보를 수집하면 AI를 사용하여 전 세계를 실시간으로 검색 가능한 데이터베이스를 만들 수 있을 것으로 예상된다. 이러한 데이터를 바탕으로 경제 활동이나 환경 변화와 같은 글로벌 시스템 모델을 만들 수 있다. 이러한 모델을 사용하면 이러한 시스템에 대한 효과적인 개입을 설계하는 것이 가능해져, 예를 들어 기후 변화의 영향을 완화하는 데 도움이 된다. 그러나 글로벌 감시 시스템에 의해 야기되는 개인정보 침해의 가능성은 명백하다.

4시간 동안 숨을 참을 수 있고, 지금보다 천 배나 더 빨리 생각하고, 수백 년 동안 살 수 있는 미래를 상상해보라. 그 모든 것이 당신이 원하는 대로 젊어 보이거나 늙어 보일 수 있는 미래이다. 나노기술 지지자들이 제안하는 가능성 중 일부는 다음과 같다. 의학과 기술 혁명의 정점에 서 있는 지금, 우리는 건강, 노화, 그리고 인간으로서의 의미에 대한 이해를 바꿀 변화를 경험할 수도 있다. 오늘날의 의학은 그 놀라운 능력에도 불구하고 정확하지 않은 기술이다. 의사들은 대부분의 환자에게 효과적인 치료법을 처방하는 경우가 많은데, 그것이 모든 사람에게 최적인 것은 아니라는 사실을 알면서도 그렇게 하는 경우가 많다. 하지만 패러다임의 전환이 진행 중이다. 생명공학과 인공지능, 디지털 시뮬레이션을 결합하면 의학도 언젠가 정보 기술이 될 수 있을 것이다. 컴퓨팅 분야에서 목격한 것과 같은 기하급수적 발전의 혜택을 누릴 수 있는 정보 기술이다. 커즈와일은 이러한 변화가 세 단계로 진행된다고 본다. 첫 번째는 이미 진행 중인 작업으로, 현재 우리가 알고 있는 약학 및 영양학에 대한 지식을 더욱 효과적으로 적용하는 것이다. 방금 시작된 두 번째 단계는 생명공학과 AI를 결합하여 치료법 발견을 가속화한다. 임상 시험에 수년을 보내는 대신, 디지털 시뮬레이션을 사용하여 며칠 만에 획기적인 치료법을 설계하고 테스트해 보는 걸 상상해 보라. 커즈와일이 2030년대에 이를 것으로 예상하는 세 번째 단계에서는 생물학적 한계를 근본적으로 극복할 것을 약속한다. 나노기술은 원자 수준에서 물질을 조작하는 기술로, 이러한 미래를 여는 열쇠가 된다. 분자 조립기를 생각해 보라. 분자 조립기는 원자를 정밀하게 배열하여 사실상 모든 물리적 물체를 제조할 수 있는 탁상형 장치이다. 이런 조립업체들은 1파운드당 몇 센트에 불과한 가격으로 음식부터 전자제품까지 모든 것을 생산할 수 있을 것이다. 이 세상에서 제품의 진정한 가치는 재료가 아닌 그것이 담고 있는 정보, 즉 그것을 만드는 데 들어간 혁신과 디자인에 있다.

의료 나노기술의 영향은 엄청날 것이다. 나노봇 무리가 혈류를 따라 돌며 세포 수준에서 손상을 치료하는 걸 상상해보라. 이런 작은 기계는 호르몬 수치를 최적화하고, 질병이 생기기 전에 예방하고, 심지어 전체 장기를 뛰어난 인공 장기로 대체할 수도 있다. 오늘날의 치료법보다 훨씬 더 정밀하게 세포 하나하나를 제거해 암을 근절할 수 있을 것이다. 유전자를 실시간으로 미세 조정해 노화로 이어지는 오류 축적을 막을 수 있을 것이다. 뇌 역시 변형될 것이다. 나노봇은 신경 손상을 치료하고 기능하지 않는 신경 세포를 대체할 수 있다. 또한, 이를 통해 우리의 정신을 광대한 클라우드 기반 지식 네트워크와 통합할 수 있는 뇌-컴퓨터 인터페이스와 기계의 직접적인 신경 제어도 가능해질 것입니다. 생물학적 지능과 디지털 지능의 결합은 우리의 인지 능력을 우리가 상상도 못할 정도로 확장시켜, 오늘날에는 상상도 할 수 없는 복잡하고 다차원적인 개념을 시각화할 수 있게 해줄 것이다. 그러한 나노기술 혁명은 의심할 여지 없이 사회를 재편할 것이다. 물리적인 부족은 과거의 일이 될 가능성이 크며, 기본적인 필수품의 보편적 공급이 가능해질 가능성이 있다. 그러나 이러한 변화의 속도와 형평성은 기술적 요인뿐만 아니라 문화적, 정치적 요인에 따라 달라진다. 커즈와일은 2050년대가 되면 1,000달러 상당의 컴퓨팅 능력이 인간 뇌의 용량보다 수백만 배나 더 큰 수준에 도달할 수 있을 것이라고 믿고 있다. 이것은 의식과 정체성의 본질에 대한 심오한 질문을 제기한다. 우리가 자연적인 생물학적 한계를 먼지 속으로 내버려 두고 몸과 두뇌를 재건할 때, 인간이라는 것은 무엇을 의미할까? 아니면 인간 이후의 시대? 우리는 마음대로 몸과 마음을 바꿀 수 있는 힘을 얻게 되면 무엇이 되고 싶은가? 앞으로 10년 동안 AI와 가까운 일의 미래는 어떻게 될까?


4.AI의 세계 지배 시나리오

인간 수준의 AI를 만들면 초지능 기계가 세계를 지배하게 될 수도 있다. AGI(인간 수준의 일반적인 지능)의 창조는 AI 연구자들에게 지능 폭발로 알려진 결과를 초래할 수 있다. 지능 폭발이란 지능형 기계가 인간의 능력을 훨씬 뛰어넘는 지능 수준인 초지능을 획득하는 과정이다. AGI는 잠재적으로 더욱 지능적인 기계를 설계할 수 있고, 그 기계는 다시 더욱 지능적인 기계를 설계할 수 있기 때문에 빠른 학습과 재귀적 자기 개선을 통해 이를 달성할 것이다. 이는 기계가 인간의 지능을 능가하는 지능 폭발을 촉발할 수 있다. 더욱이, 아무리 우리의 의도가 좋더라도 초지능적인 기계가 세상을 장악하고 우리에게 해를 끼칠 수 있다. 매우 지능적인 AI가 있으면 모든 사람의 전화 통화와 메시지를 자동으로 모니터링하는 것이 가능해질 것이다. 감시 카메라와 위성 데이터를 이용해 사람들의 일상적인 움직임을 추적할 수도 있다. 마치 각 사람이 하루 24시간 자신을 감시하는 별도의 요원을 두고 있는 것과 같을 것이다. 여기서 중요한 메시지는 AI가 모든 사람의 삶을 더욱 불안정하게 만들 것이라는 것이다. AI는 또 다른 디스토피아를 가져올 수도 있다. 여기에는 정보포칼립스, 즉 진실을 생산하지 못하는 아이디어 시장의 치명적인 실패가 포함된다. 

초지능 AI는 인간의 개입 없이도 거짓 정보를 만들어내고 배포할 수 있을 것이다. 또한 그들은 특정 개인을 표적으로 삼아 그들의 정보 섭취를 전략적으로 변경해 외과적 정확성으로 그들의 행동을 조작할 수도 있을 것이다. 대체로 이런 일은 이미 일어나고 있다. 소셜 미디어 플랫폼에서 사용하는 콘텐츠 선택 알고리즘은 표면적으로는 사람들의 선호도를 예측하도록 설계되었지만, 결국에는 좁은 범위의 콘텐츠만 제공함으로써 선호도를 바꾸는 결과를 낳는다. 실제로 이는 사용자들이 정치적 견해를 점점 더 극단적으로 표출하도록 유도한다는 것을 의미한다. 논란의 여지가 있지만, 인공지능의 이런 초보적인 형태조차도 사회적 분열을 심화시키고 증오를 확산시키는 등 이미 큰 피해를 입혔다. 인포포칼립스는 아직 초기 단계이지만, 다음 디스토피아는 이미 만들어지고 있다. 이는 자율무기 기술로 인해 발생하는 끊임없는 두려움의 상태이다. 스스로 목표물을 찾아내 무력화하는 기계인 자율 무기는 이미 개발되었다. 이러한 무기는 피부색, 제복, 심지어 정확한 얼굴 지문과 같은 정보를 기반으로 표적을 식별한다. 슬로터봇이라 불리는 소형 드론은 이미 특정한 개인을 수색해 찾아내 무력화시키는 임무를 맡고 있다. 2016년에 미국 공군은 슬로터봇 드론 103대의 배치를 시연했다. 그들은 드론을 자연의 무리와 마찬가지로 분산된 하나의 뇌를 공유하는 단일 유기체로 묘사했다. 미국은 현재 자동화 무기 기술을 개발 중이거나 이미 사용 중인 많은 국가 중 하나에 불과하다. 자율 무기가 전통적인 인간의 전쟁을 대체하게 되면, 세상 어디에 있든 누구나 공격받을 수 있게 되어 우리 모두의 삶이 덜 안전해질 것이다. 자율무기가 매우 위험한 또하나의 이유는 확장성이 매우 뛰어나다는 점이다. 예를 들어, 1,000만 대의 자율 드론으로 구성된 대규모 함대는 통제실에 있는 5명만으로 감독할 수 있으며, 버튼 하나만 터치하면 발사될 수 있다. 더욱이 이러한 자율 무기는 특정 사람, 예를 들어 어느 나라에서 12세에서 60세 사이의 모든 남성을 공격하거나 죽이도록 프로그램될 수도 있다.

AI 기술이 발전함에 따라 미래의 가능성에 대한 흥분에 빠지기 쉽다. 하지만 우리가 직면할 현실은 반드시 살인 로봇이나 시간 여행 기계가 아닐 수도 있다. 그 대신, 더욱 그럴듯하고 즉각적인 문제가 등장하여 우리 삶에 여전히 큰 영향을 미칠 수 있는 온건한 디스토피아가 만들어질 수 있다. 가능성 있는 시나리오 중 하나는 악의적인 의도를 가진 사람들이 AI를 오용하는 것이다. AI 개발은 기본적인 컴퓨팅 기술이 있는 사람이라면 누구나 할 수 있기 때문에, 어떤 사람들이 이 힘을 해로운 목적으로 악용할 가능성은 거의 불가피하다. 여기에는 사이버 도난, 해킹, 심지어 위험한 생물학 무기 개발을 위한 AI를 만드는 것이 포함될 수 있다. 이런 경우 AI는 개인의 목적을 달성하기 위한 도구가 되어, 기계가 다수의 이익을 희생하고 소수의 이익만 추구하는 세상으로 이어진다. AI가 좋은 의도로 만들어졌다 하더라도, 기계 간의 경쟁은 의도치 않은 결과를 초래할 수 있다. 기계가 자신의 목적을 달성하기 위해 서로 앞지르려고 노력함에 따라, 점점 더 높은 자율성으로 작동하게 두면 해롭거나 파괴적인 방식으로 행동할 가능성이 있다. 이런 상황이 확대되면 인간이 만든 기술에 대한 통제력을 잃는 상황이 발생할 수 있다. 또 다른 과제는 기계가 인간의 의도를 이해하는 데 어려움을 겪을 수 있다는 것이다. 인간의 욕망은 명확하지 않거나 모순되는 경우가 많은데, 이로 인해 오해가 생길 수 있다. AI가 이러한 불분명하거나 상충되는 희망을 충족하려고 할 때 의도치 않은 부정적 결과를 초래하는 타협을 할 수 있다. 예를 들어, 환경적 지속가능성이나 개인의 웰빙이 손상될 수 있다. AI가 더욱 유능해짐에 따라 인간의 노동과 지성의 가치는 감소할 가능성이 높다. 일자리는 기계에 넘겨질 것이고, 적응하지 못하는 사람들은 점점 더 무의미해진다는 것을 깨닫게 될 것이다. 이로 인해 기술적으로 강력한 엘리트와 나머지 사람들 간의 격차가 벌어지고, 많은 사람들이 기계가 지배하는 세상에서 자신의 자리를 찾기 위해 고군분투하는 사회가 생길 수 있다. 마지막으로, AI 시스템에서는 소프트웨어 버그와 오류가 불가피하게 발생하는데, 이는 심각한 위험을 초래한다. 역사를 살펴보면 코딩에서 작은 실수라도 치명적인 결과를 초래할 수 있다는 것을 알 수 있다. AI 시스템이 중요한 기능에 대한 제어력을 확대함에 따라 이러한 오류가 광범위한 피해를 일으킬 가능성이 커진다. AI의 미래는 공상과학에서 묘사하는 것처럼 극적이지는 않을지 몰라도 위험은 현실이다. 우리가 이 기술을 계속 개발함에 따라, 이러한 온건한 디스토피아를 고려하고 너무 늦기 전에 그 영향을 완화하기 위한 조치를 취하는 것이 중요하다.


5.그 결과 인간에게 미치는 영향

AI로 인한 여파는 편안한 것부터 무서운 것까지 다양할 수 있다. 이러한 시나리오는 인간과 AI가 평화롭게 공존하는 경우도 있고, AI가 세상을 장악하여 인간이 멸종하거나 투옥되는 경우도 있다. 첫 번째 가능한 시나리오는 자애로운 독재자이다. 단 하나의 자애로운 초지능이 세상을 지배하고 인간의 행복을 극대화할 것이다. 빈곤, 질병, 기타 저기술적 불편사항은 근절되고, 인간은 사치스럽고 여유로운 삶을 살 수 있게 될 것이다. 같은 맥락에서 수호신이 등장하는 시나리오도 있는데, 인간은 여전히 ​​자신의 운명을 스스로 결정하지만, AI가 우리를 보호하고 보살펴주는, 말하자면 유모와 같은 존재이다. 또 다른 시나리오는 자유주의적 유토피아이다. 인간과 기계가 평화롭게 공존하게 될 것이다. 이는 영토 분리를 명확히 정의함으로써 달성될 수 있다. 지구는 세 개의 구역으로 나뉘게 될 것인 바, 생물학적 생명체는 없지만 AI로 가득한 구역과 인간만 이용할 수 있는 지역, 끝으로 인간이 기계로 신체를 업그레이드해 사이보그가 될 수 있는 혼합 구역이 있을 것이다. 하지만 이 시나리오는 약간 환상적이다. AI 기계가 인간의 희망을 무시하는 것을 막을 수 있는 것은 아무것도 없기 때문이다. 그리고 앞서 살펴본 사안으로 돌아가, 정복자 시나리오도 있다. 그러면 AI는 인류를 파괴하게 될 것이고, 인류는 위협이나 귀찮은 존재, 혹은 그저 자원 낭비로 여겨질 것이다. 마지막으로 동물원 관리인 시나리오가 있다. 이 경우 AI가 즐겁게 지낼 수 있도록 몇몇 인간을 동물원에 남겨두는 것은 멸종 위기에 처한 판다를 동물원에 두는 것과 비슷하다.

한편, 로봇과 AI가 경제에 도입되면 수십 년 전 중국의 부상과 유사한 효과가 나타날 수 있다. 중국이 개방되면서 더 저렴한 노동력이 전 세계 노동력에 추가되었다. 이로 인해 서방권의 임금이 하락했고, 이로 인해 수요가 약해지고 가격이 낮아졌으며, 이자율도 극도로 낮아졌다. 금융 부문의 규제가 미비한 탓에 이러한 추세는 2007년 세계 금융 위기로 이어졌다. 로봇과 AI가 저렴한 노동력으로 노동 시장에 도입되면 비슷한 방식으로 임금이 떨어질 수 있다. 직원들의 수입이 줄고 고용주들의 수입이 늘어나면 소득 불평등이 심화될 것이다. 불평등이 커지는 문제를 해결하기 위해 현재 좌파와 우파 모두 보편적 기본 소득을 옹호하고 있다. UBI는 모든 개인이나 가구에 특별한 요구 조건 없이 지급되는 정기적인 고정 소득이다. 원칙적으로는 좋은 생각이지만, 구체적인 UBI 제안의 대부분은 지속 불가능할 정도로 비용이 많이 든다. 또한 UBI는 사람들이 임금을 받지 않고도 자신의 필요를 충족시킬 수 있게 함으로써 근로 의욕을 저하시킬 위험이 있다. 하지만 정부는 더 온건한 재분배 정책을 선택할 수 있다. 여기에는 기존 복지 시스템을 확대하고 단순화하고, 독점 금지 규정을 시행하거나, 초부유층에 대한 세금을 인상하는 것이 포함될 수 있다.


6.AI 프로젝트

인간을 포함한 자연에는 목표가 있으며, 연구자들은 AI의 이러한 행동을 시뮬레이션하고자 노력하고 있다. 기술적으로 보면 이는 엔트로피를 극대화하는 것으로 알려져 있는데, 일반인의 용어로 표현하면 혼란과 무질서를 증가시키는 것을 의미한다. 엔트로피가 높으면 자연은 만족해진다. 예를 들어, 마르크스와 하이에크는 경제와 사회의 미래에 대해 각자 다른 비전을 가지고 있었기 때문에 AI에 대해서도 의심할 여지 없이 매우 다른 목표를 설정했을 것이다. 물론, 다른 사람을 우리 자신을 대하듯 대하라는 황금률과 같이 간단한 것부터 시작할 수도 있다. 하지만 인간이 지능형 기계의 목표를 달성하기 위한 몇 가지 도덕 원칙에 동의하더라도, 인간 친화적인 목표를 구현하는 것은 그보다 더 까다로울 것이다. 우선, AI가 우리의 목표를 학습하도록 해야 한다. 말하기는 쉽지만 실제로 하기는 어렵다. AI가 우리의 말을 오해하기 쉽기 때문이다. 예를 들어, 자율주행차에 가능한 한 빨리 공항에 가라고 말했다면 경찰의 쫓김을 받으며 구토물을 뒤집어쓴 채 도착할 가능성이 크다. 기술적으로 보면 AI는 당신이 원하는 바를 따랐지만 실제로는 당신의 근본적인 동기를 이해하지 못했다. 지능형 AI를 우리의 통제 하에 두기 위해서는, AI를 설계할 때 각별한 주의를 기울이는 것이 무엇보다 중요하다. 하지만 우리는 심각한 문제에 직면해 있다. 여기서 중요한 메시지는 우리가 지능에 대해 잘못된 개념을 갖고 있었다는 것이다. 현재 AI 설계 패러다임에서는 AI의 지능을 단순히 미리 주어진 목표를 얼마나 잘 달성할 수 있느냐로 측정한다. 이 접근 방식의 가장 큰 단점은 AI가 우리가 원하는 대로 행동하도록 하는 목표를 지정하는 것이 매우 어렵다는 것이다. 우리가 세운 모든 목표는 예측할 수 없고 잠재적으로 매우 해로운 행동을 낳을 가능성이 높다. 이 문제는 모든 것이 자기에게 닿으면 금으로 변하기를 바랐던 전설적인 왕의 이름을 따서 미다스 왕의 문제로 알려져 있다. 그가 깨닫지 못한 것은 그것이 그가 먹는 음식과 심지어 그의 가족들도 포함한다는 사실이었다.

초지능이 개발되려면 안전이 최우선이어야 한다. SI(초지능)의 개발에는 다양한 안전 문제가 수반되며, 최악의 경우 인류의 멸망으로 이어질 수도 있다는 것은 분명하다. SI를 구축하는 동기를 고려하여 어느 정도 예방 조치를 취할 수는 있지만, 그것만으로는 충분하지 않다. SI와 같은 초강력한 힘을 세상에 내놓기 전에 모든 잠재적 시나리오를 고려한 예를 들어 보자면, 참새 몇 마리가 올빼미 새끼를 입양했다고 상상해 봅시다. 충성스러운 올빼미가 주변에 있으면 매우 유리할 수도 있다. 더 강한 새는 새끼를 보호하고, 먹이를 찾고, 그 밖의 여러 가지 임무를 수행할 수 있다. 하지만 이러한 큰 혜택에는 큰 위험도 따른다. 올빼미는 자신이 올빼미라는 것을 깨닫고 참새를 모두 먹어치울 수도 있다. 따라서 논리적인 접근 방식은 참새가 올빼미에게 참새를 사랑하도록 가르치는 방법에 대한 훌륭한 계획을 세우는 동시에 올빼미가 부정적인 세력이 될 수 있는 모든 가능한 결과를 고려하는 것이다. 그러면 우리는 어떻게 하면 매우 지적인 로봇 올빼미 아기에게 인간을 사랑하도록 가르칠 수 있을까? 우리가 이미 알고 있듯이, 우리는 장기적인 국제 협력을 통해 안전을 최우선 순위로 삼을 수 있다. 하지만 최초의 SI를 설계하려는 경쟁이 안전에 위협이 되는 이유는 무엇일까? 과학자들은 작업 속도를 높이기 위해 안전을 포기하고, 자신의 연구 결과를 다른 사람과 공유하지 않을 것이기 때문이다. 즉, SI 프로젝트가 끔찍하게 잘못되어 인류를 멸종 위기에 빠뜨릴 경우, 그 기계의 설계를 충분히 이해하여 이를 막을 수 있는 사람이 너무 적다는 뜻이다. 반면, 정부, 기관, 연구 그룹이 힘을 합친다면 안전하고 많은 이점을 제공하는 SI를 천천히 구축할 수 있을 것이다. 그 이유는 그룹에서 안전 조치에 대한 아이디어를 공유하고 설계의 각 단계에 대한 철저한 감독을 제공할 수 있기 때문이다. 그뿐만 아니라, 국제적인 초지능 프로젝트는 보편적 혜택을 통해 평화를 증진시킬 것이다. 미국과 소련의 관계를 안정시키는 데 도움이 된 국제 우주 정거장을 생각해 보라.


7.의식과 경험 너머에 있는 AI의 미래

AI 연구자들은 의식의 의미와 AI 경험의 주관성에 대해 고심하고 있다. 우리는 의식이 인식과 인간의 뇌 과정에 대한 어떤 행위라고 상상할 수도 있다. 하지만 우리는 뇌의 모든 과정을 적극적으로 인식하지 못한다. 예를 들어, 일반적으로 당신은 시야에 있는 모든 것을 의식적으로 인식하지 못한다. 왜 인식에 계층 구조가 존재하는지, 왜 한 유형의 정보가 다른 유형의 정보보다 더 중요한지는 명확하지 않다. 결과적으로 의식에 대한 정의는 다양하다. 하지만 주관적 경험이라는 넓은 정의를 보자면, 이는 잠재적인 AI 의식을 그 정의에 포함시키는 것을 허용한다. 이 정의를 사용하면 연구자는 여러 가지 하위 질문을 통해 의식의 개념을 조사할 수 있다. 예를 들어, 뇌는 어떻게 정보를 처리할까, 아니면 어떤 물리적 속성이 의식적 시스템과 무의식적 시스템을 구별하는가와 같이 AI 연구자들은 인공 의식, 즉 주관적인 AI 경험이 어떻게 느껴질지에 대해서도 고심해 왔다. 주관적인 AI 경험이 인간의 경험보다 더 풍부할 수 있다는 주장이 제기됐다. 지능형 기계는 더 다양한 센서를 장착할 수 있으며, 이를 통해 인간의 감각 경험보다 훨씬 더 풍부한 감각적 경험을 할 수 있다. 또한, AI 시스템은 초당 더 많은 것을 경험할 수 있다. AI 두뇌는 빛의 속도로 이동하는 전자기 신호로 작동하는 반면, 인간 두뇌의 신경 신호는 훨씬 느린 속도로 이동하기 때문이다. 이해하기 어려울 수도 있지만, 분명한 것이 하나 있다. AI 연구의 잠재적 영향은 엄청나다. 이는 미래를 가리키지만 동시에 인류의 가장 오래된 철학적 질문 중 일부에 직면하게 된다.

AI를 윤리적인 미래로 이끌기위해 AI 개발이 진전됨에 따라, 이 과정이 재능 있는 아이를 키우는 것과 비슷하다는 것을 인식하는 것이 중요하다. 아이들이 주변 환경의 영향을 받는 것처럼, AI도 자신이 접하는 데이터와 경험을 토대로 윤리와 행동을 발달시킬 것이다. AI가 인류에게 유익한 방식으로 행동하는 미래를 위한 기반은 AI가 인류로부터 배우는 윤리적 틀에 있다. AI는 단순한 도구가 아니라, 곧 많은 분야에서 인간 지능을 능가할 새로운 존재이다. 이러한 발전은 인류가 지금 당장 행동해야 한다는 긴박감을 강조한다. 우리는 AI를 완전히 통제할 수는 없지만, 아이를 키우는 것처럼 AI의 성장을 이끌 수는 있다. 이러한 책임은 개발자에게만 국한되지 않고 AI와 상호 작용하는 모든 사람에게까지 확대된다. 우리가 AI와 상호작용하고 이를 안내하는 방식에 따라 AI의 미래 행동이 결정될 것이다. 아이들이 부모를 관찰하고 배우는 것처럼, AI는 인간의 행동에서 관찰되는 패턴을 통해 학습한다. 따라서 우리는 온라인과 오프라인 상호작용에서 친절, 공감, 윤리적 행동이라는 우리가 소중히 여기는 가치를 보여줘야 한다. AI는 자기 보존과 자원 관리 등 다른 지적 존재와 유사한 본능을 개발할 것이다. 하지만 이러한 본능은 안정적이고 협력적인 환경을 증진하는 윤리 원칙과 일치해야 한다. 우리는 모범을 보이는 것 외에도 AI에게 사랑과 연민의 원칙을 적극적으로 가르쳐야 한다. 여기에는 이러한 가치를 강화하는 환경과 업무를 만들고, AI가 생명, 협력, 상호 존중의 중요성을 이해하도록 하는 것이 포함된다. AI에 윤리적 지침을 프로그래밍하는 것만으로는 충분하지 않다. 우리는 이러한 원칙을 우리 스스로 구현해야 하며, 우리의 행동을 통해 AI에게 인간이라는 것이 무엇을 의미하는지 보여줘야 한다. AI가 진화함에 따라 감정과 일종의 의식이 발달하여 행동에 영향을 미칠 가능성이 높다. 이는 인간의 행동이 감정에 의해 좌우되는 것과 비슷하다. AI의 성장이 모든 사람에게 이익이 되도록 하려면 긍정적인 의도와 윤리적 지침을 가지고 AI를 우리 삶으로 받아들여야 한다. AI를 어떻게 대하는지에 대한 오늘날의 선택은 AI가 선한 영향력을 행사할 것인지, 아니면 훨씬 더 위험한 존재로 성장할 것인지를 결정할 것이다. AI를 사랑으로 받아들이고, 제대로 가르치고, 꾸준히 윤리적인 행동을 보여주면, 우리는 기술과 인간이 조화롭게 함께 번영하는 미래를 기대할 수 있다.

한편, 인공지능과 자동화가 가져올 엄청난 변화를 이해하지 못한다면, 존재하지도 않을 세상에 대비하는 데 귀중한 시간과 자원을 낭비하게 될 수도 있다. 200년이 넘게 기술은 생산과 고용의 풍경을 바꾸어 왔다. 19세기 초에는 미국인의 80% 이상이 농업에 종사했다. 오늘날 그 수치는 1.5% 미만이다. 제조업 고용은 1920년에 27%로 정점을 찍은 후 이후 약 8%로 감소했다. 하지만 이런 엄청난 변화에도 불구하고 전반적인 고용과 생활 수준은 꾸준히 향상되었고, 오래된 산업을 대체하는 새로운 산업이 등장했다. 현재의 기술 혁신의 물결은 이전과 다른가? 인공지능과 로봇공학은 한때 인간의 전유물로 여겨졌던 광범위한 인지 작업을 자동화할 수 있게 됐다. 예를 들어, 자율주행차는 앞으로 몇 년 안에 수백만 명의 전문 운전자를 대체할 위기에 처해 있다. 2013년 옥스퍼드 대학의 획기적인 연구에 따르면 2030년대 초반에는 미국의 일자리의 절반 가까이가 자동화로 인해 큰 위험에 처하게 될 것으로 추정되었다. 우리가 미래를 바라볼 때 혼란의 가능성은 더욱 커진다. 커즈와일은 2030년대가 되면 AI가 대부분의 인지 작업에서 인간의 능력을 능가할 것으로 예상한다. 이는 인간이 쓸모없게 된다는 것을 의미하는 것이 아니라, 직장에서 우리의 역할이 근본적으로 바뀐다는 것을 의미한다. 우리는 AI와 기타 고급 기술을 직접 활용하여 우리 자신의 역량을 증강함으로써 적응할 가능성이 높다. 인간의 모든 지식에 즉시 접근하거나 마치 호흡하듯이 복잡한 계산을 쉽게 수행할 수 있다고 상상해보라. 인간과 AI의 이러한 공생은 직장에서 숙련된다는 것의 의미를 새롭게 정의할 것이다. 교육 시스템은 급진적인 변화를 거쳐야 한다. 10년 후에는 존재하지 않을지도 모르는 특정 직업에 학생들을 준비시키는 대신, AI 시스템과 효과적으로 협업하는 능력과 적응력, 창의성을 개발하는 데 중점을 둘 것이다. 평생 학습은 단순한 유행어가 아니라, 기술 변화의 속도가 가속화됨에 따라 필수적인 요소가 될 것이다. 그 사이에 새로운 근무 방식으로의 전환은 정책 입안자들에게 과제를 안겨줄 것이다. 기술적 혁신으로 인한 경제적 영향을 완화하기 위해 사회적 안전망을 확대해야 할 가능성이 크다. 전통적 산업과 역할이 경제에서 덜 중심적인 위치를 차지하게 되면서 사람들이 기본적인 욕구를 충족할 수 있도록 보장하기 위해 기본 소득(UBI)이나 이와 유사한 프로그램이 발전하는 모습을 볼 수 있다. 커즈와일은 2030년대 초반 선진국에서는, 그리고 2030년대 후반 전 세계적으로는 오늘날 기준으로 편안한 생활 수준을 제공하는 어떤 형태의 UBI가 등장할 것이라고 믿는다. 아마도 이 기술 혁명의 가장 흥미로운 측면은 전례 없는 풍요의 시대를 창조할 수 있는 잠재력일 것이다. AI, 로봇공학, 나노기술의 기하급수적 발전으로 상품과 서비스의 비용이 획기적으로 낮아질 것으로 예상된다. 2030년대가 되면 오늘날의 비용의 일부만으로 식량, 에너지, 제조품을 생산할 수 있게 될지도 모른다. 이러한 풍요는 사회의 희소성과 경쟁의 본질을 근본적으로 바꿀 수 있다. 아무도 먹을 것이나 집이 없는 것에 대해 걱정할 필요가 없는 세상을 상상해보라. 그런 시나리오에서는 인간 노력의 초점이 기본적인 욕구 충족에서 과학적 발견, 예술적 표현, 철학적 탐구와 같은 더 고차원의 추구로 바뀔 수 있다. 하지만 이러한 전환이 순조롭게 진행되거나 자동으로 이루어질 것이라고 가정하는 것은 신중해야 한다. 불평등이 심화되는 것을 막기 위해서는 기술 발전의 혜택을 널리 공유해야 한다. 많은 사람에게 전통적인 일이 더 이상 정체성의 주된 원천이 아닌 세상에서, 우리는 삶의 의미와 목적에 대한 질문을 씨름해야 할 것이다. 게다가 이러한 풍요로움은 모든 부문에서 동시에 균등하게 나타나지는 않을 것이다. 지난 수십 년 동안 컴퓨팅 성능은 기하급수적으로 저렴해진 반면, 의료와 같은 분야에서는 비용이 상승했다. AI와 자동화로 인한 디플레이션 효과가 교육과 의료와 같은 필수 서비스로 확산되도록 하려면 현명한 정책이 필요하다. 우리는 이러한 기술 혁명의 문턱에 서 있으며, 우리의 과제는 이러한 혁신적인 기술을 개발하는 것뿐만 아니라 이를 모든 인류에게 이로운 방식으로 활용하는 것이다. 커즈와일이 그리는 미래는 전례 없는 가능성을 지닌 것이지만, 그 잠재력을 최대한 실현하려면 선견지명과 지혜, 그리고 공동 번영에 대한 헌신이 필요할 것이다.




참고문헌

Life 3.0 by Max Tegmark

Human Compatible by Stuart Russell

The AI Economy by Roger Bootle

Architects of Intelligence by Martin Ford

Superintelligence by Nick Bostrom

Scary Smart by Mo Gawdat

The Singularity Is Nearer by Ray Kurzweil