📚마침내 특이점이 시작된다 | 레이 커즈와일 | 비즈니스북스(2025)

🙃필자가 레이 커즈와일에 대해 처음 알게 된 건, 연간 11억 원어치, 하루 100알의 영양제를 먹는 사람 정도였다. 두 번째로 그의 존재를 깨닫게 된 건, 우리 주변에서 흔히 볼 수 있는 건반 악기인 커즈와일 신디사이저를 만든 사람(그전엔 전혀 같은 사람인 줄 모르고 있었음)이었다. 막연히 음악가이거나 구글 이사인 줄 알았다가 최근 그가 쓴 책을 접하게 되면서 레이 커즈와일이 제2의 에디슨이고 미래에 대해 엄청난 기술을 준비하고 있는 마치 미래학자 같은 느낌의 발명가임을 알게 되었다. 

저자가 쓴 책에서 다소 나의 신앙관과 달라 불편함이 많이 느껴지기도 했지만, 앞으로 펼쳐질 과학기술 속에서 과연 우리 인류는 무엇을 준비하고 대비해야 하는지 생각해 보는 시간이었다. 

 

커즈와일은 원래 발명가였다(그의 별명은 '21세기의 에디슨'이다). 광학 문자 인식(OCR) 기술부터 텍스트 음성 변환(TTS) 그리고 최초의 상용화된 음악 신디사이저까지, 그의 손끝에서 태어난 기계들은 오랫동안 인간의 감각을 확장시켜 왔다. p. 6

 

오늘도 한 손에는 특허를, 다른 손에는 영원을 들고 그가 사랑하는 한 문장을 되뇐다. "미래를 예측하는 가장 좋은 방법은 미래를 창조하는 것이다."p. 7

 

인공지능의 자율성 확보는 인간 존재에 대한 위협이 아니라, '인간-기계' 공진화 human-machine co-evolution 의 가속화로 해석해야 한다. p. 11

 

그가 바라보는 미래는 눈부시다. 그는 질병 없는 세계, 무한 에너지의 세계, 지능과 생명이 무한히 확장된 세계를 꿈꾼다. 기대 수명은 120세를 넘어설 것이고, 당연히 암은 정복될 것이다. 빈곤도 사라질 것이다. 이 모든 것이 가능해질 때 우리는 마침내 '충분히 좋은' 인간이 될 것이다. 그러나 우리는 물어야 한다. 이 미래는 누구의 것인가? 초지능 인공 지능은 누구를 위해 봉사할 것인가? 디지털 불멸은 과연 바람직한가? 백업된 나, 복제된 나는 여전히 '나'인가? 이 책에서는 기술의 승리 외에 다른 이야기는 주변으로 밀려 있다. p. 13

 

커즈와일은 신을 믿지 않고 인간을 믿는다. 보다 정확히는 인간의 테크놀로지를 믿는다. 그는 인간을 하나의 임시 단계로 본다. 진화를 위한 다리. 스스로를 넘어서는 기계적 존재로 이어지는 징검다리 말이다.p. 13

 

10년 이내에 우리는 사람과 똑같아 보이는 AI와 상호 작용할 것이고, 단순한 '뇌-컴퓨터' 인터페이스가 현재의 스마트폰처럼 일상생활에 영향을 미칠 것이다. 생명공학 분야의 디지털 혁명은 질병을 치료할 뿐만 아니라 사람들의 건강수명을 유의미하게 연장시킬 것이다. 그와 동시에 많은 노동자는 경제적 혼란의 고통을 느낄 테고, 모든 사람은 이 새로운 능력의 우발적이거나 의도적인 오용 위험에 노출될 것이다. 2030년대에는 자율 성장형 AI와 나노기술의 발전으로 인간과 기계가 유례없는 수준으로 결합되고, 그와 동시에 기대와 위험이 더욱 크게 부각될 것이다. 만약 이러한 발전이 제기하는 과학적, 윤리적, 사회적, 정치적 도전 과제에 우리가 잘 대응한다면, 2045년 무렵에 지구에서의 삶은 훨씬 더 나은 쪽으로 변화할 것이다. 반대로 실패한다면, 우리의 생존 자체가 위험에 처할 수 있다. p. 24

 

제1장. 우리는 여섯 단계 중 어디에 있는가?

 

2030년대에 완성될 한 가지 핵심 능력은 우리 신피질의 위쪽 영역을 클라우드에 연결하는 것으로, 그렇게 되면 우리의 사고가 직접적으로 크게 확장될 것이다. 이제 AI는 경쟁자라기보다는 우리 자신의 확장된 일부가 될 것이다. p. 31

 

제2장. 지능의 재발명

 

여러 층으로 된 신피질 덕분에 우리는 피질 구조가 단순한 동물보다 추상적 사고 능력이 더 뛰어나다. 신피질을 직접 클라우드 기반 계산과 연결하는 날이 오면, 우리의 유기적 뇌가 현재 혼자서 해낼 수 있는 것보다 훨씬 더 추상적인 사고의 잠재력이 분출될 것이다. p. 64

 

AI가 인간 신피질의 경이로운 일반성 수준에 이르려면 언어에 통달할 필요가 있다. 우리가 서로 아주 다른 인지 영역을 연결하고 고차원적 기호를 통해 지식을 전달할 수 있는 것은 바로 언어 덕분이다.p. 74

 

AI의 발전이 너무나도 빠르게 일어나고 있어 전통적인 책으로는 그 속도를 따라잡기가 어렵다. 책을 디자인하고 조판을 거쳐 인쇄하기까지는 거의 1년이 걸린다. 출판되자마자 구입했다 하더라도, 당신이 이 책을 읽을 무렵에는 이미 새로운 진전이 많이 일어났을 것이다. 그리고 AI는 여러분의 일상생활 속으로 더 깊이 침투해 있을 것이다. p. 88

 

오늘날 남아 있는 AI의 결함은 몇 가지 주요 영역으로 나누어지는데, 그중에서 가장 중요한 것은 맥락 기억과 상식, 사회적 상호작용이다.p. 89

 

AI의 발전을 각각의 능력으로 나눠 바라보면 중요한 사실이 드러난다. 우리는 인간 수준의 지능을 일체화된 단일 개념으로(즉, AI가 갖거나 갖지 못한 것으로) 이야기하는 경우가 많다. 하지만 인간의 지능은 여러 인지 능력이 모인 두꺼운 섬유 다발로 바라보는 게 훨씬 유용하고 정확하다. p. 95

 

오늘 태어난 아이는 초등학교를 다닐 때 AI가 튜링 테스트를 통과하는 사건을 보게 될 것이고, 대학교에 다닐 무렵이면 훨씬 풍부한 뇌의 에뮬레이션에 성공하는 장면을 보게 될 것이다.p. 100

 

인간이 책 한 권을 읽는 데 평균 6시간이 걸린다고 하면, 구글의 '토크 투 북스'는 그보다 약 50억 배나 빠르며, 그와 함께 사실상 무한정의 데이터 저장 용량을 갖고 있다.p. 106

 

2030년대가 되면 나노 nanobot이라는 미세 장치를 사용해 이 목표를 달성할 수 있을 것이다. 이 작은 전자 장치는 신피질 최상층을 클라우드와 연결시킴으로써 우리의 신경세포가 온라인에 호스팅 된 시뮬레이션 신경세포와 직접 소통하게 해 줄 것이다. 여기에 SF 수준의 뇌수술이 필요하진 않을 것이다. 모세혈관을 통해 비침습적으로 뇌에 나노봇을 침투시킬 수 있다. p. 111

 

제3장. 나는 누구인가?

 

뇌는 외부 세계로부터 입력을 받아들여 엄청나게 복잡한 네트워크(사실, 최근에 과학자들은 최대 11차원으로 존재하는 뇌 속의 네트워크를 발견했다!)를 통해 그것을 처리한다. 그리고 뇌는 열린계이기 때문에, 알려지지 않은 미래의 입력을 단계별 시뮬레이 션에 반영하는 것은 불가능하다. 따라서 뇌의 기능을 복제하는 것이 가능하다고 해서 미래의 뇌 상태까지 사전에 계산하는 능력이 생기는 것은 아니다. 이것은 우주가 존재하는 이유인지도 모른다. p. 131

 

우리가 만들 수 있는 AI 아바타의 한 종류인 레플리컨트replicant (영화 <블레이드 러너>에서 빌려온 용어)는 죽은 사람의 생김새와 행동, 기억, 스킬을 가지고서 내가 '애프터 라이프'After Life (사후 세계)라고 부르는 곳에서 살아간다. p. 147

 

2020년대 후반에는 더 발전된 AI가 수천 장의 사진과 수백 시간의 영상, 수백만 단어의 문자 메시지, 개인적 관심과 습관에 관한 자세한 데이터, 그를 기억하는 사람들과의 인터뷰를 바탕으로 실제 인물과 매우 흡사한 레플리컨트를 만들어낼 것이다. 사람들은 문화적, 윤리적, 개인적 이유로 이에 대해 엇갈린 반응을 보일 테지만, 원하는 사람들에게는 기술이 충분한 편의를 제공할 것이다. p. 148

 

레플리컨트 신체는 주로 가상현실과 증강현실에 존재할 테지만, 2030년대 후반이 되면 나노기술을 사용해 실제 현실에서 현실적인 신체(즉, 아주 그럴듯한 안드로이드)가 존재하는 일도 가능할 것이다. p. 149

 

레플리컨트의 도입은 그 밖에도 다음과 같은 어려운 사회적, 법적 질문을 많이 제기할 것이다. p. 151

*레플리컨트를 완전한 인권과 시민권(투표권과 계약을 맺을 권리 같은)을 가진 인간으로 간주해야 할까?

*복제 대상인 사람이 이전에 행한 계약이나 범죄에 대해서 레플리컨트에게 책임을 물어야 할까?

*레플리컨트에게 자신이 대체한 사람이 한 일이나 사회적 기여에 대한 공로를 인정해줘야 할까?

*사별한 남편이나 아내가 레플리컨트로 돌아오면, 그와 재혼을 해야 할까?

*레플리컨트는 추방을 당하거나 차별을 당할까?

*어떤 조건에서 레플리컨트의 생성을 제한하거나 금지해야 할까? 

 

2040년대 초가 되면, 나노봇이 살아 있는 사람의 뇌로 들어가 그 사람의 기억과 개성을 형성하는 모든 데이터를 복제해 '두 번째 나'를 만들 수 있을 것이다. p. 152

 

특이점은 이 모든 한계로부터 우리를 해방시켜줄 것이라고 약속한다. 수천 년 동안 인류는 우리가 어떤 사람이 될지 결정하는 과정을 통제하는 힘이 점점 더 커져왔다. 의학은 부상과 장애를 극복하는 데 도움을 주었다. 화장품은 개인적 취향에 따라 외모를 가꿀 수 있게 해 주었다. 많은 사람은 심리적 불균형을 바로잡거나 다른 의식 상태를 경험하기 위해 합법적 또는 불법적 약물을 사용한다. 정보에 더 광범위하게 접근할 수 있는 능력은 우리의 마음을 풍요롭게 채우고, 뇌를 물리적으로 재구성하는 정신적 습관을 형성하게 해 준다. 예술과 문학은 한 번도 만난 적이 없는 사람들에게 공감을 느끼게 하고, 우리의 미덕이 성장하도록 도울 수 있다. 오늘날의 모바일 앱은 규율을 세우고 건강한 생활 방식을 촉진하는 데 사용될 수 있다. 트랜스젠더는 자신의 신체를 내면적으로 느끼는 성 정체성과 일치시키기가 이전보다 훨씬 쉬워졌다. 뇌를 직접 프로그래 밍하는 날이 오면, 우리 자신을 얼마나 더 나은 상태로 만들 수 있을지 상상해 보라. p. 159

 

제4장. 삶은 기하급수적으로 개선되고 있다

 

인지 편향 때문에 인간은 위협적인 정보에 자연적으로 더 끌리게 돼 있다. 대다수 매체(전통적인 뉴스 매체와 소셜 미디어 모두)는 광고 수익을 올리기 위해 시청자의 눈길을 끄는 방법으로 돈을 벌기 때문에, 이 업계 전체는 강한 감정적 반응을 유발하는 위협적인 정보를 전파하는 것이 비즈니스를 유지하는 데 가장 좋은 방법이라는 사실을 체득했다.p. 172

 

남아 있는 질병과 장애 원인은 대부분 우리 몸 내부 깊은 곳에 있다. 세포가 제 기능을 하지 못하고 조직이 망가지면서 암과 죽상동맥경화증, 당뇨병, 알츠하이머병 같은 질병이 생긴다. 생활 방식과 식습관, 보충제를 통해 이러한 위험을 어느 정도 줄일 수는 있다(나는 이 단계를 '급진적 수명 연장의 첫 번째 다리'라고 부른다). p. 190

 

2020년대에 들어 우리는 인공 지능과 생명공학을 결합해 퇴행병을 물리치는 두 번째 다리에 진입하고 있다. 우리는 이미 개입과 임상 시험에 관한 정보 조직에 컴퓨터를 사용하는 단계를 넘어섰다. 이제는 신약을 찾는 데 AI를 활용하고 있는데, 2020년대가 끝날 무렵이면 느리고 성능이 떨어지는 인간 대상 임상 시험을 디지털 시뮬레이션으로 보강하고 궁극적으로는 대체하는 과정이 시작될 것이다. 지금은 사실상 의학이 정보 기술로 변환하는 과정에 있으며, 이러한 기술의 특징인 기하급수적 진전을 이용해 생물학의 소프트웨어에 통달하게 될 것이다. p. 191

 

2030년대에는 급진적 수명 연장의 세 번째 다리에 도달할 텐데, 우리 몸 전체에서 세포 수준의 보수 유지 작업을 지능적으로 수행하는 의료 나노봇이 그 주역이다. 일부 정의에 따르면, 특정 생체 분자는 이미 나노봇으로 간주된다. 하지만 세 번째 다리의 나노봇을 차별화하는 요소는 AI의 능동적인 제어를 받으면서 다양한 과제를 수행하는 능력에 있다. p. 192

 

네 번째 다리-우리의 마음 파일들을 디지털 방식으로 백업하는 능력-는 2040년대에 완성될 기술이다. 개인 정체성의 핵심은 뇌 자체가 아니라 뇌가 표현하고 조작할 수 있는 아주 특별한 정보 배열이다. 이 정보를 충분히 정확하게 스캐닝할 수 있게 되면, 그것 을 디지털 기질 위에 복제할 수 있을 것이다. 그렇게 되면 설령 생물학적 뇌가 파괴되더라도, 그 사람의 정체성은 사라지지 않을 것이다. 안전한 백업으로 복제되고 다시 복제되길 반복하면서 거의 임의의 긴 수명을 누릴 수 있기 때문이다. p. 192

 

2000년부터 2016년까지 전 세계에서 위험한 업무에 투입돼 일하는 아동의 비율은 11.1%에서 4.6%로 줄어든 것으로 추정된다.p. 206

 

이제 막 제대로 인식되기 시작한 또 한 가지 요인은 오염과 범죄 사이의 관계이다. 환경 속의 독소, 특히 납이 뇌에 미치는 영향은 20세기의 상당 기간이 지날 때까지 제대로 알려지지 않았다. 자동차 배기가스와 페인트에 포함된 납은 아동의 인지 발달에 상당한 해를 끼쳤다. p. 209

 

미래를 위한 핵심 통찰은 이러한 선순환을 기본적으로 주도하는 주역이 기술이라는 것이다. 한때 사람들이 소규모 집단하고만 동질감을 느끼던 때, 의사소통 기술(책, 라디오와 텔레비전, 컴퓨터, 인터넷의 순으 로)은 더 넓은 범위의 사람들과 생각을 나누고 공통점을 발견하는 데 도움을 주었다. 시선을 사로잡는 먼 곳의 재난 영상을 볼 수 있는 능력은 역사적 근시안을 조장할 수 있지만, 한편으로는 우리의 선천적 공감을 강하게 이끌어내고 도덕적 관심을 우리 종 전체로 확장하도록 촉진한다. p. 212

 

2020년대 후반에는 의류와 그 밖의 일반 상품도 3D 프린팅으로 생산되기 시작할 것이다. 그리고 궁극적으로는 아주 저렴한 비용으로 생산될 것이다. 3D 프린팅의 주요 추세 중 하나는 소형화인데, 물체에 점점 더 작은 세부를 추가할 수 있는 기계의 설계가 가능해질 것이다. p. 231

 

우리는 곧 AI가 생산을 제어하고 화학비료를 사용하지 않는 수직 농업을 이용해 양질의 값싼 식품을 생산할 것이다. 세포 배양을 통해 깨끗하고 윤리적으로 기른 고기가 환경을 해치는 공장 사육을 대체할 것이다.p. 232

 

우리는 곧 주택과 기타 건물용 모듈 을 값싸게 생산해 수많은 사람에게 안락한 주거를 저렴하게 제공할 수 있을 것이다. 이 모든 기술은 이미 성공적으로 시연되었고, 2020년대에 점점 더 발전하여 주류 기술로 쓰이는 단계로 올라설 것이다. p. 233

 

인터넷이 통합되고 지속적인 웹 페이지 환경인 것처럼, 2020년대 후반의 가상현실과 증강현실은 우리의 현실에 새로운 매력적인 층으로 융합될 것이다. 이 디지털 우주에서 많은 제품은 물리적 형태조차 전혀 필요하지 않을 텐데, 시뮬레이션 버전이 매우 현실적인 세부 내용에서까지 완벽하게 작동할 것이기 때문이다. p. 233

 

앞으로 20년 이내에 '뇌-컴퓨터 인터페이스 기술에 큰 발전이 일어날 것이다. 결국에는 시뮬레이션한 감각 데이터를 직접 뇌로 입력하는 완전 몰입형 가상현실이 실현될 것이다. 예를 들면, 에베레스트산을 오르면서 경험하는 그 모든 도전과 자연의 아름다움을 가상현실에서 안전하게 경험할 수 있다면, 과연 현실 세계에서 실제로 그런 경험을 할 가치가 있는지(혹은 위험이 그 경험에 따르는 매력의 일부인지) 고민하게 될 것이다. p. 234

 

앞으로 태양광 발전과 재료과학, 로봇공학, 인공 지능 부문에서 일어날 수렴 혁신으로 수직 농업은 현재의 농업보다 비용이 훨씬 저렴해질 것이다. 많은 시설은 효율적인 광전지로 가동되고, 현장에서 새로운 비료를 생산하고, 공기에서 물을 모으고, 자동기계로 작물을 수확할 것이다. 필요한 노동자 수와 '토지 발자국'Land footprint도 크게 줄어들 것이기 때문에, 미래의 수직 농장에서는 결국 작물이 아주 값싸게 생산되어 소비자는 거의 공짜에 가까운 가격으로 농산물을 구입할 수 있을 것이다. p. 247

 

3D 프린팅은 고객과 지역 공동체에 선택권을 줌으로써 제작의 탈중앙화를 가능케 한다. 이것은 20세기에 발전한 패러다임, 즉 제조가 대도시의 거대 기업 공장에 집중되던 것과 대조적이다. 이 모델에서 는 소도시와 개발도상국이 멀리 떨어진 곳에서 제품을 사와야 했는데, 운송에 많은 비용과 시간이 들었다. 탈중앙화 제조는 환경에도 상당한 도움이 될 것이다. 공장에서 수백 또는 수천 킬로미터 떨어진 소비자에게 제품을 운송하는 과정은 상당한 양의 오염 물질과 탄소 배출을 수반한다. 국제교통포럼에 따르면, 연료 연소를 통해 배출되는 모든 탄소 중 약 30%가 화물 운송 과정에서 나온다고 한다. 탈중앙화 3D 프린팅은 그중 상당량의 배출을 줄일 수 있다. p. 251

 

신발과 도구 같은 일상용품 제작 외에 3D 프린팅을 생물학에 응용하는 연구가 새로 진행되고 있다. p. 252

 

3D 프린팅의 한 가지 잠재적 단점은 불법 복제 디자인 제작에 쓰일 수 있다는 점이다. 파일을 다운로드해서 아주 값싸게 직접 만들 수 있다면, 뭐 하러 유명 브랜드의 신발을 200달러나 주고 사겠는가? 이미 음악과 책, 영화, 그 밖의 창조적 형태의 지적 재산권에서도 비슷한 문제가 나 타나고 있다. 이런 문제 때문에 지적 재산권 보호를 위한 새로운 접근법의 필요성이 부각되고 있다. 또 한 가지 우려스러운 점은 탈중앙화 제조 때문에 일반 시민이 다른 방법으로는 쉽게 접근할 수 없는 무기를 만들 수 있다는 사실이다. 이미 인터넷에서는 직접 총 조립에 사용할 수 있는 부품을 3D 프린팅으로 만드는 법을 알려주는 파일이 돌아다니고 있다."p. 253

 

2014년에 중국 3D 프린팅 건축 회사 원선은 단순한 조립 주택 10채를 24시간 만에 짓는 능력을 보여주었는데, 한 채당 건축비용이 5000달러도 들지 않았다. 중국은 이미 3D 프린팅 건축물의 중심지가 되었으며, 향후 수십 년 사이에 이 기술의 더 발전된 버전에 대한 수요가 커질 것이다. p. 255

 

나노봇은 모든 종류의 병원체를 파괴하도록 프로그래밍할 수 있을 뿐만 아니라, 대사 질환도 치료할 수 있다. 심장과 뇌를 제외한 우리의 주요 기관은 혈류에 다양한 물질을 분비하거나 제거하는데, 많은 질병은 이들의 기능 장애에서 비롯된다. 예를 들면, 제1형 당뇨병은 이자섬세포가 인슐린을 제대로 만들지 못하는 것이 원인이 되어 발생한다. 의료용 나노봇은 혈액 공급을 감시하면서 호르몬, 영양분, 산소, 이산화탄소, 독소를 포함해 다양한 물질의 증감을 조절하고, 이를 통해 기관의 기능을 증강시키거나 심지어 대체할 것이다. 이런 기술들 덕분에 2030년대 말 경에 우리는 질병과 노화 과정을 대부분 극복할 수 있을 것이다. p. 260

 

만약 생물학적 사망 후에 자신의 마음 파일을 복구한다면, 그것은 정말로 나 자신을 복구한 것일까? 제3장에서 논의했듯이, 이것은 과학적 질문이 아니라 철학적 질문이며, 오늘날 살아 있는 대다수 사람의 생애 동안 우리가 붙들고 씨름해야 할 문제이다.p. 262

 

이런 기술은 처음에는 가격은 비싸고 성능은 제한된 상태로 시작한다. 그리고 성능이 완성될 무렵에는 거의 모든 사람이 소유할 수 있는 수준으로 가격이 떨어진다. 그 이유는 정보 기술의 고유한 특성인 가격 대비 성능의 기하급수적 향상에 있다.p. 263

 

제5장. 일자리의 미래 : 좋은 쪽 혹은 나쁜 쪽?

 

지하 경제의 번창에 암호 화폐가 꼭 필요한 것은 아니다. 소셜 미디어와 크레이그리스트 같은 플랫폼은 사람들에게 정부의 눈에 거의 띄지 않게 경제적 연결을 형성할 수 있는 기회를 풍부하게 제공한다. 이 효과는 다른 주요 추세들도 촉진하는데, 이것들은 전통적인 고용 방법으로 간주되지 않는 새로운 돈벌이 방법이다. 여기에는 웹사이트와 앱을 사용해 자산과 서비스(물리적 혹은 디지털)를 만들고 사고팔며 교환하는 것뿐만 아니라, 소셜 미디어 사이트에서 앱과 영상, 기타 형태의 디지털 콘텐츠를 만드는 것도 포함된다. 어떤 사람들은 예컨대 유튜브용 콘텐츠를 만들어 성공적인 경력을 쌓거나, 인스타그램이나 틱톡에서 다른 사람들에게 영향력을 미침으로써 돈을 번다. p. 295

 

따라서 기술 변화는 많은 일자리를 사라지게 만들지만, 바로 그 변화의 힘이 전통적인 '일자리' 모델에서 벗어나는 곳에서 새로운 기회룰 수 많이 만들어내고 있다. 나름의 한계가 없는 것은 아니지만 이른바 '긱경제'는 사람들에게 이전의 선택지보다 더 많은 유연성과 자율성, 여가 시간을 허용하는 경우가 많다. 이러한 기회의 질을 최대화하는 것이 자동화 추세가 가속화되면서 전통적인 일자리를 위협하는 이 시대에 노동자들을 도울 수 있는 한 가지 전략이다.p. 296

 

풍요의 시대로 접어들면서 마침내 물질적 필요의 가용성이 보편화됨에 따라(많은 전통적인 일자리가 사라지는 한편으로) 우리의 주요 과제는 목적과 의미를 찾는 것이 될 것이다. 사실상 우리는 에이브러햄 매슬로Abraham Maslow의 욕구 단계에서 위로 올라가고 있다. 이것은 현재 경력을 결정하는 세대에서 이미 분명하게 드러나고 있다. p. 307

 

자동화의 영향이 계속 이어지면서 승자와 패자가 나타나는 것이 불가피하다고 지적했다. 일자리를 잃은 운전기사에게는 인류가 삶의 단계에서 위로 올라갈 것이라는 약속이 공허하게 들릴 수 있는 데, 그 개인은 사실상 그러한 전환에 성공하지 못할 수도 있기 때문이다. p. 308

 

실제로는 각각의 일자리가 사라질 때마다 많은 긍정적 변화가 함께 일어나며, 이러한 변화는 파괴적 변화만큼이나 빨리 일어난다.p. 312

 

다가오는 사회적 변화를 낙관하는 가장 중요한 이유는 증가하는 물질적 풍요가 폭력 유발 요인을 낮출 것이기 때문이다.p. 313

 

제6장. 향후 30년의 건강과 안녕

 

궁극적으로 AI는 의료 영상에 숨어 있는 방대한 잠재력을 드러낼 것이다. 겉보기에는 건강한 기관에 숨어 있는 위험 인자를 확인하고, 그럼으로써 어떤 문제가 손상을 초래하기 훨씬 전에 예방 조치를 취함으로써 생명을 구할 것이다. p. 327

 

2030년대에는 수명 연장의 세 번째 단계가 시작될 텐데, 이것은 나노 기술을 사용해 생물학적 기관의 한계를 완전히 극복하는 단계이다. 이 단계에 들어서면, 수명이 대폭 늘어나 사람들이 정상적인 인간 수명 한계인 120세를 훌쩍 뛰어넘어 훨씬 더 오래 살 것이다. p. 342

 

나노 컴퓨터는 후성유전학(유전자의 발현과 활성화 방식을 좌우하는)을 지배하는 생물학적 알고리즘도 실행할 수 있다. p. 350

 

나노봇은 신체의 긴급한 위험을 막는 데에도 유용하게 쓰일 텐데, 예컨대 세균과 바이러스를 파괴하고, 자가 면역 반응을 중단시키고, 막힌 동맥을 뚫는 등의 역할을 할 것이다. p. 350

 

나노기술이 우리 몸에서 하게 될 가장 중요한 역할은 뇌를 증강시키 는 것인데, 뇌는 결국에는 99.9% 이상이 비생물학적 기관이 될 것이다. 이런 일이 일어날 분명한 경로가 두 가지 있다. 하나는 나노봇을 뇌 조직 자체에 점진적으로 투입하는 것이다. 이 방법은 손상을 복구하거나 작동을 멈춘 신경세포를 교체하는 데 쓰일 수 있다. 다른 하나는 뇌를 컴퓨터와 연결시키는 것인데, 그러면 우리는 생각만으로 기계를 직접 제어하는 능력이 생기는 동시에 클라우드의 디지털 신피질 층들과 통합될 수 있다. p. 352

 

제7장. 위험

 

이 발전은 수십억 명의 삶을 나아지게 하는 동시에 우리 종의 생존에 대한 위험도 높일 것이다. 안정을 깨뜨릴 새로운 핵무기, 합성 생물학 분야의 혁신, 막 발전하기 시작한 나노기술은 모두 우리가 해결해야 할 위협을 가져올 것이다. 그리고 AI가 인간의 능력에 도달하고 그것마저 넘어서면, 유익한 목적에 맞게 조심스럽게 관리해야 하며, 사고를 피하고 오용을 막기 위해 특별히 신경을 써서 설계해야 한다. p. 355

 

전문가들이 응답한 추정치의 중앙값을 취하면, 2100년 이전에 핵전쟁으로 적어도 100만 명이 사망할 확률은 30%, 적어도 10억 명이 사망할 확률은 10%, 완전히 멸종할 확률은 1%였다. p. 357

 

2023년 현재 '3대' 핵전력 (대륙간 탄도 미사일, 공중 투하 폭탄, 잠수함 발사탄도 미사일)을 모두 갖춘 나라는 다음 5개국이다. 미국(핵탄두5244기), 러시아(5889기), 중국(410기), 파키스탄(170기), 인도(164기)! 이보다 더 제한된 형태의 운반 체계를 보유한 나라는 프랑스(290기), 영국(225기), 북한(약 30기)이 있다. 이스라엘은 핵무기 보유를 공식적으로 인정하지 않았지만, 3대 핵전력과 함께 90기의 핵탄두를 보유하고 있는 것으로 보인다. p. 357

 

현재의 활성 핵탄두 수만으로도 지구의 모든 문명을 끝장내기에 충분하다. 그리고 설령 핵전쟁이 일어날 연간 위험은 낮다고 하더라도, 수십 년 혹은 100년이 지나는 동안 누적되는 그 위험은 아주 심각하다. 매우 위험한 무기들이 현재 형태로 유지되는 한, 세계 어느 곳에서 의도적으로(정부나 테러리스트 또는 악 당 군인이) 혹은 실수로 사용되는 것은 시간문제일 가능성이 높다. p. 357

 

'상호 확증 파괴'Mutually assured destruction, MAD는 핵전쟁 위험을 줄이기 위해 나온 가장 유명한 전략으로, 냉전 기간 내내 미국과 소련이 모두 사용 했다. 이 전략은 잠재적 적에게 만약 그들이 핵무기를 사용한다면 동일한 무기로 압도적인 보복을 당할 것이라는 메시지를 확실하게 보내는 것이 핵심이다. p. 358

 

생명공학 부문의 위험은 대부분 자기 복제와 관련이 있다. 한 세포에 일어난 문제가 큰 위험이 될 가능성은 거의 없다. 이것은 나노기술도 마찬가지인데, 한 나노봇 AI가 아무리 파괴적이라 하 더라도, 세계적 재앙을 초래하려면 자기 복제 능력이 있어야 한다. 나노 기술은 광범위한 공격 무기를 가능케 할 텐데, 그중 많은 것은 극히 파괴적일 수 있다. 게다가 만드는 데 막대한 자원이 필요한 오늘날의 핵무기와 달리 나노기술은 충분히 발전하면 그러한 무기를 아주 값싸게 만들 수 있다. p. 363

 

AI 기술은 본질적으로 이중의 용도로 사용될 수 있다는 사실을 알아야 한다. 이미 배치된 시스템들 역시 그렇다. 장마철에 도로를 통해 접근할 수 없는 병원에 의약품을 운반하는 드론이 나중에는 그 병원에 폭발물을 투하할 수 있다. 드론이 군사 작전에 사용된 지 이미 10년이 넘었다는 사실을 명심할 필요가 있다. 지금은 드론 조종사가 지구 정반대 편에 있는 특정 창문을 뚫고 지나도록 미사일을 보낼 수 있을 만큼 군사용 드론이 매우 정밀해졌다. p. 373

 

AI는 고도로 통합된 경제 인프라에서 나타나고 있기 때문에 우리의 가치를 반영할 수밖에 없는데, 중요한 의미에서 AI는 바로 우리 자신이 될 것이기 때문이다. 우리는 이미 '인간-기계' 문명 시대에 접어들었다. 궁극적으로는, AI를 안전하게 만들기 위해 가장 중요한 접근법은 인간의 관리와 사회 제도를 보호하고 개선하는 것이다. 미래에 파괴적 갈등을 피하는 최선의 방법은 수백 년에서 수십 년 동안 이미 폭력을 크게 감소시킨 우리의 윤리적 이상을 계속 발전시키는 것이다. p. 376

 

GMO(유전자 변형 생물)를 포함하고 있을 가능성이 있는 식품을 무조건 거부하는 태도는 아프리카의 기아 상황을 악화시킨다.p. 376

 

전체적으로 우리는 조심스럽게 낙관적 태도를 견지해야 한다. AI는 새로운 기술적 위협을 만들어내는 반면, 그러한 위협을 다루는 우리의 능력도 극적으로 향상할 것이다. 남용 문제의 경우, 이 방법들은 우리 의 가치에 상관없이 우리의 지능을 크게 향상할 것이기 때문에, 약속과 위험 어느 쪽으로 건 사용될 수 있다. 따라서 우리는 AI의 힘이 널리 분배되어 그 영향에 인류 전체의 가치가 반영되는 세상을 만들려고 노력해야 한다. p. 378