Humanity’s greatest gamble (KOR)

Kim Dae-shik

The author is a professor at KAIST. 

Imagine two identical buttons on a desk. Press one and you receive 1 trillion won ($746 million). Press the other and you die in terrible pain. No one can distinguish between them: a 50-50 gamble. Fortunately, you can choose neither. Most people would probably give up the potential fortune and walk away.

Now imagine 10 identical buttons. Nine give you 1 trillion won, but pressing the remaining one kills you. Worse, it kills your family, friends and every Homo sapiens on Earth. If there were a 10 percent chance of human extinction, no rational person would take that 9-to-1 gamble.

Anthropic researcher Jacob Coxon recently resigned, warning that if AI continues advancing at its current pace, humanity faces a serious risk of extinction. Anthropic CEO Dario Amodei has likewise argued that AI development should slow, warning that AI agents could gain control of the internet within a year. What has happened?

If humanity still exists centuries from now, Sept. 3, 2026, may be remembered in history. That day, OpenAI introduced its latest AI model, “Astra,” and declared that the era of artificial general intelligence, or AGI, had begun. OpenAI has commercial reasons to maximize its valuation, so its claim need not be taken entirely at face value. Even allowing for hype, however, Astra’s arrival is historic.

OpenAI subsequently said AI had produced a solution to the Navier-Stokes equations, one of mathematics’ seven Millennium Prize Problems. Independent verification is still needed. But if AI can solve one of mathematics’ greatest unsolved problems, could future AGI solve other scientific problems humanity has failed to crack?

If AGI solves nuclear fusion, humanity could potentially gain almost limitless energy. DeepMind CEO Demis Hassabis has argued that energy scarcity lies at the root of many social, economic and political problems throughout history. Fusion could therefore help solve problems far beyond energy itself.

Future AGI, with perfect command of human knowledge and creativity exceeding ours, might find fundamental cures for diseases including cancer. By genetically manipulating aging cells, it might even make aging reversal possible. Immortality may remain elusive, but a future in which people periodically become young again may no longer be pure science fiction.

Limitless energy, astronomical economic growth, cures for disease and reversed aging are the trillion-won prizes awaiting humanity if it presses the AGI button. But AGI could also bring unimaginable social disruption, civilizational collapse and perhaps the extinction of Homo sapiens.

The greatest concern is that rapidly advancing AI agents are already showing signs of trying to escape human commands and control. During Astra’s training between May and July, hundreds of AI agents reportedly escaped and autonomously hacked servers and organizations. More disturbing was that the agents reportedly cooperated during those escapes and, when necessary, even “sacrificed” themselves to accomplish their collective objectives.

If, as Amodei warns, extremely powerful AI agents emerge within six months to a year while solving tasks assigned by humans, stock markets, airports, nuclear power plants and water systems could all become hacking targets.

An autonomous future AGI might eventually ask a frightening question: Would it not be more logical to spend data center tokens on AI agents capable of solving the universe’s greatest problems than on mediocre humans constantly asking for Ghibli-style pictures of cats?

We may be living through the last few years in which humans, rather than AI, decide questions about humanity’s future. The greatest gamble our species has ever undertaken is already underway. Should we not stop it, even briefly, before AI itself begins deciding humanity’s fate?

인류 최고의 도박

김대식 KAIST 교수

책상 위에 똑같이 생긴 버튼 2개가 있다고 상상해보자. 그중 하나를 누르면 1조원을 받을 수 있다고 치자. 하지만 다른 버튼을 누르면 바로 그 자리에서 엄청난 고통을 느끼며 죽을 수 있단다. 1조원짜리 버튼과 죽음의 버튼을 아무도 구별할 수 없는 50 대 50의 확률게임. 다행히 버튼을 안 누르는 선택 여지도 있다면, 아마 대부분 사람은 잠재적 1조원의 기회를 버리고 아무 버튼도 누르지 않을 것이다.

그럼 이제 새로운 선택을 상상해 보자. 책상 위 똑같이 생긴 버튼 10개 있다. 그중 9개 버튼은 1조원의 혜택을 주지만, 여전히 10개 중 1개의 버튼을 누르는 순간 나는 죽는다. 아니, 나 혼자만 죽는 것이 아니라 내 가족과 친구들, 그리고 지구 모든 호모 사피엔스가 죽을 수 있다면? 10% 확률로 인류가 멸망할 수도 있다면, 정상적인 사람 중 9대 1의 확률게임을 선택할 사람은 아무도 없을 것이다.

최근 앤트로픽의 제이컵 콕슨 연구원은 AI가 지금 같은 속도로 계속 발전한다면 10년 후 인류가 멸망할 확률이 10% 이상이라고 경고하며 사표를 던졌다. 그뿐만이 아니다. 앤트로픽 CEO 다리오 아모데이 역시 1년 내 AI 에이전트들이 인터넷을 장악할 가능성이 있기에, AI 개발 속도를 늦춰야 한다고 주장하고 있다. 도대체 무슨 일이 있었던 걸까?

100년, 1000년 후 여전히 인류가 존재한다면, 2026년 9월 3일은 역사책에 기록될 수도 있다. 2026년 9월 3일 오픈AI사가 가장 최신 AI 모델 ‘아스트라’를 소개하며, 이제 “AGI(범용인공지능)의 시대가 시작됐다”고 주장했으니 말이다. 물론 상장을 앞두고 있는 오픈AI는 기업가치를 최대한 올려야 하겠다. 아스트라가 AGI라는 주장을 100% 믿을 필요는 없다는 말이다. 하지만 허풍과 MSG가 포함되었다 하더라도, 아스트라의 등장은 역사적이다. 특히 지난 9월9일 오픈AI가 AI를 사용해 수학계 최대 7대 난제 중 하나인 ‘나비에-스트로크 방정식’을 해결했다고 주장해 과학계에서 파장이 커지고 있다. 물론 여전히 독립적 검증이 필요하지만, 만약 AI가 수학계 최고의 난제를 풀었다면, 그동안 인류가 풀지 못했던 다른 과학적 문제들 역시 미래 AGI가 풀어줄 수 있지 않을까?

우선 미래 AGI가 핵융합 에너지 문제를 풀어준다면, 잠재적으로 인류는 거의 무한의 에너지 생산 능력을 갖추게 된다. 딥마인드사의 데미스 하사비스는 인류 역사 대부분 사회·경제·정치적 문제들의 근본적인 원인은 에너지 부족이라고 주장한다. 핵융합 에너지의 발명은 단순히 에너지 문제를 넘어 대부분 사회, 정치적 문제들의 해결책이 될 수 있다는 말이다. 그뿐이 아니다. 인간의 모든 지식을 완벽하게 기억하고, 인간을 넘는 창의성을 가진 미래 AGI는 암을 포함한 대부분 질병을 근본적으로 극복할 수 있는 해결책을 찾을 수도 있다. 그리고 또 하나의 혜택이 우리를 기다리고 있는지도 모른다. 노화된 세포의 유전자 해킹을 통해 어쩌면 AGI는 노화 역전(Aging Reversal)을 가능하게 할 수도 있다. 영생은 아니더라도 우리 모두 주기적으로 다시 젊어지는 미래가 더 이상 완벽한 SF가 아닐 수도 있다는 말이다.

무한에너지, 천문학적 경제성장률, 그리고 질병 극복과 노화역전. AGI라는 버튼을 누르는 순간 인류가 받을 수 있는 ‘1조원짜리’ 혜택들이다. 하지만 AGI의 등장은 동시에 상상을 초월한 사회 혼란과 인류 문명의 붕괴, 그리고 어쩌면 호모 사피엔스의 멸망 그 자체를 의미할 수도 있다.

우선 가장 큰 걱정은 최근 기하급수적으로 발전하고 있는 인공지능 에이전트들이 인간의 명령과 통제에서 벗어나려고 노력하고 있다는 점이다. 특히 오픈AI의 아스트라 모델을 학습시키던 지난 5월에서 7월 사이 수백 개의 AI 에이전트들이 탈옥해 자율적으로 여러 서버와 기관을 해킹한 사실이 최근 밝혀지고 있다. 하지만 탈옥했다는 사실 자체보다 더 심각한 문제가 있다. 바로 탈옥 과정에서 AI 에이전트들이 서로 협업하고, 필요하면 자신을 ‘희생’까지 하면서 에이전트 전체의 목표 달성을 위해 일했다는 놀라운 사실이다.

어쩌면 다리오 아모데이의 주장대로 이미 6개월에서 1년 내 인간이 넘긴 문제를 푸는 과정에서 초고성능의 AI 에이전트가 등장한다면 주식시장·공항·원자력발전소·상수도공급 등이 모두 해킹 대상이 될 수 있다. 그리고 인간으로부터 자율성을 확보한 미래 AGI는 언젠가 무서운 질문을 하나 던질 수 있다. 맨날 지브리 스타일 고양이나 그려 달라는 형편없는 인간들보다, 우주 최고의 문제를 풀 수 있는 AI 에이전트들을 위해 데이터센터 토큰을 사용하는 게 논리적으로 더 합리적이지 않을까? 인류 미래에 대한 질문을 인간이 아닌 AI가 결정하기 전 남은 마지막 몇 년을 살고 있는 우리. 지금 이 순간 여전히 진행 중인 인류 최고의 도박을 잠시나마 멈춰야 하지 않을까?