https://the-decoder.com/openai-wipes-out-its-super-ai-safety-team/
https://www.bloomberg.com/news/articles/2024-05-17/openai-dissolves-key-safety-team-after-chief-scientist-ilya-sutskever-s-exit
블룸버그 통신은 OpenAI가 미래의 고성능 AI 시스템의 안전성을 보장하는 데 중점을 두었던 'Superalignment' 팀을 해산했다고 보도했습니다. 이 팀의 작업은 일반 안전 연구로 통합될 예정입니다.
전 안전 연구원이었던 얀 라이크의 비난과 비판에 따라 OpenAI의 CEO인 샘 알트먼과 공동 창립자 겸 사장인 그렉 브록먼은 X에 대한 장황하지만 결국 모호한 성명을 발표했습니다.
메시지 AGI로 가는 길은 불확실하며, OpenAI는 계속해서 AI 안전을 옹호할 것입니다. 그가 떠난 후, 라이크는 OpenAI의 리더십이 첨단 AI 시스템의 위험을 심각하게 받아들이지 않았다고 신랄하게 비판했습니다.
OpenAI가 AGI의 위험을 과대평가한 것일까요?
OpenAI에서 일어난 일에 대한 한 가지 가설은 AGI의 위험이 과대평가되었고, 그 결과 슈퍼 AI에 대한 안전성 연구가 과장되었다는 것입니다.
경영진은 이러한 추세를 인식하고 그에 따라 리소스를 줄이고 있습니다. 하지만 안전팀은 오해를 받고 떠납니다. 이 이론은 슈퍼 얼라인먼트 팀의 퇴출과도 일치합니다.
"현실에 대한 왜곡된 시각으로 임박한 대악을 인식하는 사람들을 한 방에 충분히 많이 모아두면, 그들은 점점 더 극단적인 신념을 갖게 되는 순수의 소용돌이에 빠지는 경우가 많습니다. 얼마 지나지 않아 그들은 그들을 호스트하고 자금을 지원하는 조직에 독이 됩니다. 그들은 소외되고 결국 조직을 떠나게 됩니다."라고 Meta의 수석 AI 연구원인 얀 르쿤은 단기적인 AGI를 부정적으로 평가합니다.
그러나 ChatGPT의 공동 창시자이자 Leike의 역할을 이어받을 OpenAI의 공동 창립자인 John Schulman의 최근 발언은 이러한 가정과 상반됩니다. 슐만은 향후 2~3년 내에 AGI가 실현될 수 있을 것으로 보고 있습니다. 그는 심지어 명확한 안전 규칙 없이 많은 사람에게 이러한 시스템이 배포되지 않도록 일시 중지 가능성을 포함한 조직 간 규칙을 제안하기도 합니다.
"AGI가 예상보다 빨리 도입된다면 분명 조심해야 할 것입니다. 안전하게 대처할 수 있다는 확신이 들 때까지 교육과 배포 속도를 조금 늦추고 싶을 수도 있습니다."라고 슐만은 말합니다.
인류의 운명을 결정짓는 회사로서 OpenAI에 대한 믿음을 주지 못하는 또 다른 일화도 있습니다: OpenAI의 CEO 알트먼 온 엑스에 따르면, 그는 OpenAI 직원들이 회사를 떠날 때 서명해야 하는 개그 조항에 대해 전혀 몰랐다고 합니다.
한 조항은 퇴사 후 회사에 대해 비판적인 발언을 할 경우 수백만 달러의 OpenAI 주식을 잃을 수 있다고 직원들을 협박했습니다. Vox의 한 기자가 폭로한 이 조항은 악의 쌍둥이인 구글로부터 세상을 해방시키고 모두를 위한 번영과 행복의 밝은 미래로 이끌고자 하는 착한 스타트업의 이미지와는 전혀 어울리지 않는 내용입니다.
"비록 우리가 어떤 문서나 의사소통을 한 적은 없지만, 그 어떤 문서나 의사소통에도 그런 내용이 있어서는 안 되는 일이었습니다. 이번 일은 저에게 책임이 있으며, OpenAI를 운영하면서 진정으로 부끄러웠던 몇 안 되는 일 중 하나입니다. 이런 일이 일어날 줄 몰랐고 그랬어야 했습니다."라고 Altman은 썼습니다.
