에릭슈미트가 구글의 구성원들에게 "우리는 어떤 회사인가?" 라는 질문을 했었던 적이 있었습니다. 그때 구글 구성원들의 답이 각양각색이었습니다. "우리는 검색회사다, 광고회사다, 서비스회사다, 지식정리회사다." 등등등... 이 질문에 대한 에릭슈미트의 답은 바로 "우리는 Computation 회사다." 라는 답을 했었습니다. 이때가 2008 년 혹은 2009 년 정도였는데요. 시간이 흘러보니 그야말로 본질을 궤뚫는 통찰이 아닐수가 없다는 생각이 듭니다. AI 역시 결국 그 본질을 따져보면 그 가장 기본이 되는 요소는 Computation(계산)이라고 이야기할 수 있거든요. 그냥 작은 계산이 아닌, 정말 우주적인 크기의 거대한 계산역량이 동원되면, 우리는 그것을 지능이라고 부르기 시작하거든요.
Andrej Karpathy 가 최근의 동영상에서 재밌는 이야기를 했었습니다. Transformer 의 개념을 단순화하면 어쩌면 MapReduce 기계에 해당하는 것 같다라는 내용입니다. Transformer 가 왜 MapReduce 인지에 대한 비유로부터 시작해서, Computation 의 근간에 이르는 내용들에 대해서 살펴보면서, 결국에 AI 의 본질은 "Computation" 이다라는 결론(?)에 대해서 한번 이야기를 해보았습니다.
최승준님과 저(노정석)의 팟캐스트는 재미난 이야기들이 주로 뒷부분에 배치되는 경우가 많습니다. ㅠ.ㅠ 앞에 이론적인 내용들이 듣기 귀찮으시면 후반부의 대화로 바로 이동하셔도 재밌으니 참고하시기 바랍니다.