생성적(Generative ) AI는 우리가 지금까지 본 다른 주요 기술보다 더 빠르게 채택되고 있습니다. 세인트루이스 연방준비은행은 2024년 9월에 최초의 대량 시장 생성적 AI 도구가 출시된 지 2년 만에 미국인의 40%가 집이나 직장에서 이를 사용한다고 보고했습니다. 인터넷이 동일한 보급 수준에 도달하는 데 5년이 걸렸습니다. 문제는 AI 도구가 우리를 다른 작업에서 더 잘 만들 수 있는지 여부입니다.
컴퓨터, 인터넷 및 생성적 AI의 채택률
Source: St. Louis Fed
Nature Human Behaviour에 실린 새로운 기사에서는 106개 연구에서 발표된 370개 결과를 조사하여 AI가 인간과 경쟁할 수 있는지, 그리고 인간과 AI의 협업이 인간이나 기계만보다 더 나은지 알아보았습니다.
AI 낙관론자들은 AI 도구가 인간과 AI가 협업할 때 인간의 성과를 개선하고 최대의 영향을 미칠 수 있다고 말합니다. AI 비관론자들은 AI가 인간보다 훨씬 더 뛰어나서 조만간 인간을 완전히 대체할 것이라고 말합니다.
속보: 현재로서는 AI 비관론자들이 옳은 듯합니다.
이 게시물의 마지막에 있는 큰 차트는 AI 도구를 사용하는 인간과 두 가지 다른 벤치마크의 작업 성과 변화에 대한 포괄적인 개요를 제공합니다. 오른쪽 차트는 AI 도구를 사용하는 인간과 AI의 도움을 받지 않는 인간의 개선(거의 항상 상당한 개선임)을 보여줍니다.
370개 연구 전체에서 헤지스의 g로 측정한 평균 효과 크기는 꽤 큰 0.63입니다. 초보자를 위해, 헤지스 g는 피험자 또는 시도 간 성과의 표준 편차에 대한 두 설정 간의 성과 차이를 측정합니다. 경험적으로, 0.2 미만의 헤지스 g는 거의 눈에 띄지 않지만, 약 0.5의 헤지스 g는 시간 절약이나 출력 품질 향상 측면에서 삶을 크게 개선할 만큼 충분히 큽니다. 매우 큰 효과는 0.75 이상입니다.
AI 증강으로 인한 개선은 수치 작업(0.91)에서 특히 크지만 창의적 작업(0.52)과 의사 결정 작업(0.65)에서도 상당히 큽니다. 그러나 아래 두 행은 개선된 성과의 핵심이 통합임을 보여줍니다. 노동을 인간과 AI 간에 분할했을 때, 노동을 분리하지 않고 AI를 작업에 통합했을 때보다 이득이 훨씬 적었습니다.
안타깝게도 AI 증강 인간 성과와 AI를 제외한 인간 성과를 비교하는 것은 약간 왜곡된 벤치마크입니다. 주식/채권 포트폴리오의 포트폴리오를 채권만의 벤치마크와 비교하는 것과 같습니다. 대부분의 경우 주식은 채권보다 수익률이 높기 때문에 더 나은 성과를 거두게 됩니다.
게다가, 우리 화이트 칼라 근로자들이 직면한 진짜 과제는 AI가 우리보다 훨씬 더 뛰어나고(그리고 더 저렴하고 휴가를 가지 않아도 됨) 단순히 우리를 대체할 것인가 하는 것입니다. 여기서 왼쪽 차트가 등장합니다.
그것은 인간과 AI의 조합을 AI 또는 인간 중 더 나은 것과 비교합니다. 차트의 두 번째와 세 번째 행을 보면 370개의 실험 중 AI가 249개의 실험에서 인간만보다 더 나은 성과를 보였고 인간은 121개의 실험에서 더 나은 성과를 보였습니다. 그리고 그것은 2023년 중반까지의 것이며 그 이후로 이루어진 모든 발전은 무시합니다.
참고: 생성 AI 모델의 최첨단이 얼마나 좋아졌는지 알고 싶다면 Ethan Mollick의 이 훌륭한 기사를 읽어보세요. 솔직히 말해서, 당신은 정신을 잃을 것입니다.
AI가 이미 3가지 경우 중 2가지에서 인간보다 더 나은 경우, 인간과 AI의 조합이 우리에게 더 나은 결과를 줄 수 있을까요?
안타깝게도 그렇지 않습니다. 인간과 AI의 결합은 AI의 힘을 약화시키고 평균적으로 AI나 인간 중 더 나은 것보다 약간 더 나쁩니다(헤지의 g는 -0.23). 어쨌든 AI가 인간보다 더 나은 경우, 인간-AI 팀의 성과 감소는 AI 단독보다 의미 있는 것입니다(-0.54). 인간만이 AI 단독보다 더 나을 때에만 인간과 AI의 결합은 더 나은 결과를 낳습니다.
따라서 비즈니스 관점에서 볼 때, AI가 인간보다 더 나은 업무가 무엇인지 회사에서 테스트하고 AI가 이길 경우 인간을 기계로 대체하고 인간이 이길 경우 인간에게 사용할 수 있는 AI 도구를 제공하는 것이 가장 좋은 것으로 보입니다. 그런 다음 이 실험을 정기적으로 반복하여 AI의 기술적 진보를 활용하여 점점 더 많은 인력을 기계로 대체합니다. 좋은 시절입니다...
인간과 AI의 결합 대 인간과 AI 중 더 나은 것(왼쪽) 또는 인간(오른쪽) 벤치마크
Source: Vaccaro et al. (2024)
댓글 없음:
댓글 쓰기