AI 덕분에 올라간 개발 생산성만큼, 우리의 실력도 함께 오르고 있을까요?
AI 덕분에 올라간 개발 생산성만큼, 우리의 실력도 함께 오르고 있을까요?
AI가 업무 효율을 높인다는 건 이미 여러 연구를 통해서 밝혀졌습니다. 일부 작업은 AI를 활용하면 최대 80%까지 시간을 단축할 수 있다고 하죠. 하지만 생산성을 대가로 잃는 것은 없는지 생각해보셨나요?
특히 소프트웨어 개발처럼 지속적인 학습이 중요한 영역에서는 이 질문이 더 날카롭게 다가옵니다. AI가 점점 더 많은 코드를 작성하더라도, 그 코드가 올바른지 검증하고, 문제가 생겼을 때 디버깅하고, 시스템 전체를 이해하는 능력은 여전히 개발자의 몫이기 때문입니다.
Anthropic은 이 질문을 검증하기 위해 무작위 대조 실험을 진행했습니다. 파이썬 경험이 1년 이상인 주니어 개발자 52명을 모집해, 절반에게는 AI 에이전트를 제공하고 나머지 절반은 직접 코딩하도록 했습니다. 과제는 참가자 모두에게 생소한 라이브러리를 사용해 두 가지 기능을 구현하는 것이었습니다. 참가자들이 최대한 빠르게 작업하도록 유도했습니다. 실제 업무 환경을 최대한 가깝게 재현한 셈입니다.
과제가 끝난 뒤에는 방금 사용한 개념에 대한 시험을 진행했습니다. 디버깅, 코드 읽기, 코드 작성, 개념 이해의 네 영역으로 구성됐고, 연구팀은 특히 AI가 생성한 코드를 검증하는 데 중요한 코드 읽기, 개념 이해, 디버깅에 집중했습니다.
결과는 어땠을까요? AI를 사용한 그룹의 평균 점수는 50점, 사용하지 않은 그룹은 67점이었습니다. 약 17점, 대략 두 등급에 해당하는 차이로, 통계적으로도 유의미한 수치였습니다. 반면 작업 속도 차이는 통계적으로 유의하지 않았습니다. AI를 사용했는데도 극적으로 빠르지는 않았던 겁니다. 참가자 중 일부는 AI에게 보낼 프롬프트를 작성하는 데만 전체 시간의 30%를 쓰기도 했습니다.
영역별로 보면, 디버깅에서 두 그룹의 격차가 가장 컸습니다. AI가 생성한 코드가 왜 틀렸는지를 파악하는 능력이 가장 크게 떨어진다는 건데, 실무에서 AI 에이전트를 감독하는 능력이 점점 중요해지고 있는 상황을 생각하면 꽤 아이러니한 결과입니다.
가장 흥미로운 부분은 AI를 사용했다고 해서 무조건 점수가 낮았던 건 아니라는 것입니다. AI를 사용한 그룹 안에서도 AI와 상호작용하는 방식에 따라 결과가 크게 갈렸습니다. 연구팀은 참가자들의 화면 녹화를 분석해 여섯 가지 패턴으로 분류했습니다.
점수가 낮은 그룹에는 세 가지 유형이 있었습니다. 코드 작성을 AI에게 통째로 맡긴 유형은 가장 빠르게 완료했지만 퀴즈 점수는 최하위였고, 처음엔 직접 시도하다가 막히면 AI에게 전부 넘긴 유형은 두 번째 과제 개념을 거의 익히지 못했습니다. 코드는 직접 쓰되 오류가 나면 AI에게 디버깅을 맡긴 유형도 질문은 많이 했지만 스스로 이해하려 하지 않아 역시 점수가 낮았습니다.
반면 점수가 높은 그룹도 세 가지 유형이 있었습니다. AI로 코드를 생성한 뒤 “이 코드가 왜 이렇게 동작해?”라고 후속 질문을 던진 유형은 AI에게 전부 맡긴 그룹과 겉으로는 비슷해 보이지만, 이해를 확인하는 단계가 있었습니다. 코드 생성 요청과 함께 설명도 같이 요청한 유형은 시간이 더 걸렸지만 이해도는 높았습니다. 코드는 직접 작성하고 AI에게는 개념 질문만 던진 유형은 오류를 많이 만났지만 스스로 해결하며, 높은 점수 패턴 중 가장 빠른 속도를 보였습니다.
패턴을 보면 공통점이 보입니다. 점수가 높은 그룹은 어떤 식으로든 능동적으로 문제를 이해하고 해결하는 과정을 거쳤습니다. 코드를 생성한 후 설명을 요청하거나, 개념 질문을 던지거나, 스스로 오류와 씨름하는 방식으로요.
Anthropic 연구의 결론은 절대 “AI 코딩을 하지 말라”가 아닙니다. AI와 함께 개발하면서도 학습하고 성장할 수 있는 방식이 분명히 존재하고, 그 차이는 생각보다 단순한 습관에 달려 있다는 점입니다.
내가 평소에 AI를 어떻게 쓰는지 돌아볼 수 있는 기회가 되었으면 좋겠습니다.
This work is licensed under CC BY 4.0
