2년간 사내 서비스를 운영하며 쌓은 데이터를 이용해 서비스 온콜 인턴을 만들었다. 이 인턴이 하는 일은 새로운 요청이 올라오면 그동안 쌓인 이슈들 중 가장 비슷한 이슈들을 찾아 요청에 답을 하고 관련 링크를 보여주는 것이다.
이번에 직접 만들어보고, 비슷한 종류의 서비스를 경험해보며 이런 종류의 rag 어플리케이션이 상당히 대중화 될 것이라고 생각하는데 그 이유는
서비스를 운영하다 보면 대부분의 온콜은 비슷한 것들이다.
온콜 업무엔 시간이 꽤나 많이 들어간다.
특히 서비스에 새로 참여하게 된 인력은 아무리 시니어라도 온콜 대응에 엄청 많은 시간을 쏟게 된다.
네이버엔 yobi라는 사내 공통 플랫폼 관련 질문하는 곳이 있다. 매일 많은 이슈가 생기는데 역시 반복적인 이슈가 많다. 답변하는 개발자 입장에선 매일 수많은 비슷한 이슈를 처리하느라 시간이 들고, 질문하는 입장에선 별거 아닌 질문인데 답변 받는데 오래걸려 업무 진행에 차질이 생긴다.
오픈소스를 개발하면서 비슷하게 느끼는 점은, 비슷한 이슈가 정말 많이 쏟아진다. 그런데 개발자는 5명이니 이슈를 몇개씩 처리해도 계속 쌓인다. 쿠버네티스 같은 오픈소스는 한 레포에 쌓여있는 이슈만 2천개 정도다.
RAG로 비슷한 서비스를 만드는 곳들을 보면, 2~3명의 서포트 엔지니어 혹은 인턴 수준의 도움을 받을 수 있다고 한다. 별거 아닌 것 처럼 보이지만, 팀 입장에선 24시간 내내 업무량 상관없이 막 굴릴 수 있는 2~3명의 인턴은 엄청난 도움이 된다.
그리고 더 좋은 점은 이 가상인턴은 신규입사자의 온보딩에 많은 도움이 된다. 어떤 문제에 대해 과거 비슷한 히스토리와 사내문서를 찾아주고, 대략 뭘 해야하는지 가이드를 줄 수 있다. (그리고 리더가 편해진다)
이것들 모두 기존 개발자의 업무 효율을 엄청나게 높여준다. 본질에 더 집중할 수 있고 그로인해 조직 전체의 효율도 올라간다. 잘만 만든다면, 좀 비싸도 충분히 구매하지 않을까.
개발자 뿐만이 아니다, RAG를 이용한 판례 검색 서비스를 운영하는 엘박스는 법조계에 큰 효율성을 제공하고 있다. 그리고 이 회사는 김앤장 출신 변호사가 세웠다.
리프킨의 노동의 종말에선 기술 진보의 영향으로 블루 칼라가 사라지게 될 것이라고 했다. 예전 지하철 승차표 판매원이 승차표 발매기로 일부 대체되고, 교통카드가 생기면서 아예 없어진 것처럼 말이다. 이번 RAG 어플리케이션을 보면서 기술의 진보가 이제는 지식 기반 노동자, 즉 화이트 칼라의 노동력을 대체하기 시작하는 첫 흐름을 보여주는 듯 하다.
그리고 또 하나 느낀 점은, RAG 등 LLM 기반 서비스의 특이점은 기존에 인간에 의해 만들어진 데이터가 많아야 한다는 것이다. 내가 만든 인턴 개발자가 잘 동작 하려면, 서비스가 운영되어 오면서 이슈가 만들어지고 해결된 기록이 많아야하며, 서비스에 대한 양질의 문서가 만들어져 있어야 한다. 네이버 같이 이미 오래전부터 사내에 온콜 시스템을 만들어 다량의 데이터를 갖고 있거나, 쿠버네티스와 같이 해결된 이슈만 4만개가 넘는 오픈소스라야 가상 인턴을 제대로 뽕 뽑을 수 있다. 소프트웨어 쪽이 아니더라도, 엘박스를 보면 이것 역시 기존에 인간이 생성한 수많은 데이터가 곧 이 기업의 가치다. 어느정도 궤도에 올라탄 서비스, 기업, 도메인이 큰 혜택을 보는 것이다.