고객의 업무에 특화하여 답변하는 RAG 챗봇 서비스를 개발 답변 정확도는 최대 99%로 향상
PS솔루션즈 주식회사
- 고객의 IT 관리 업무에 특화된 AI 챗봇(RAG) 서비스의 신규 개발
- 자사의 기술 검증에서는 50% 정도의 답변 정확도
- 생성형 AI나 RAG 개발에 관한 노하우를 획득하고 싶음
- 답변 가능한 질문에 대한 답변 정확도를 99%로 향상
- RAG를 활용한 신규 AI 챗봇 서비스를 고객에게 제공
- 생성형 AI나 RAG 개발에 관한 경험을 축적
IT 프로페셔널 집단으로서 기업 IT 영역을 중심으로 한 IT 서비스를 제공하는 PS솔루션즈. 동사는 중소기업 대상으로 제공하고 있는 IT 지원 서비스 'IT with'에 신규 기능으로 구현하는 AI 챗봇의 RAG(검색 확장 생성) 개발 지원을 클래스메소드에 요청했습니다. RAG의 답변 정확도 개선을 통해 답변 가능한 질문에 대한 정확도는 최대 99%, 답변할 수 없는 질문을 판정하는 정확도도 최대 87%를 실현했습니다. 프로젝트에 대해 담당자인 남부 씨, 미스가 씨, 마츠모토 씨에게 이야기를 들어보았습니다.
사용자의 요구를 받아 고객 환경에 특화된 RAG 시스템 개발에 착수
PS솔루션즈는 소프트뱅크 그룹의 일원으로서 IT 솔루션 사업과 IT 아웃소싱 사업을 전개하고 있습니다. 당초에는 소프트뱅크의 그룹 기업의 IT 영역이나 백오피스 영역의 업무 지원을 중심으로 해온 동사이지만, 최근에는 그 노하우를 살려 중소기업 대상으로 기업 IT 업무나 시스템 개발 업무를 지원하는 비즈니스에 주력하고 있습니다.
그 첫 번째로 동사는 중소기업 대상 IT 지원 서비스 'IT with'를 2024년 2월부터 제공 시작했습니다. 같은 해 8월에 도입 기업 수 2,000사를 돌파하여 현재도 순조롭게 사용자를 확보하고 있습니다.
"IT with는 전담 IT 담당자가 부재하거나 총무 담당자가 IT 업무를 겸무하고 있어 공수를 할애할 수 없다는 과제를 안고 있는 중소기업 대상으로 기획한 지원 서비스입니다. PC 조달부터 키팅, 헬프데스크, 소프트웨어나 SaaS 계정 관리, 보안 대책, PC·OA 기기의 매입·폐기까지 IT 업무 전반을 일괄로 지원할 수 있는 것이 큰 강점입니다"(미스가 씨)
IT with에서는 헬프데스크 서비스로서 IT에 관한 상담에 답하는 AI 챗봇을 표준으로 제공하고 있습니다. 이번에 동사는 사용자로부터의 요구를 받아 도입처 기업에서 이용하고 있는 시스템이나 IT 기기에 특화된 질문에 답하는 새로운 AI 챗봇(RAG)을 개발했습니다.
"표준 AI 챗봇은 지금까지의 노하우를 체계화한 데이터를 사용한 것으로, 일반적인 IT 관리에 관한 답변을 반환하는 것입니다. 고객으로부터는 그런 일반적인 답변뿐만 아니라 자사의 IT 업무나 도입하고 있는 시스템에 특화된 질문이나 문의에 대응해주는 전용 챗봇이 필요하다는 목소리가 들려왔습니다. 그래서 고객이 보유하는 시스템의 매뉴얼이나 업무 플로우에 맞는 답변을 24시간 365일 반환할 수 있는 RAG 시스템을 개발하여 IT with의 옵션 서비스로 제공하기로 했습니다"(미스가 씨)
RAG 개발 실적이 풍부하고 제안 내용도 적절한 클래스메소드에 기술 지원을 요청
RAG 시스템은 IT with의 서비스 플랫폼에 채용하고 있는 Amazon Web Services(AWS) 상에 구축하기로 하고, 검색 서비스에 Amazon Kendra, 생성형 AI 서비스에 Amazon Bedrock을 채용했습니다. 기술 지원 파트너는 복수 업체에 상담을 제안한 중에서 제안 내용이 적절하고 기술력에도 신뢰할 수 있는 클래스메소드를 채용했습니다.
"당사에게 본격적인 생성형 AI를 활용한 자사 서비스의 내재화 개발은 처음이며, 도전적인 시도입니다. 클래스메소드는 RAG 시스템의 개발 실적이 풍부하고, 상담했을 때 아웃풋의 대략적인 이미지를 제시해주신 것이 채용의 결정적 요인이 되었습니다. 이전에 다른 안건으로 함께 일한 적이 있어 업무 진행 방식도 이미지할 수 있었고, 이번에도 저희 질문에 대한 답변이 매우 적절했기 때문에 기술력에 관해서도 안심하고 맡길 수 있다고 판단했습니다"(남부 씨)
RAG의 답변 정확도 개선을 중심으로 프로젝트를 실시
프로젝트는 2024년 12월부터 2025년 2월 말까지 3개월간 실시했습니다. Amazon Bedrock을 호출하기 위한 API 구현, Amazon Kendra의 구축 및 설정, RAG의 답변 정확도 개선 3가지를 중심으로 진행했습니다.
그 중에서도 중심적인 노력이 2025년 1월부터 2월에 걸쳐 실시한 RAG의 답변 정확도 개선입니다. 동사가 기획한 RAG 시스템은 채팅으로 사용자의 질문을 접수한 후, 답변 정확도를 높이기 위해 일단 Amazon Bedrock으로 질문 내용을 요약하고 검색 쿼리를 생성하는 단계를 거칩니다. 다음으로 생성한 검색 쿼리를 바탕으로 Amazon Kendra에서 문서를 검색하고, 히트한 문서에서 Amazon Bedrock이 답변을 생성하여 사용자에게 반환하는 로직입니다.
이번에는 Amazon Bedrock으로 질문 내용을 요약하여 쿼리를 생성하는 로직, 그리고 생성형 AI에 입력하는 프롬프트의 개선을 실시했습니다. 대규모 언어 모델(LLM)도 Claude 3.5 Sonnet으로 업그레이드했습니다.
더불어 답변 정확도 개선을 향한 기술 지원 중에서는 검색 대상이 되는 문서에 대한 전처리에도 클래스메소드의 지견이 활용되었습니다.
"당초에는 Amazon Kendra의 검색 시에 정확도가 떨어진다는 과제가 있었지만, 문서 데이터에 미리 전처리를 실시함으로써 검색 정확도를 높일 수 있었습니다. 그를 통해 당초 50% 정도였던 답변 정확도가 일거에 80% 이상으로 향상되었습니다. 또한 프롬프트 개선에서는 클래스메소드의 노하우를 투입함으로써 답변 정확도를 높임과 동시에 답변할 수 없는 질문에 잘못 답변하는 할루시네이션도 억제할 수 있었습니다"(남부 씨)
개발 자체를 효율화하는 방안으로는 정확도 평가를 자동화하는 스크립트를 작성했습니다. 이번 RAG 시스템 개발에서 평가에 활용한 문서는 동사의 규정류를 포함한 약 150개 파일입니다. 주로 IT 헬프데스크 관련, 인사 관련, 총무 관련 문서를 사내 보안 부문의 허가를 얻은 후 선별하여 예상되는 모든 질문에 대한 답변 정확도를 평가했습니다.
"1회 정확도 검증에 100문 정도의 질문을 준비하고, 챗봇이 생성한 답변을 미리 작성해둔 정답 데이터와 비교하는 형태로 평가했습니다. 이 검증 작업을 인력으로 실시하면 1회에 반나절 이상이 소요됩니다. 그래서 질문 작성부터 문서 투입, 답변 평가까지의 작업을 자동화하는 스크립트를 클래스메소드에 작성해주셨습니다. 그 덕분에 1회 검증에 반나절 걸렸던 것이 30분 정도로 단축되어 대폭 공수를 절감할 수 있었습니다"(마츠모토 씨)
과제 해결을 적극적으로 리드하는 클래스메소드의 자세를 평가
기술 지원을 실시한 클래스메소드에 대해 동사는 AWS에 관한 지식의 풍부함과 기술력의 높음을 평가하고 있습니다.
"프로젝트 중 매일 30분 정도 실시한 조회가 효과적이었습니다. 개발 중에는 매일 새로운 과제가 발생하지만, 조회 중에 과제에 대한 대책 방법이나 개발 프로세스를 클래스메소드에 확인하면서 진행한 덕분에 다음 날까지 미루지 않고 그날 안에 해결할 수 있었습니다. 개발 페이즈와 검증 페이즈 2개로 나뉜 프로젝트 중에서는 각각의 페이즈에 맞는 프로페셔널을 배정해주신 것도 도움이 되었습니다"(남부 씨)
"수동적인 지원이 아니라 과제를 자주적으로 찾아서 그에 대한 제안을 해주신 것도 도움이 되었습니다. 평가를 자동화하는 스크립트 개발은 당초 스코프에 포함되어 있지 않았지만, 중간에 클래스메소드 담당자로부터 제안을 받아 도입이 결정되었고, 결과적으로 큰 성과를 얻을 수 있었습니다"(마츠모토 씨)
"당사자 의식을 강하게 갖고 친신하게 해결책을 생각해주신 것이 인상에 남습니다. 당초에는 50% 정도의 정확도가 한계라고 생각했는데, 클래스메소드 담당자로부터 '더 높은 정확도를 목표로 하고 싶습니다'라고 말씀해주신 것이 격려가 되었습니다"(미스가 씨)
답변 정확도뿐만 아니라 답변 불가 질문을 판정하는 정확도도 크게 향상
클래스메소드의 지원을 받아 실시한 RAG 시스템의 답변 정확도 향상 노력은 동사가 상정한 이상의 성과가 되었습니다. 검색 대상 문서를 바탕으로 답변 가능한 질문에 대한 답변 정확도는 최대 99%를 달성했습니다. 답변할 수 있는 문서가 없는 질문을 판정하는 정확도(할루시네이션 억제)도 최대 87%로 지원 실시 전과 비교해 대폭 개선되었습니다.
"당초 상정 이상의 정확도로 놀랍습니다. 답변 불가 질문의 판정에 대해서도 '검색 대상 문서가 없습니다'라고 명확히 답변 가능하게 됨으로써 서비스 품질을 크게 높일 수 있었습니다"(마츠모토 씨)
RAG 시스템의 개발과 정확도 검증은 클래스메소드의 지원이 종료된 후에도 계속되어, 2025년 3월 말에 고객의 사내 문서를 검색 대상으로 한 신규 AI 챗봇을 출시했습니다.
"기존 고객에게 출시를 알렸더니 '사용해보고 싶다'는 반향이 많았고, 트라이얼 신청을 받고 있습니다. 고객으로서도 자사에서 RAG를 구축할 필요가 없고, 정확도 향상의 후속 조치도 당사 측에 맡길 수 있어서 수고 없이 안심하고 도입하실 수 있다고 생각합니다"(미스가 씨)
"생성형 AI를 사용한 서비스 개발이 거의 처음인 저희가 스스로 RAG를 개발해서 출시할 수 있었던 것, 또한 생성형 AI의 개발 노하우가 축적된 것은 회사 전체의 기술력 향상으로 이어졌습니다. 개인적으로도 생성형 AI를 활용해서 고객의 업무 효율화에 기여할 수 있는 기쁨은 크며, 회사로서도 새로운 강점을 몸에 익힐 수 있었다고 보람을 느끼고 있습니다"(남부 씨)
생성형 AI의 활용 영역을 확대하면서 고객의 업무 효율화에 기여
향후에는 기존 고객을 중심으로 새로운 AI 채팅 서비스를 제공하고, 피드백을 받으면서 답변 정확도 향상에 임하는 방침입니다. 더 나아가 IT with에서의 생성형 AI 적용 범위 확대를 향해 고객의 모든 요구에 대응하는 구상을 그리고 있습니다.
"RAG를 통한 문의 업무 효율화는 IT with를 도입한 고객에게는 일부에 불과합니다. PS솔루션즈로서는 사내 IT에 관한 모든 문제를 해결하는 것을 목표로 하고 있습니다. 앞으로도 생성형 AI가 활용될 수 있는 영역을 검토하면서 고객의 기대에 부응해나가겠습니다. 클래스메소드에는 기획 아이디어도 포함해서 개발이나 검증 등에서 지원을 받을 수 있으면 좋겠습니다"(미스가 씨)
