RAG 챗봇으로 고정밀 답변 구현/AWS 기반 생성형 AI 개발 노하우 확보로 사내 활용 가속화
주식회사 KITZ
- 자체 개발한 생성형 AI 챗봇의 답변 정확도 향상 필요
- 생성형 AI의 사내 활용을 목표로 개발 노하우 확보 필요
- 인사/총무 관련 문의 응답에 막대한 공수 발생
- Knowledge Bases 활용으로 실무에 적합한 고정밀 답변 구현
- RAG 챗봇 개선을 통해 생성형 AI 노하우 확보
- 사내 발표로 큰 반향을 얻어 인사/총무 부서 외 활용도 검토
세계 유수의 종합 밸브 제조업체로서 생활 인프라와 산업 인프라를 지원하는 주식회사 KITZ. 생성형 AI 관련 노하우 확보를 목표로 하는 동사는 클래스메소드의 기술 지원을 받아 Amazon Web Services(AWS)의 AI를 활용한 인사/총무 부서용 문서 검색 챗봇을 개발했습니다. 2개월간의 PoC에서 요구하는 답변 정확도를 확보함에 따라, 2단계로 실무 업무에서의 활용을 위한 개발을 시작했습니다. 동사의 생성형 AI 활용 노력과 챗봇 개발 프로젝트에 대해 CIO 이시지마 씨, 프로젝트 멤버인 다나카 씨, 노다 씨, 하라 씨에게 이야기를 들었습니다.
기술연구회 주제를 '생성형 AI'로 정하고 사내 멤버의 노하우 확보로
배관 내를 흐르는 물·공기·석유·가스 등의 유체를 제어하는 유체 제어 기술로 물과 에너지의 안정적 공급 및 각종 산업 활동을 지원하는 KITZ. 1951년 창업 이후 70년 이상 안심하고 쾌적하게 살 수 있는 사회 만들기에 기여해 왔습니다. 최근에는 '디지털'과 '그린'을 테마로 데이터센터 및 반도체 제조 장비용 특수 밸브, 파인케미컬 및 의약 시장용 제품, 탄소중립 사회에 기여하는 수소용 밸브 등 성장 시장으로의 도전을 가속화하고 있습니다.
신규 시장·상품·유통 확대를 위해 디지털의 힘이 필수적이라 판단한 동사는 2022년 IT통괄센터 내에서 '디지털 기술연구회(이하 기술연구회)'를 발족했습니다.
"IT통괄센터에서는 KITZ의 업무를 지원하는 다양한 시스템 개발을 담당하고 있습니다. 밤낮으로 새로운 기술이 등장하는 가운데, 적극적으로 업무에 도입하지 않으면 기업으로서의 성장은 없습니다. 그래서 부서 내에서 첨단 기술에 대한 감도를 높이고, 평가하며, 직접 사용해보는 것을 목적으로 기술연구회 활동을 시작했습니다"(이시지마 씨)
기술연구회에서는 IT통괄센터 멤버가 설계개발, 제조, 영업마케팅, 공급망, 백오피스 등 업무 부서 멤버와 팀을 구성하여 연간 테마를 정하고 과제 해결에 임하고 있습니다. 그리고 2024년 테마로 선정한 것이 '생성형 AI'입니다.
"세상이 생성형 AI로 물든 가운데, 당사만 뒤처지는 일이 없도록 우선 직접 생성형 AI를 접하며 특징이나 난이도 등을 이해할 목적으로 테마를 설정했습니다. 업무를 지원하기 위해서는 현장 의견도 필요하다는 판단에 업무 측 담당자에게도 팀 참여를 요청했습니다"(이시지마 씨)
RAG 챗봇의 정확도 향상 지원을 클래스메소드에 의뢰
기술연구회에서는 담당 영역별로 6개 팀으로 나뉘어 업무 과제를 검토했습니다. 팀 중 하나인 백오피스 시스템 개발을 담당하는 비즈니스시스템 제1부 IT일반관리그룹은 인사/총무 부서를 위해 사내 문서를 자연어로 검색하여 자동으로 답변을 생성하는 RAG(검색 증강 생성)를 활용한 챗봇을 개발하기로 했습니다.
직원 수 1,461명(2024년 12월)으로 전국에 제조·영업 거점을 두고 개발부터 제조, 유지보수까지 커버하는 동사에는 취업규칙, 휴가, 급여 관련 문의가 인사/총무 부서에 다수 접수됩니다. 그러나 문의 건수가 방대하여 지금까지 6인월 분량의 공수가 소요되었습니다.
"답변 부담을 경감하기 위한 해결책으로 사내 포털에 FAQ를 작성하고, 점차 답변을 추가해 나가면서 질문 수를 줄이려는 시도를 거듭해 왔습니다. 하지만 예상 이상으로 유지보수 부담이 커져 과제 해결에 이르지 못했습니다. 그래서 FAQ를 대체할 수 있는 방안으로 RAG 챗봇에 주목했습니다"(다나카 씨)
프로젝트 시작 초기에는 AWS 재팬과 상담하며 팀 멤버만으로 개발을 진행해 왔습니다. 처음에는 검색 서비스인 Amazon Kendra와 생성형 AI 서비스인 Amazon Bedrock으로 구성하여 검증했지만, 기대만큼의 정확도를 얻지 못했습니다. 그래서 클래스메소드에 정확도 향상을 위한 기술 지원을 요청한 것이 이번 프로젝트의 계기입니다.
"처음 만든 챗봇의 답변 정확도에 대해 인사총무 담당자의 평가는 50점으로 낮았습니다. 잘못된 내용을 그럴듯하게 답변하는 할루시네이션 발생도 과제였습니다. 이대로는 실무에 사용할 수 없다는 판단에 클래스메소드에 조언을 구했습니다"(노다 씨)
동사와 클래스메소드는 수년 전부터 AWS 관련 서버 구축 등의 프로젝트로 거래가 있었으며, 그 실적을 평가하여 의뢰를 결정했다고 합니다.
"AWS 최상위 파트너인 것은 물론, 지금까지 다양한 프로젝트에서 친절하게 상담에 응해 준 점과 AI 관련 기술력의 높음 등을 고려하여 신뢰할 수 있는 클래스메소드에 기술 지원을 의뢰했습니다"(이시지마 씨)
Knowledge Bases 도입과 옵션 활용으로 높은 답변 정확도 구현
RAG 챗봇의 답변 정확도를 높이는 프로젝트는 2024년 10월 하순부터 시작하여 기술연구회 사내 발표회가 열리는 12월 중순까지 약 2개월간 진행했습니다. 제한된 기간 내에 목표를 달성하기 위해 AWS 환경에서 생성형 AI를 검증하기 위한 유스케이스 모음을 갖춘 Generative AI Use Cases JP(GenU)를 활용하여, Amazon Kendra + Amazon Bedrock 기존 구성(전문 검색)을 벡터 검색인 Amazon Bedrock Knowledge Bases로 변경했습니다.
"더 높은 정확도를 얻을 수 있다는 점에서 클래스메소드가 제안한 Knowledge Bases를 채택했습니다. 프로젝트에서는 기능 요구사항 도출부터 GenU 도입 절차 안내, 도입 작업 입회, 도입 관련 Q&A 대응까지 지원을 받았습니다. 이 변경으로 정확도가 상당히 개선되었지만, 한 걸음 더 필요한 상황이었습니다. 그래서 구체적인 오답 사례를 들어 다시 클래스메소드에 상담한 결과, Knowledge Bases의 옵션 활성화 방법을 알려주셔서 목표 정확도를 달성할 수 있었습니다"(노다 씨)
프로젝트 중에는 Backlog를 활용하여 리뷰와 기술적인 Q&A 대응을 요청했으며, 주 1회 정례 미팅을 통해 생성형 AI 관련 강의를 듣거나 질문을 던졌습니다.
"팀 내에는 생성형 AI나 AWS에 익숙하지 않은 멤버도 많았기 때문에, 클래스메소드는 생성형 AI에 관한 전반적인 지식부터 GenU를 다루기 위한 구체적인 주의사항까지 폭넓게 알려주었습니다. 담당자의 수준에 맞춘 용어 선택으로 이해하기 쉬웠고, 스킬 습득으로 이어졌다고 느낍니다. 인상 깊었던 것은 정례회 전에 아이스브레이킹으로 진행하는 퀴즈 시간입니다.
이전 정례회에서 배운 내용을 중심으로 'RAG는 무엇의 약자인가?', '생성형 AI의 정식 명칭은?' 같은 문제를 클래스메소드 담당자가 멤버 한 명 한 명에게 출제했습니다. 이를 통해 복습이 진행됨과 동시에 정례회 분위기도 화기애애해져서 즐겁게 임할 수 있었습니다"(하라 씨)
기술연구회 사내 발표회에서 전사로부터 큰 반향 획득
검증용으로 약 2개월간 개발한 인사/총무 부서용 RAG 챗봇은 2024년 12월 기술연구회 발표회에서 공개되었으며, 발표 내용은 전사에 공개되었습니다. 발표회를 본 업무 부서로부터 높은 반향이 있었다고 합니다.
"답변 정확도가 향상되고 할루시네이션을 억제한 결과, 당초 50점으로 평가했던 인사/총무 부서 담당자로부터 '바로 공개해도 될 수준'이라는 인정을 받았습니다. 다른 부서인 경리 부서 담당자로부터도 '우리도 도입해보고 싶다'는 의견이 들어오고 있습니다"(다나카 씨)
프로젝트 팀에서도 직접 개발을 체험함으로써 생성형 AI 관련 기술의 습득과 축적이 진행되었습니다. 또한 이번 프로젝트에서 이시지마 씨가 내세운 '생성형 AI의 대단함을 전 직원이 가까이 느끼게 한다'는 숨은 테마에 대해서도 일정한 수응을 얻었습니다.
"직원들은 생성형 AI를 사용하고 싶어 하는 한편, 유스케이스를 이미지화하지 못해 적극적으로 사용하는 모습이 보이지 않았습니다. 그래서 우선 전 직원이 사용하는 인사/총무 관련 문의 창구에 챗봇을 도입함으로써 생성형 AI를 체감하게 하고 싶다는 의도가 있었습니다. 이번 노력을 통해 생성형 AI로 자신의 업무가 편해질 수 있음을 전 직원에게 보여줄 수 있었기에, 앞으로 사내에 활용이 확산될 것을 기대하고 있습니다"(이시지마 씨)
2025년도 상반기 중 본격 출시를 목표로 개발 지속
기술연구회에서는 IT일반관리그룹의 인사/총무 부서용 RAG 챗봇 외에도 영업 관련, 공급망 관련, 설계 관련 부서 등 5개 팀이 각각 다른 벤더와 협력하여 생성형 AI 관련 애플리케이션 개발에 임했으며, PoC 수준에서 일정한 성과를 거두었습니다. 이에 2025년 테마도 '생성형 AI'로 정하고, 6개 팀이 각각 2025년도 상반기 중 본격 출시를 목표로 개발을 지속할 계획입니다.
"인사/총무 부서 RAG 챗봇에 대해서는 2단계로 계속해서 클래스메소드에 기술 지원을 요청하여 전 직원이 이용하기 위한 권한 관리 기능 구현 등을 진행해 나갈 것입니다. 검색 대상 문서도 사내 규정집에만 머무르지 않고 법령 문서로도 확대하여 판례에 기반한 답변을 생성할 수 있도록 강화할 예정입니다. 나아가 이번 실적을 바탕으로 다른 팀의 생성형 AI 애플리케이션 개발에도 클래스메소드가 참여하여 힘을 빌릴 수 있기를 기대하고 있습니다"(이시지마 씨)
생성형 AI 활용이 '당연해지는 미래'를 향해서는 기술연구회와는 별개의 독립적인 형태로 AI에 특화된 CoE 프로젝트를 2025년도 중에 발족할 계획이며, 이미 사업화를 위한 구상도 시작되었습니다.
"생성형 AI를 체감하는 직원이 늘어나면 앞으로 이것도 하고 싶다, 저것도 하고 싶다는 요구가 증가할 것으로 예상됩니다. 이에 대비하여 데이터 정비부터 AI 기술 선정, 벤더 선정까지 커버하는 전문 부대를 발족하여 지원할 예정입니다. 이미 AI를 통한 전문 인력 육성이나 숙련 기술자의 장인 기술을 계승하는 AI 등의 아이디어가 있으므로, 클래스메소드에는 앞으로도 밤낮으로 진화하는 AI 관련 최신 기술 소개를 기대하고 있습니다"(이시지마 씨)
