[AI 전환 인사이트 ⑦] AI 에이전트 만들기 실전 가이드: 30분 만에 시작하기

"AI 에이전트라는 게 좋다는 건 알겠는데, 직접 만들 수 있나요?"

AI 에이전트 도입을 검토하는 기업 담당자들이 자주 묻는 질문입니다. 개념은 이해했지만, 실제로 우리 회사 업무에 맞게 만들려면 어디서부터 시작해야 할지 막막하게 느껴질 수 있습니다.

이번 글은 오피스에이전트를 예시로, 사내 문서를 기반으로 AI 에이전트를 만드는 과정을 정리한 실습 가이드입니다. 문서 업로드부터 에이전트 역할 설정, 예시 질문 등록, 테스트, 팀 공유까지 30분 안에 첫 번째 AI 에이전트를 만들어보는 흐름으로 구성했습니다.

실제 화면 구성이나 메뉴명은 사용 환경에 따라 달라질 수 있지만, 기업에서 AI 에이전트를 만들 때 필요한 기본 흐름은 크게 다르지 않습니다.

| 시작하기 전에: 준비물

AI 에이전트를 만들기 위해 처음부터 거창한 시스템이나 대규모 프로젝트가 필요한 것은 아닙니다. 먼저 작게 시작해볼 수 있는 문서와 질문이 있으면 충분합니다.

| Step 1. 문서 라이브러리에 문서 업로드하기

먼저 AI 에이전트가 답변할 때 참고할 문서를 등록합니다. 사람으로 비유하면, 신입사원에게 회사 매뉴얼을 건네주는 과정과 비슷합니다.

이렇게 진행합니다.

1. 오피스에이전트에 로그인합니다.

2. 좌측 메뉴에서 문서 라이브러리를 클릭합니다.

3. 문서 업로드 버튼을 클릭합니다.

4. 준비한 문서 3~5개를 업로드합니다.

5. 각 문서에 적절한 카테고리를 지정합니다. 예: HR, CS, 제품

| Step 2. 에이전트 생성: 이름, 역할, 규칙 설정하기

다음은 AI 에이전트의 역할을 정하는 단계입니다. 어떤 업무를 맡을지, 어떤 범위에서 답변할지, 어떤 톤으로 대화할지를 설정합니다.

오늘 예시는 HR 정책 안내 도우미입니다. 사내 인사 규정과 복리후생, 휴가 정책에 대한 질문에 답변하는 에이전트를 만든다고 가정해보겠습니다.

역할을 설정할 때 가장 중요한 것은 범위를 좁히는 것입니다. 처음부터 회사의 모든 질문에 답변하는 에이전트를 만들려고 하면 정확도가 떨어질 수 있습니다.

역할이 넓을수록 답변 범위가 흐려지고, 좁을수록 검증이 쉬워집니다. 처음에는 작은 범위로 시작한 뒤, 실제 사용 결과를 보며 점진적으로 확장하는 방식이 현실적입니다.

| Step 3. 예시 질문 등록하기

에이전트가 어떤 유형의 질문을 받을지 미리 등록합니다. 이 단계는 직원들이 실제로 어떤 표현으로 질문하는지 알려주는 과정입니다.

예시 질문은 문서의 목차가 아니라, 실제 사용자의 말투에 가까워야 합니다. 예를 들어 “제78조에 의거한 연차 부여 기준”보다는 “올해 연차 며칠이야?” 같은 질문이 더 실제 사용에 가깝습니다.

같은 내용이라도 다양한 표현으로 등록하면 좋습니다. “연차 어떻게 써요?”, “휴가 쓰고 싶은데요”, “연차 내는 방법 알려줘”처럼 실제 직원들이 말할 법한 문장을 함께 준비하면 에이전트 테스트가 더 현실적입니다.

| Step 4. 테스트 대화로 답변 검증하기

에이전트를 만들었다면 바로 공유하기보다, 먼저 테스트 대화를 진행해야 합니다. 이 단계를 건너뛰면 실제 사용 중 잘못된 답변이 나올 가능성을 미리 확인하기 어렵습니다.

만약 답변이 부정확하다면, AI 자체의 문제로만 보기보다 문서 상태를 함께 확인해야 합니다. 관련 문서가 빠져 있거나, 문서 내용이 오래되었거나, 문서 카테고리가 맞지 않는 경우가 많습니다.

| Step 5. 팀에 공유하고 피드백 받기

테스트를 마쳤다면 팀원들이 사용할 수 있도록 공유합니다. 이때 접근 권한을 함께 설정하는 것이 중요합니다.

특정 사용자: 이메일로 초대

특정 팀/부서: 그룹 지정

전사 공개: 전체 구성원 사용 가능

권한도 구분할 수 있습니다. 일반 사용자는 질문만 할 수 있도록 하고, 문서 추가나 설정 변경은 담당자에게만 허용하는 방식이 안전합니다.

| 30분 요약

| 잘 만들어진 에이전트의 3가지 기준

1. 명확한 역할과 범위
이 에이전트가 무엇을 하고, 무엇을 하지 않는지가 분명해야 합니다.

2. 충분한 참조 문서
답변의 질은 문서의 질에 영향을 받습니다. 처음에는 3~5개 문서로 시작하되, 운영하면서 관련 문서를 점차 늘리는 것이 좋습니다.

3. 실제 업무 기반 질문
예시 질문은 직원들이 실제로 묻는 표현에 가까워야 합니다. 그래야 테스트 결과도 실제 사용 환경에 가까워집니다.

| 흔한 실수 5가지와 해결법

| 다음 단계: 더 똑똑한 에이전트로 키우기

기본 에이전트를 만들었다면, 바로 전사 확산을 목표로 하기보다 단계적으로 고도화하는 편이 좋습니다.

| 완벽하게 시작하지 않아도 됩니다

AI 에이전트를 만들 때 처음부터 모든 문서를 정리하고, 모든 질문에 답변하는 완성형 구조를 만들려고 하면 시작이 늦어질 수 있습니다.

중요한 것은 작게 시작해 실제 질문을 받아보고, 문서와 답변 품질을 계속 개선하는 것입니다. 자주 묻는 질문 10개, 핵심 문서 3~5개만 있어도 첫 번째 AI 에이전트는 충분히 만들어볼 수 있습니다.

이번 글에서는 오피스에이전트를 예시로 AI 에이전트를 만드는 기본 흐름을 살펴봤습니다. 다음 글에서는 기업이 AI 전환을 검토할 때 가장 현실적으로 고민하는 비용과 도입 범위에 대해 정리해보겠습니다.

이 글이 도움이 되셨다면, 같은 고민을 하는 동료에게 공유해 주세요.

AI를 실제 업무에 적용할 때 고민하게 되는 문서 정리, 사용자 경험, 운영 방식에 대한 이야기를 계속 공유합니다.
다음 컬럼을 메일로 받아보고 싶다면 아래에서 이메일을 남겨주세요.