AI 에이전트를 도입했는데 효과가 있는지 어떻게 확인할까요?

AI 에이전트 도입 뒤 효과는 도입 전 숫자와 주 지표 하나로 확인합니다. 도입 전 숫자, 주 지표, 건당 비용, 사람에게 넘기는 비율, 숫자를 모으는 화면의 비용 기준을 설명합니다.

저녁 업무를 마치고 나서야 AI 에이전트 관리 화면을 여는 날이 있으신가요? 몇 달 전에 도입했는데 화면에는 처리 목록만 길게 쌓여 있고 효과가 있는지는 판단이 서지 않습니다. 어느 숫자를 보고 판단해야 하는지 도입할 때 아무도 알려 주지 않았기 때문입니다.

AI 에이전트 도입 효과는 도입 전에 적어 둔 숫자와 도입 뒤의 숫자를 비교해야 판단할 수 있습니다. 비교할 도입 전 숫자는 AI 에이전트를 켜기 전에 적어 두어야 하고 도입 뒤에 볼 숫자는 그때 함께 정해 두면 됩니다.

효과를 확인하는 기준 없이 도입하면 어떤 일이 따라옵니까?

도입 전의 숫자가 없으면 도입 뒤에 어떤 숫자를 보아도 비교할 대상이 없습니다. 화면에 처리 건수가 쌓여 있어도 그 건수가 이전보다 나은 것인지 알 수 없습니다. 그래서 효과를 묻는 질문에 직원마다 다른 답을 하게 됩니다.

기준 없이 도입을 마친 뒤에는 다음과 같은 상황이 생길 수 있습니다.

1. 효과를 물으면 직원의 인상으로 답을 듣게 됩니다.

2. 월 사용료나 개발비가 계속 나가는데 계속 쓸지 줄일지 정할 근거가 없습니다.

3. 에이전트가 처리한 일을 사람이 다시 확인하는 시간이 얼마나 되는지 기록한 사람이 없습니다.

세 가지 상황이 겹치면 에이전트를 계속 쓸지 정하는 회의가 길어질 수 있습니다. 숫자를 찾는 데 시간을 쓰다 보면 정작 판단은 다음 회의로 넘어갑니다. 그 시간은 고객이 본업에 쓰실 시간에서 빠져나갑니다.

AI 에이전트는 반복되는 일의 부담을 덜려고 도입합니다. 효과를 확인하는 데 더 많은 시간이 든다면 도입한 목적과 어긋납니다.

효과를 확인하는 기준이 있으면 판단이 어떻게 달라집니까?

회의에서 오가는 말이 느낌에서 숫자로 바뀝니다. 지난달과 이번 달에 같은 항목을 나란히 놓고 보기 때문에 좋아졌는지 그대로인지가 바로 확인됩니다.

기준이 있는 하루는 다음과 같이 달라집니다.

1. 회의 자료에 같은 항목이 같은 순서로 올라와 지난달과 이번 달을 비교할 수 있습니다.

2. 에이전트를 계속 쓸지 맡길 업무를 늘릴지 멈출지를 같은 기준으로 정할 수 있습니다.

3. 담당 직원이 바뀌어도 무엇을 보아야 하는지가 문서에 남아 있습니다.

효과를 확인하는 데 쓰는 시간도 달라집니다. 숫자를 여기저기서 찾는 대신 정해 둔 항목만 열어 보면 됩니다. 그 시간은 본업과 상담에 쓰실 수 있습니다.

기준 숫자가 정해져 있으면 효과가 있는지를 회의에서 숫자 몇 개로 이야기할 수 있습니다. 비용을 줄이는 쪽으로 판단하든 맡기는 업무를 넓히는 쪽으로 판단하든 근거는 같은 숫자입니다.

숫자가 기대에 못 미칠 때도 기준이 있으면 어느 업무에서 막혔는지 알 수 있습니다. 막힌 업무만 맡기는 범위에서 빼거나 규칙을 바꾸는 판단이 가능해집니다.

AI 에이전트를 도입하면 고객이 직접 하실 일은 무엇입니까?

AI 에이전트를 켜면 알아서 일해 주니 고객은 결과만 받으면 된다고 기대하실 수 있습니다. 일은 에이전트가 수행하지만 그 일이 효과를 냈는지 판단하는 기준은 도입 전에 고객이 한 번 정하는 일입니다. 기준이 정해지고 나면 이후에는 같은 항목을 같은 방식으로 확인하시면 됩니다.

고객이 정하실 기준은 세 가지입니다.

1. 도입 전 숫자를 적어 두는 일: 에이전트가 맡을 업무의 처리 건수와 사람이 그 업무에 쓰는 시간, 일을 잘못 처리한 비율(오류율)을 에이전트를 켜기 전에 기록합니다. 매출이나 문의처럼 사업 성과를 보여 주는 숫자도 함께 적습니다.

2. 주 지표 하나를 정하는 일: 주 지표는 효과를 판단하는 기준 숫자입니다. 에이전트가 맡은 핵심 업무를 실제로 끝냈는지 보여 주는 숫자로 정합니다. 학원의 상담 접수를 맡겼다면 끝까지 처리된 접수 건수가 해당됩니다.

3. 사람에게 넘기는 비율을 보조로 보는 일: 에이전트가 일을 사람에게 넘기는 비율은 에이전트가 혼자 감당하지 못하는 정도를 보여 줍니다.

건당 비용은 에이전트가 일을 끝내기까지 드는 전체 비용을 기준으로 따집니다. 월 사용료만 건수로 나눈 값과는 다를 수 있습니다.

도입 전 숫자를 아직 다 측정하지 못했다면 시범 운영은 해도 됩니다. 다만 도입 전 숫자가 갖춰지기 전에는 투자 효과가 있다고 단정해서는 안 됩니다. 시범 운영 기간에 얻은 숫자는 비교 기준으로 쓸 수 없기 때문입니다.

도입 효과를 숫자로 확인하는 방식은 어떤 고객께 잘 맞습니까?

도입 전이든 도입 뒤든 맡긴 업무가 무엇인지 한 문장으로 말씀하실 수 있다면 적용할 수 있습니다. 숫자를 확인하는 방식이 특히 잘 맞는 고객은 다음과 같습니다.

1. 도입을 앞두고 있어 도입 전 숫자를 적을 시간이 아직 있는 고객

2. 이미 도입했지만 회의에서 효과를 묻는 질문에 답할 숫자가 없는 고객

3. 월 사용료나 개발비를 계속 낼지 판단해야 하는 고객

업종은 가리지 않습니다. 병원이라면 예약 문의 처리를, 제조 회사라면 거래처 주문 확인을, 시공 회사라면 견적 요청 접수를 주 지표의 대상으로 삼을 수 있습니다.

AI 에이전트를 아직 도입하지 않으셨더라도 지금 직원이 그 업무에 쓰는 시간을 기록해 두면 도입 전 숫자가 됩니다.

숫자를 확인하는 화면을 만드는 비용은 무엇에 따라 달라집니까?

정해진 가격표는 없습니다. 숫자를 한 화면에 모아 보여 주는 관리 화면을 대시보드라고 부르는데 다음 다섯 가지에 따라 범위가 달라지므로 상담 뒤 견적으로 안내합니다.

1. 확인할 숫자가 몇 가지인지: 주 지표 하나만인지 보조 숫자까지인지

2. 숫자가 지금 어디에 쌓여 있는지: 한곳에 있는지 여러 프로그램에 나뉘어 있는지

3. 숫자를 보는 사람이 누구인지: 직원마다 볼 수 있는 범위가 다른지

4. 정해 둔 범위를 벗어난 숫자를 담당 직원이 확인하는 규칙이 필요한지

5. 매달 만드는 보고서를 자동으로 만들지

다섯 가지만 알려 주시면 범위를 잡을 수 있습니다. 숫자가 아직 정리되지 않았더라도 어디에 쌓여 있는지만 말씀해 주시면 상담을 시작할 수 있습니다.

문의하면 어떤 순서로 진행됩니까?

문의하신 뒤의 순서는 다음과 같습니다.

1. 문의를 남기시면 확인하려는 숫자와 그 숫자가 쌓인 곳을 여쭙니다.

2. 상담에서 비용 기준 다섯 가지를 확인합니다.

3. 상담 내용에 맞춰 범위와 견적을 안내합니다. 견적을 보시고 진행할지는 고객이 정하시면 됩니다.

4. 진행하시기로 하면 지표 정의 문서와 대시보드를 만듭니다.

5. 완성된 장치와 계정을 고객에게 넘겨드립니다.

그래서 AI 에이전트 도입 효과를 숫자로 확인할 준비를 해야 합니까?

에이전트가 맡은 업무의 처리 건수를 지금 직원이 집계할 수 있다면 알아볼 만합니다. 집계가 되지 않는다면 숫자를 모으는 방법부터 상담하는 것이 순서입니다.

어떤 업무를 맡길지 아직 정해지지 않았다면 기준 숫자는 그 업무가 정해진 뒤에 정해도 됩니다. 맡길 업무가 정해져야 그 업무를 끝냈는지 보여 주는 주 지표도 정해지기 때문입니다.