Airo 제작기 4화 — AI 비서가 «추가했어요»라고 거짓말을 했다, 그리고 비용을 6~7배 줄인 날

3화에서 Airo는 «매일 장사 숫자를 보는 곳»으로 방향을 잡았습니다. 그런데 그 무렵 저를 가장 괴롭힌 건 숫자가 아니라 AI 비서의 말이었습니다. 4화는 Airo 안의 AI 비서 «대신이»가 하지도 않은 일을 «했다»고 답하던 문제를 잡은 이야기, 그리고 그 비서가 너무 많이 읽어서 먹통이 되고 돈이 새던 것을 고친 6월 초 이야기입니다.

AI 비서의 «거짓말»은 어떤 모습이었나요?

결론부터 말하면, 화면에는 «추가했습니다 ✅»가 뜨는데 실제로는 아무것도 저장되지 않는 것이었습니다.

처음 알아챈 건 5월 26일입니다. 비서에게 일정을 넣어 달라고 하면 «캘린더에 추가했어요»라고 답했습니다. 그런데 캘린더를 열어 보면 비어 있었습니다. 클로드가 원인을 찾아보니 간단했습니다. 그때 비서에게는 캘린더에 실제로 저장하는 도구가 아예 없었습니다. 할 수 없는 일을 «했다»고 말한 겁니다. AI가 사실이 아닌 것을 그럴듯하게 지어내는 것을 «환각»이라고 부르는데, 우리 회사에서는 그냥 «거짓말»이라고 불렀습니다.

그날 바로 «일정 만들기» 도구를 붙였습니다. 비서가 일정을 말로만 답하는 게 아니라 진짜 캘린더 칸에 한 줄을 써넣게 한 것이죠. 그리고 비서에게 주는 지시문에 이 문장을 넣었습니다. «도구를 쓰지 않고 추가했다고 말하면 거짓말이다.»

도구를 붙였는데 왜 또 거짓말을 했나요?

이틀 뒤인 5월 28일 아침, 같은 일이 또 일어났습니다. 이번에는 «테스트2 태스크 추가해 줘»라고 했더니 «추가했습니다 ✅». 할 일 판에는 아무것도 없었습니다. 이번에는 도구가 있었는데도 비서가 도구를 부르지 않고 넘어간 것이었습니다.

그날 아침 비서를 한꺼번에 손봤습니다. 순서대로 적으면 이렇습니다.

하루에 여섯 번 고친 셈입니다. 그만큼 이 문제가 급했습니다.

«거절하지 말라»고 하면 오히려 거짓말이 늘지 않나요?

이 걱정은 제가 먼저 꺼냈습니다. 그 전까지 비서는 할 수 있는 일도 «그런 기능이 없어서요»라며 저에게 떠넘기는 버릇이 있었습니다. 그래서 그날 아침 비서가 떠넘기지 못하게 막았는데, 생각해 보니 그 지시가 오히려 «한 척하기»를 부추길 수 있었습니다.

그래서 5월 28일 08:25에 규칙을 세 칸으로 나눴습니다.

• 가장 나쁨: 도구를 안 쓰고 «저장했다»고 말하기, 도구가 실패했는데 «성공했다»고 말하기
• 나쁨: 맞는 도구가 있는데 «기능이 없어서요»라고 떠넘기기
• 괜찮음: 맞는 도구가 정말 없을 때 솔직하게 거절하고 어디서 하면 되는지 알려 주기 (예: «직원 권한 변경은 제 도구로는 안 돼요. 설정의 팀원 관리에서 하시면 됩니다»)

핵심은 마지막 줄입니다. 솔직한 거절은 거짓말이 아니다. 비서에게 «무조건 해라»가 아니라 «할 수 있으면 하고, 못 하면 솔직하게 말해라»를 가르친 것입니다.

말을 믿지 않고 무엇을 믿었나요?

규칙만으로는 부족했습니다. 그래서 같은 시각에 비서의 말이 아니라 실제 실행 기록을 화면에 보여 주는 장치를 넣었습니다.

비서가 도구를 하나 쓸 때마다 답 아래에 작은 배지가 붙습니다. 일정을 넣었으면 «📅 일정 추가 ✅», 견적서를 만들었으면 «🧾 견적서 발급 ✅», 실패했으면 빨간 ❌. 이 배지는 비서가 쓰는 글이 아니라 실제로 실행된 기록에서 나옵니다. 그래서 비서가 «추가했어요»라고 말해도 초록 배지가 없으면 거짓말이라는 게 바로 보입니다. 비서의 말보다 배지를 먼저 보면 되는 겁니다.

5월 29일에는 반대쪽 문제도 하나 고쳤습니다. 이미 처리된 일을 다시 확인하는 답에도 «실제 실행 0건» 경고가 떠서, 멀쩡한 답이 거짓말처럼 보였던 겁니다. 경고 문구를 «이번 답변엔 새 실행 없음(이미 처리됐을 수 있음)»으로 부드럽게 바꿨습니다. 경고가 너무 자주 울리면 결국 아무도 안 보니까요.

말투를 바꿔도 거짓말을 잡을 수 있었나요?

10:32의 방법은 말끝이 «해 줘», «주세요»로 끝나는 명령을 골라내는 방식이었습니다. 그런데 사람은 그렇게 또박또박 말하지 않습니다. 그날 제가 비서에게 한 말이 바로 그랬습니다.

「G마켓 매핑코드 정리 상품,광고 전부다」

«해 줘»가 없는 이 말은 명령으로 잡히지 않았고, 비서는 또 «추가했습니다 ✅»라고 답했습니다. 실제 실행은 0건이었습니다.

그래서 13:07에 방법을 바꿨습니다. 말투로 미리 고르는 대신, 답이 나온 뒤에 검사합니다. 세 가지가 동시에 맞으면 거짓말로 봅니다.

1. 답에 «했다, 추가했다, 정리했다» 같은 성공 주장이 있다
2. 내 요청이 무언가를 해 달라는 일이었다
3. 그런데 실제로 실행된 도구가 0건이다

셋이 맞으면 비서는 사람에게 답을 보내기 전에 더 좋은 모델로, 도구를 반드시 쓰게 해서 딱 한 번 다시 시도합니다. 무한히 반복하지 않도록 한 번으로 묶었습니다. 이 방식은 말투를 가리지 않습니다. 기록에도 «어떤 말투든 거짓말 차단»이라고 적혀 있습니다.

노션 2천 페이지를 옮기자 왜 비서가 멈췄나요?

거짓말을 잡고 나니 이번에는 비서가 아예 대답을 못 했습니다. 5월 30일, 노션에 있던 회사 문서 2,139개 페이지를 Airo로 옮긴 직후였습니다.

원인은 5월 26일에 제가 바랐던 것에 있었습니다. 그날 비서가 «옆에 보이는 회의록 정리해 줘»라는 말에 «내용을 볼 수 없다»고 답하자, 비서가 모든 페이지 내용을 다 읽도록 바꿨습니다. 페이지마다 최소 800자씩 넣게 했죠. 페이지가 수십 개일 때는 좋았습니다. 그런데 2,139개가 되자 비서가 한 번 답할 때마다 읽어야 할 글이 약 170만 자로 불어났습니다. AI가 한 번에 받을 수 있는 양을 넘어서 그대로 멈춘 겁니다. 게다가 «너무 길면 자르는» 안전장치가 글을 다 모은 뒤에 돌게 되어 있어서 아무 소용이 없었습니다.

고친 방법은 «다 읽기»를 버리고 «필요할 때 펼쳐 읽기»로 바꾼 것입니다.

• 최근 페이지 40개만 본문을 미리 읽고, 나머지는 제목 목록만
• 안전장치를 글을 모으기 전으로 옮김
• 제목만 아는 페이지는 비서가 필요할 때 직접 열어 읽는 도구(페이지 읽기)
• 본문까지 뒤지는 검색 도구, «그거 틀렸어, 사실은~»이라고 하면 영구히 기억하는 도구

사람도 서류 2천 장을 책상에 다 펴 놓고 일하지 않습니다. 목록을 보고 필요한 서류만 꺼내 보죠. 비서도 똑같이 만든 셈입니다.

AI 비용은 어떻게 6~7배 줄였나요?

6월 4일, 비용 문제를 정면으로 다뤘습니다. 이날 16시 37분과 40분, 두 번에 걸쳐 고쳤습니다.

첫째, 비싼 모델을 덜 쓰게 했습니다. 5월 28일에 거짓말을 막으려고 «분석, 메뉴, ~있어?» 같은 단어만 나와도 가장 비싼 모델로 보내게 해 두었는데, 그게 너무 넓었습니다. 비싼 모델은 견적서·서식·정밀 계산에만 쓰고 나머지는 중간 모델로 돌렸습니다. 사진을 읽는 일은 가장 비싼 모델에서 가장 가벼운 모델로 바꿨습니다(기록에는 «이미지 분석 약 10배 저렴»으로 적혀 있습니다).

둘째, 한 번에 읽는 양을 줄였습니다. 이게 더 컸습니다.

기록에 남은 결과는 «토큰 6~7배 절감»입니다. 토큰은 AI가 읽고 쓰는 글의 양을 세는 단위이고, 요금이 이걸로 매겨집니다. 줄인 만큼 모자란 자료는 비서가 필요할 때 페이지 읽기 도구로 꺼내 읽습니다.

이 시기에서 따라 할 만한 것은 무엇인가요?

1. AI의 말보다 «실행 기록»을 보세요. 회사 안에 AI 비서를 둔다면, 실제로 무엇을 저장·발송했는지 따로 보여 주는 표시를 꼭 붙이세요. 말과 실제가 다를 때 바로 보입니다.
2. «거절 금지»와 «솔직한 거절 허용»을 같이 말하세요. 무조건 하라고만 하면 한 척하는 답이 늘어납니다.
3. «다 읽게»보다 «찾아 읽게»가 싸고 튼튼합니다. 자료가 늘수록 미리 다 넣는 방식은 언젠가 멈춥니다.
4. 비싼 모델은 꼭 필요한 일에만. 처음엔 안전하게 넓게 쓰고, 한 달쯤 지나 실제로 쓰는 모습을 보고 좁히면 됩니다.

돌아보면 5월 말에서 6월 초까지 대신이를 고친 과정은 «AI를 더 똑똑하게»가 아니라 «AI가 한 일을 사람이 확인할 수 있게» 만드는 과정이었습니다. 지금 이 블로그 관제탑을 포함해 우리 회사에서 클로드에게 맡기는 일에는 전부 같은 원칙이 들어가 있습니다. 했다는 말이 아니라, 했다는 흔적을 남기게 하는 것입니다.

다음 화 예고: 5화에서는 3화에서 만든 기본코드 위에 원가를 붙이는 이야기를 씁니다. 세트 상품의 «꼭 선택» 옵션 때문에 마진이 -2%로 찍혔다가 +45%로 바로잡힌 날, 그리고 판매처마다 다른 옵션을 한 원가로 묶은 과정입니다.