AI에게 같은 업무를 이어서 시킬 때 답변이 달라지는 이유와 대화 정리 방법
생성형 AI를 업무에 사용하다 보면 처음에는 원하는 결과가 잘 나오다가 몇 번 대화를 이어간 뒤부터 답변이 조금씩 달라지는 것을 경험할 수 있다.
처음에는 회사 보고서 초안을 잘 만들어주었는데 수정 요청을 여러 번 하다 보면 문체가 달라지거나 처음 정한 조건이 빠지기도 한다.
처음에는 특정 형식으로 정리해달라고 했는데 대화가 길어지면서 AI가 다른 형식으로 답변하는 경우도 있다.
이런 상황에서는 AI의 성능만 탓하기보다 지금까지의 대화에 어떤 조건이 누적되어 있는지 살펴볼 필요가 있다.
개인적으로 AI를 업무에 사용할 때 가장 불편한 순간 중 하나도 바로 이 부분이라고 생각한다. 처음부터 다시 설명하면 시간이 걸리고, 기존 대화를 계속 이어가면 이전 조건과 새로운 요구사항이 섞일 수 있기 때문이다.
그래서 장시간 하나의 업무를 AI와 함께 진행할 때는 대화의 길이보다 현재 작업의 기준을 얼마나 명확하게 유지하고 있는지를 확인하는 것이 중요하다.
처음 정한 조건을 따로 적어두는 이유
업무를 AI에게 맡길 때 처음에 여러 조건을 제시하는 경우가 많다.
예를 들어 보고서 작성이라면 다음과 같은 조건이 있을 수 있다.
문서의 대상
문서의 목적
분량
문체
포함해야 할 내용
제외해야 할 내용
마감 일정
대화가 짧을 때는 이 조건들이 잘 유지된다.
하지만 수정 요청이 여러 번 이어지면 새로운 조건이 계속 추가된다.
그러다 보면 처음에 중요했던 조건이 뒤쪽 대화에서 묻힐 수 있다.
수정 요청이 많아질수록 기준을 다시 정리한다
AI에게 계속해서
“이 부분만 수정해줘.”
“조금 더 짧게 해줘.”
“이 문장을 바꿔줘.”
“다시 작성해줘.”
라고 요청하다 보면 처음 목적과 다른 결과물이 만들어질 수 있다.
이때는 계속 수정 요청을 추가하기보다 현재까지의 조건을 다시 정리하는 것이 좋다.
예를 들어 다음과 같이 요청할 수 있다.
“지금까지 정한 조건을 먼저 정리해줘.”
그다음 AI가 정리한 내용을 확인한다.
이 과정에서 빠진 조건이나 잘못 이해한 부분을 다시 수정한다.
이렇게 기준을 한 번 정리하면 이후 작업을 이어가기가 쉬워진다.
대화가 길다고 항상 좋은 것은 아니다
AI와 대화를 오래 이어가면 이전 내용을 모두 기억하고 있을 것처럼 느껴질 수 있다.
하지만 실제 업무에서는 긴 대화가 항상 편리한 것은 아니다.
대화가 길어질수록 중요한 조건과 사소한 대화가 함께 쌓이기 때문이다.
예를 들어 처음에는 보고서의 공식적인 문체를 요구했지만 중간에 다른 아이디어를 논의하면서 대화가 길어지면 AI가 현재 요청의 우선순위를 다르게 해석할 가능성이 있다.
따라서 하나의 업무가 끝났다면 다음 업무를 새 대화에서 시작하는 것도 좋은 방법이다.
업무별로 대화를 나누는 것이 편한 경우
AI를 업무에 사용할 때 다음처럼 대화를 분리할 수 있다.
보고서 작성
회의록 정리
이메일 작성
자료 조사
아이디어 정리
발표자료 구성
이렇게 하면 각 대화의 목적이 명확해진다.
특히 서로 다른 업무의 자료가 섞이지 않는다는 장점이 있다.
업무가 완전히 연결되어 있다면 이전 결과물을 새로운 대화에 넣고 다시 기준을 설명하는 방법도 있다.
이전 결과물을 그대로 믿지 않는다
AI와 이전 대화를 이어갈 때 또 하나 확인할 부분이 있다.
이전에 AI가 작성한 내용이 정확하다는 보장은 없다는 점이다.
한 번 잘못 정리된 정보가 이후 대화에서 계속 사용되면 새로운 결과물에도 같은 오류가 반복될 수 있다.
따라서 중요한 업무에서는 새로운 작업을 시작할 때 이전 결과물의 핵심 사실을 다시 확인하는 것이 좋다.
특히 숫자, 날짜, 회사명, 프로젝트명처럼 변경되면 안 되는 정보는 별도로 확인한다.
업무 인수인계에도 활용할 수 있다
대화 내용을 정리해서 다음 작업의 출발점으로 만드는 방법도 있다.
예를 들어 하나의 업무가 끝났다면 다음과 같은 형태로 정리할 수 있다.
현재까지 완료된 내용
아직 해결되지 않은 내용
다음 작업
반드시 유지해야 하는 조건
확인해야 할 정보
이 내용을 별도로 만들어두면 며칠 뒤 업무를 다시 시작할 때 처음부터 긴 대화를 다시 읽지 않아도 된다.
AI에게 이 내용을 제공하면서 다음 작업을 요청하면 작업의 연속성을 유지하기가 쉬워진다.
AI가 갑자기 다른 답을 할 때 먼저 확인할 것
AI의 답변이 갑자기 달라졌다면 바로 새로운 프롬프트를 계속 추가하기보다 먼저 세 가지를 확인한다.
첫째, 처음 정한 조건이 아직 필요한가.
둘째, 중간에 새로운 조건이 추가되었는가.
셋째, 이전 답변의 잘못된 정보가 현재 작업에 계속 사용되고 있는가.
이 세 가지를 확인하면 문제의 원인을 찾기 쉽다.
특히 세 번째는 놓치기 쉽다.
AI가 이전 답변을 바탕으로 새로운 답변을 만들고 있다면 처음의 작은 오류가 계속 이어질 수 있기 때문이다.
내가 AI 업무 대화에서 중요하게 보는 기준
개인적으로는 AI와 업무를 오래 진행하는 것보다 업무의 기준을 중간중간 다시 확인하는 것이 더 중요하다고 생각한다.
AI에게 많은 내용을 기억시키는 것만으로 업무가 자동으로 정확해지는 것은 아니기 때문이다.
오히려 현재 작업의 목적과 조건을 짧게 다시 정리해주는 것이 결과를 안정적으로 유지하는 데 도움이 된다.
특히 여러 번 수정하는 작업이라면 중간 결과물을 기준점으로 만들어두는 것이 편하다.
짧은 업무 요약을 만들어두는 방법
업무가 길어졌다면 다음과 같은 형식으로 현재 상태를 정리할 수 있다.
업무 목적
무엇을 만들고 있는가
현재 완료
어디까지 끝났는가
남은 작업
무엇을 추가해야 하는가
고정 조건
절대로 바뀌면 안 되는 내용은 무엇인가
주의사항
반드시 확인해야 하는 내용은 무엇인가
이 정도만 정리해도 새로운 대화를 시작할 때 필요한 정보를 다시 설명하는 시간이 줄어든다.
AI를 오래 사용하는 것보다 다시 설명할 수 있는 상태가 중요하다
AI와 대화를 오래 이어가는 것이 반드시 효율적인 것은 아니다.
오히려 업무를 중간에 멈췄다가 다시 시작할 수 있도록 핵심 조건을 별도로 정리해두는 것이 실무에서는 더 편할 수 있다.
사람이 업무를 인수인계받을 때도 긴 대화 전체보다 현재 상태와 해야 할 일을 정리한 문서가 이해하기 쉽다.
AI 역시 비슷한 방식으로 사용하는 것이 편리하다.
마무리
AI에게 같은 업무를 계속 이어서 시키면 이전 조건이 잘 유지될 때도 있지만, 수정 요청과 새로운 정보가 계속 쌓이면 처음 의도와 다른 결과가 나올 수도 있다.
이럴 때는 대화만 계속 이어가기보다 현재까지의 조건과 결과를 한번 정리하는 것이 좋다.
업무 목적, 완료된 내용, 남은 작업, 고정 조건, 주의사항을 별도로 정리해두면 새로운 대화에서 업무를 다시 시작하기도 쉽다.
개인적으로는 AI를 잘 활용하는 방법이 무조건 긴 대화를 유지하는 데 있다고 생각하지 않는다.
오히려 언제 대화를 정리하고, 언제 새로운 작업으로 분리할 것인지 판단하는 것이 직장인의 AI 활용 능력 중 하나라고 생각한다.