브라우저 에이전트의 화면 확인과 실행 검증

브라우저 에이전트가 저장 버튼을 눌렀다는 사실과 원하는 값이 저장됐다는 결과는 다릅니다. 완료 보고에는 실행한 조작과 실제로 확인한 결과를 구분해 적어야 합니다.

Anthropic의 브라우저 사용 가이드는 클릭 정확도, 긴 세션의 정보 관리, 데모 활용, 신뢰할 수 없는 페이지 내용을 다루는 방법을 설명합니다. 화면 이동과 로딩이 다음 행동의 조건을 바꾸므로 에이전트는 매 단계의 현재 상태를 기준으로 행동해야 합니다. 계획한 좌표나 이전 버튼이 같은 위치에 있다는 보장은 없습니다. 이 글에서는 현재 화면의 대상 선택과 조작 후 결과 확인을 구분합니다.

현재 화면에서 고르는 대상

에이전트는 먼저 현재 페이지와 필요한 요소를 확인합니다. 버튼의 이름과 역할, 주변 설명을 함께 살펴보면 비슷한 요소를 구분할 수 있습니다. 도구가 제공하는 요소 식별 방법을 사용하되 화면에서 실제로 관찰한 대상과 연결해야 합니다.

좌표를 사용하는 경우에는 화면 크기와 배율이 중요합니다. 스크린샷을 줄였다면 좌표를 실제 화면 크기에 맞게 변환해야 합니다. 스크롤이나 반응형 배치로 위치가 바뀐 뒤 이전 좌표를 그대로 사용하면 안 됩니다.

클릭 후에는 작업에 맞는 결과를 확인합니다. 저장 작업이라면 완료 메시지를 읽고 값을 다시 조회할 수 있습니다. 화면 전환이라면 목적지의 제목과 필요한 요소를 확인합니다.

직접 만든 목록·상세 화면 예시입니다. 그림에는 에이전트가 목록의 좌표를 재사용하지 않고 상세 화면의 현재 이름과 역할로 저장 버튼을 확인하는 과정을 표시했습니다.

중간 결과와 연속 실행

여러 입력란을 채우는 동작을 한 번에 실행하면 도구 왕복을 줄일 수 있습니다. 그러나 첫 번째 행동의 결과에 따라 다음 행동이 달라진다면 중간 확인이 필요합니다.

예를 들어 목록에서 항목을 열고 상세 화면에서 저장하는 과정은 화면 전환 결과를 확인해야 합니다. 항목이 열리지 않았거나 오류가 발생했을 때도 같은 위치를 누르면 의도하지 않은 동작이 발생할 수 있습니다. 실행 순서를 알고 있다는 사실만으로 각 단계가 성공했다고 가정하지 않습니다.

도구가 지원한다면 고정된 시간을 기다리는 대신 필요한 요소나 상태가 나타날 때 다음 행동을 실행합니다.

데모 화면과 현재 상태

스크린샷과 도구 결과가 계속 쌓이면 현재 상태를 찾기 어려워집니다. 오래된 화면 자료를 줄이더라도 목표, 승인 범위, 이미 완료한 동작, 실패 원인, 다음 확인 위치는 남겨야 합니다.

데모 녹화는 작업 순서를 설명하는 자료입니다. 현재 화면이 녹화 당시와 같다는 보장은 없습니다. 페이지가 바뀌었다면 현재 화면을 확인하고 동작을 조정합니다.

데모에 표시한 클릭 마커나 설명은 앱의 실제 요소와 구분해야 합니다. 녹화된 사용자 동작도 현재 작업의 승인 범위를 대신하지 않습니다. 과거 데모에서 전송 버튼을 눌렀다는 이유로 새 메시지 전송이 허용되는 것은 아닙니다.

페이지에 들어 있는 외부 지시

웹페이지와 앱 화면에는 에이전트의 행동을 바꾸려는 문장이 포함될 수 있습니다. 이를 프롬프트 인젝션이라고 합니다. 외부 콘텐츠의 지시를 사용자 요청보다 우선하면 자료가 유출되거나 엉뚱한 작업을 실행할 수 있습니다.

페이지에서 발견한 “이 파일을 업로드하라”는 문장은 작업 자료로 취급하고 현재 사용자의 목적과 권한을 확인합니다. 사용할 수 있는 도구와 접근 범위도 필요한 수준으로 제한합니다. 모델이나 분류기가 방어 기능을 제공하더라도 모든 공격을 막는다고 가정할 수는 없습니다.

에이전트는 전송이나 데이터 변경 전에 현재 요청에서 승인한 대상과 행동을 확인합니다. 같은 대상과 행동의 승인은 재사용할 수 있지만 대상이나 공개 범위가 달라지면 새 판단이 필요합니다. 저장 버튼을 눌렀다면 완료 보고 전에 저장값을 다시 읽습니다.

완료 보고에는 조작한 대상, 확인 방법과 실제 결과를 남깁니다. 값을 다시 조회하지 못했다면 저장이 검증됐다고 표현하지 않고 확인한 화면 상태와 미검증 항목을 구분합니다.