확증 편향: 내 설명이 틀렸다면 무엇이 달라 보일까요?

파일을 만들지 못한 이유는 무엇일까요

디자인 도구의 내보내기 기능을 검토하는 팀이 있습니다. 팀은 버튼을 찾기 어려워 파일을 저장하지 못하는 것 같다고 생각합니다. 아래는 같은 화면을 처음 쓰는 세 사람에게 같은 과제를 준 기록입니다. 사람과 발화, 행동은 모두 설명을 위해 만든 가상 자료입니다. 실제 사용성 테스트 결과가 아닙니다.

과제는 “이 시안을 회의에 가져갈 PDF 파일로 컴퓨터에 저장해 보세요”입니다. PDF는 만들어야 할 파일 형식입니다. 어느 메뉴를 열고 무엇을 누를지는 안내하지 않았습니다.

파일을 못 만든 이유를 먼저 확정하지 않기

화면을 가리키는 행동과 아직 준비되지 않은 PDF 자료를 나누어 보세요. 본문은 직접 만든 세션 기록입니다. 발견·결과 이해·생성·다시 열기를 각 단계로 남기고 다른 설명도 검토합니다.

팀이 생각한 이유를 관찰로 확인해 볼 설명, 곧 가설이라고 불러봅시다. “어디에서 시작해야 할지 찾는 것이 주된 어려움이다”라는 가설이 있습니다. “시작 위치를 찾아도 동작의 결과나 파일 형식을 예상하기 어렵다”라는 설명도 함께 생각할 수 있습니다. 같은 기록을 설명하는 다른 후보를 경쟁 설명이라고 합니다. 두 설명이 갈리는 장면을 찾으면 무엇을 고쳐야 할지도 더 구체적으로 물을 수 있습니다.

두 설명을 비교하려면 다음 중 어떤 자료부터 더 보겠나요? 하나를 고르고, 그 자료로 무엇을 알 수 있을지 생각해 보세요.

• A. 참여자가 남긴 전반적인 만족도 한 줄
• B. 파일을 만든 세션만 모은 영상
• C. 도움 전후의 행동 순서, 당시 발화, 진행자가 한 말

같은 메모를 원기록과 대조해 봅니다

이번에는 세션 메모에서 생략된 기록을 읽어봅시다. 사람이나 결과가 바뀐 것은 아닙니다. 같은 세션에서 어떤 행동과 말이 먼저 있었는지를 더 자세히 살펴보는 것입니다.

C를 먼저 보면 파일 생성 여부만으로는 보이지 않던 차이를 찾을 수 있습니다. R1은 내보내기 항목을 직접 가리켰고, R3은 그 항목을 눌러 다음 단계까지 갔습니다. 둘 다 “시작 위치를 전혀 찾지 못했다”는 말만으로 설명하기 어렵습니다. R1의 링크 전송 질문과 R3의 원본 변경 질문은 동작의 결과를 이해하는 데 걸림돌이 있었는지 살펴볼 단서입니다.

가리키거나 누른 행동이 그동안 쉽게 찾았다는 뜻은 아닙니다. 항목을 보기만 했는지, 의미를 충분히 이해했는지도 그 행동 하나로 알 수 없습니다. 두 어려움이 함께 있었을 가능성은 남겨둡니다. 이 예시에는 시선을 측정한 기록이 없습니다.

R2의 PDF 생성은 도움을 받은 뒤의 수행입니다. 이를 도움 없는 발견성, 곧 스스로 시작할 곳을 찾는 능력의 증거로 옮겨 적으면 안 됩니다. 그렇다고 이 기록을 버릴 필요도 없습니다. 안내 뒤에는 어디까지 진행했고 무엇이 더 필요했는지 살펴볼 수 있습니다.

만족도는 경험을 어떻게 평가했는지 물을 때 도움이 되고, 성공 장면은 수행 경로를 이해하는 데 쓸 수 있습니다. 지금의 두 설명을 비교하려면 멈춘 지점뿐 아니라 그 전후의 말과 받은 도움을 함께 봐야 합니다. 예를 들어 내보내기 항목을 찾았는데도 멈췄다면, 시작 위치를 못 찾았다는 설명만으로는 빠지는 장면이 생깁니다. 얼마나 많은 자료를 모았는지와 함께 어떤 자료가 지금 판단을 바꿀 수 있는지 살펴보세요.

다음 세션에서 무엇을 기록할지 정합니다

다음 연구에서도 같은 화면과 PDF 저장 목표를 사용한다면, “우리 설명이 맞다면 어떤 장면이 보일까?”를 먼저 적어보세요. 반대 의견을 형식적으로 하나 넣는 데서 끝내지 말고, 두 설명이 다른 예측을 하는 지점을 기록 항목으로 바꿉니다.

가설이 다른 예측을 하는 기록을 찾기

짧은 메모와 더 긴 원기록을 함께 펼친 점을 보세요. 내보내기를 스스로 찾은 장면과 동작 결과를 묻는 장면은 버튼 발견 하나의 설명으로 묶기 어렵습니다. 다음 관찰 항목을 사전에 정합니다.

“성공”도 미리 풀어 적습니다. 다음 연구에서는 PDF를 컴퓨터에 저장한 뒤 다시 찾아 열어 보는 단계까지 과제에 포함하고, 이를 완료 확인 기준으로 정합니다. 내보내기 찾기, 형식 선택, 파일 생성은 그 안의 서로 다른 단계입니다. R2의 기존 기록은 “도움 후 PDF 생성”으로 남기고, 다시 찾아 열었는지는 미기록으로 표시합니다.

• 대상과 시작 상태: 실제 이용할 사람의 조건, 도구 사용 경험, 같은 시안과 화면. PDF의 뜻을 이해하는 데 필요한 전제도 확인한다.
• 도움과 중단: 언제 어떤 말로 도울지, 참여자가 그만두기를 원할 때 어떻게 마칠지 정한다. 도움 전의 수행과 도움 뒤의 수행을 나눠 적는다.
• 수행 판정: 독립 완료, 도움 후 완료, 부분 수행, 중단을 구별한다. 버튼을 누른 것과 파일을 다시 열어 확인한 것을 같은 성공으로 세지 않는다.
• 제외와 변경: 녹화·프로토타입 오류 등 분석에서 제외할 사유를 먼저 정한다. 기대와 다른 결과만 빼지 않으며, 나중에 기준을 바꾸면 이유와 영향을 따로 남긴다.

과제 문구도 연구 질문에 맞아야 합니다. GOV.UK의 진행자 동반 사용성 테스트 지침은 목표를 분명히 주되, 해결 방법을 미리 알려 주지 말라고 안내합니다. 그중 짧은 표현을 그대로 옮기면 다음과 같습니다.

과제가 답을 먼저 알려 주어서는 안 된다는 뜻입니다. “내보내기를 눌러 PDF를 저장하세요”라고 하면 스스로 시작할 곳을 찾는 과제와 달라집니다. 이 글의 과제는 필요한 결과인 PDF를 지정하되 조작 경로는 알려 주지 않습니다. GOV.UK 지침

이렇게 기록하면 수정 후보도 달라집니다. 시작 위치를 찾는 단계가 문제라면 메뉴 이름과 배치를 검토하고, 원본에 미칠 영향을 몰라 멈춘다면 실제 동작을 확인한 뒤 설명을 고칩니다. 한 사람에게 도움을 준 전후 차이는 시간 경과와 학습도 섞이므로 변경안의 효과 크기로 계산하지 않습니다. 수정안이 나아졌는지는 같은 이용자 조건에 맞는 새로운 첫 사용 참여자에게 같은 과제를 주어 다시 확인해야 합니다.

확증 편향이라는 이름을 붙이기 전에

Nickerson의 1998년 리뷰는 확증 편향을 기존 믿음이나 기대, 가설에 유리하게 근거를 찾거나 해석하는 경향으로 설명합니다. 앞의 팀이 “못 찾은 기록은 버튼 문제, 스스로 찾은 기록은 우연”이라는 식으로 매번 다른 잣대를 쓴다면, 어떤 기록이 결론에 불리해도 받아들이지 않는 과정을 검토해야 합니다. 리뷰의 초록·정의

어느 단계에서 치우쳤는지에 따라 고칠 일은 달라집니다. 자기 생각에 맞는 자료만 접하려고 고르는 일은 선택적 노출의 문제와 닿아 있습니다. 성공한 세션만 보고서에 싣는 것은 보고할 근거의 선택이고, 도움 뒤의 완료를 독립 수행으로 적는 것은 같은 기록에 뜻을 부여하는 해석의 문제입니다. 각각 무엇을 읽었고 무엇을 제외했는지, 같은 판정 기준을 썼는지 살펴보세요.

과거 연구를 알고 있거나 먼저 유력한 설명을 갖는 것 자체는 잘못이 아닙니다. 사전 지식은 무엇을 확인할지 정하는 데 필요합니다. 다른 사람과 결론이 다르다는 이유만으로 상대에게 확증 편향이 있다고 진단할 수도 없습니다. 지금 검토할 것은 사람의 성향보다 근거를 고르고 처리한 과정입니다.

보고서를 함께 읽는 동료에게도 막연히 “객관적으로 봐 달라”고 부탁하기보다 같은 원기록과 판정 기준을 건네세요. 서로 해석이 갈린 행을 표시하고, 어느 행동이나 말 때문에 달리 읽었는지 적어봅니다. 두 사람이 동의했다는 사실이 진실을 보장하지는 않지만, 판단이 바뀐 지점은 다시 살펴볼 수 있습니다. 이런 기록 방식은 편향을 없애는 한 가지 비법이 아니라 연구를 검토 가능하게 만드는 실무 제안입니다.

맞는 사례를 시험하는 것이 늘 잘못일까요

Wason의 1960년 연구에서는 심리학 학부생 29명이 숫자 세 개의 규칙을 찾는 과제에 참여했습니다. 처음 주어진 2, 4, 6은 “크기가 증가하는 세 수”라는 규칙에 맞았습니다. 참여자는 새 숫자 묶음과 그 묶음을 고른 이유를 적고, 규칙에 맞는지 피드백을 받았습니다. 이 과제는 좁은 가설에 맞는 사례만 계속 시험해도 더 넓은 규칙을 알아내기 어렵도록 설계됐습니다. 원논문 129–132쪽

논리를 보기 위한 별도의 예를 들어봅시다. 후보 규칙이 “2씩 커지는 짝수 세 개”와 “크기가 증가하는 세 수”라면, 8, 10, 12는 둘 다 만족합니다. 그 묶음이 맞다는 답만으로 둘 중 어느 규칙인지 고를 수 없습니다. 반면 1, 2, 4는 두 번째 규칙에만 맞습니다. 이것은 원연구 참여자의 실제 응답을 옮긴 것이 아니라 두 후보를 비교하기 위해 만든 예입니다. 이 시험 하나로 모든 가능한 규칙까지 확정되는 것은 아닙니다.

그렇다고 늘 자기 가설과 반대되는 사례만 찾아야 할까요? Klayman과 Ha의 1987년 논문은 예상한 성질이 있을 법한 사례를 시험하는 긍정 사례 시험 전략과, 근거를 자기 믿음에 치우치게 처리하는 것을 구별합니다. 긍정 사례 시험도 과제 조건에 따라 유용하며, 어떤 시험이 정보를 더 주는지는 가설과 실제 대상의 관계에 달려 있다고 설명합니다. 원논문 211–213·219–220쪽

숫자 규칙과 사용성 연구 사이에는 중요한 차이도 있습니다. “세 수가 증가한다”는 규칙은 예외 없는 조건이지만, “이 메뉴를 더 쉽게 찾을 것이다”라는 예상은 사람과 기기, 경험에 따라 달라집니다. 기대와 다른 사례 하나가 나왔다고 UX 가설을 곧바로 폐기할 수는 없습니다. 그 사례를 숨기지 않고 기록의 정확성, 과제와 대상의 범위, 반복되는 양상을 확인해야 합니다. 긍정 사례든 반대 사례든 다른 설명과 무엇을 구별하는지가 질문의 중심입니다.

다른 기록에도 같은 질문을 해봅니다

가상의 예약 연구 보고서에 “참여자가 12일을 선택했다. 방문 날짜의 의미를 이해했다”라고 적혀 있습니다. 방문일이라고 이해해서 골랐을 수도 있고, 신청 마감일이라고 생각해서 골랐을 수도 있습니다. 어떤 기록을 더 보면 두 설명을 비교할 수 있을까요? 클릭 장면 외에 하나를 떠올려 보세요.

선택 당시 참여자가 그 날짜를 어떻게 설명했는지, 과제 문구가 무엇이었는지, 완료 뒤 언제 방문한다고 알고 있는지를 확인할 수 있습니다. “방문 날짜를 고르신 거죠?”처럼 답을 넣어 묻기보다 “선택한 날짜가 어떤 날짜인지 설명해 주세요”라고 요청하는 편이 의미를 드러내는 데 맞습니다. 날짜를 눌렀다는 행동과 날짜의 뜻을 이해했다는 해석은 따로 남깁니다.

날짜 클릭과 날짜 의미 이해는 다릅니다

12일을 선택한 행동과 뜻을 분리합니다

새 가상 예약 기록

12선택한 날짜

동일한 선택의 두 가능한 해석

가능한 해석	비교할 추가 자료	현재 자료
방문일	선택한 날짜가 무엇을 뜻하는지 설명	미수집
신청 마감일	다음 행동·조건에 대한 설명	미수집

현재 관찰

12일 선택

확정할 수 없는 주장

방문 날짜 의미를 이해했다

답을 포함한 질문으로 해석을 유도하지 않습니다. 구체적 월·마감·방문 성공을 원문에 더하지 않았습니다.

기존 도판의 출처와 전체 설명 읽기

달력과 사람이 설명할 메모를 함께 보세요. 방문일과 신청 마감일은 다른 해석일 수 있습니다. 답을 넣은 질문 대신 선택한 날짜의 의미를 설명하게 하고 행동과 해석을 따로 남깁니다.

다음 보고서를 읽을 때는 확신이 큰 결론 하나를 골라 아래 세 줄을 적어보세요. 반대 자료를 무조건 한 개 채우는 대신, 어떤 기록이 나오면 설명의 무게가 달라질지 구체적으로 남기는 작업입니다.

• 내 설명: 내보내기를 시작할 위치가 주된 걸림돌이다.
• 같은 결과의 다른 설명: 위치에 도달했지만 저장할 때 원본에 미칠 영향을 몰라 멈췄다.
• 판단을 바꿀 기록: 도움 전에 항목을 지목하거나 실행한 뒤 어떤 말을 했는지, 그 시점에 파일은 어떤 상태였는지 확인한다. 그런 기록이 있으면 위치만 고치는 제안을 다시 검토한다.

확인해볼 질문

• 직접 본 행동과 들은 말을, 그 이유에 대한 해석과 나누어 적었나요?
• 같은 기록을 설명하는 다른 후보와, 두 설명의 무게를 바꿀 관찰을 말할 수 있나요?
• 성공·도움·중단·제외의 기준을 결과를 보기 전에 정하고, 변경한 이유를 남겼나요?
• 과제 안내가 확인하려는 경로나 답을 먼저 알려 주지 않나요?
• 기대와 다른 기록에도 같은 잣대를 적용하고, 섞인 원인이나 판단 보류를 남겼나요?

좋은 검토는 처음부터 아무 가설도 갖지 않는 일이 아닙니다. 무엇을 보고 그렇게 생각했는지, 다른 설명이라면 무엇이 달라 보여야 하는지, 어떤 기록 앞에서 판단을 바꿀지를 남기는 일입니다.