순위표 편향 - 순서를 정한 것은 누구인가

순서가 만들어지는 경로

목록에 순서가 붙으려면 누군가 기준을 정하고 점수를 매겨야 합니다. 그런데 많은 순위표는 이 과정을 보여 주지 않고 결과만 내놓습니다. 과정이 없는 순서는 평가가 아니라 배치에 가깝습니다. 배치는 만든 사람의 사정을 반영하고, 평가는 읽는 사람의 기준을 반영합니다.

1. 제휴에 따른 배치소개 대가에 따라 자리가 정해진 경우입니다. 평가 기준과 배점을 공개하지 않는다면 이 가능성을 먼저 두고 읽는 편이 안전합니다.
2. 표본 쏠림후기와 경험담은 남아 있는 사람의 말만 모입니다. 그만둔 사람의 말은 애초에 게시판에 올라오지 않으므로 통계가 처음부터 한쪽으로 기울어 있습니다.
3. 구간 절단유리한 기간만 떼어 내면 어떤 흐름이든 좋아 보이게 만들 수 있습니다. 구간을 누가 왜 그렇게 정했는지 밝히지 않은 숫자는 근거로 쓰기 어렵습니다.
4. 단위 불일치한쪽은 비율로 다른 쪽은 총액으로 적으면 큰 숫자가 자동으로 우세해 보입니다. 비교 전에 단위를 맞추는 작업이 필요합니다.
5. 공백의 긍정 해석적혀 있지 않은 항목을 문제없다는 뜻으로 읽는 습관입니다. 공백은 미확인이며 감점으로 처리해야 합니다.
6. 첫인상 고정가장 먼저 본 대상이 기준점이 되어 나머지를 그 기준으로 보게 됩니다. 순서를 바꿔 한 번 더 읽으면 이 기울기를 어느 정도 걷어낼 수 있습니다.

읽기 전에 확인할 네 가지 형식

내용을 읽기 전에 형식을 봅니다. 평가 항목이 적혀 있는가, 항목마다 배점이 있는가, 점수를 매긴 주체가 드러나는가, 순서가 바뀐 이력이 남아 있는가 하는 네 가지입니다. 이 넷이 모두 비어 있다면 그 목록은 참고 자료로 쓰기 어렵습니다.

반대로 넷이 적혀 있다면 결론에 동의하지 않더라도 어디에서 생각이 갈리는지 짚을 수 있습니다. 비교 자료의 값어치는 결론이 맞는지보다 결론에 이른 길이 드러나는지에서 나옵니다. 길이 보이면 읽는 사람이 자기 배점으로 다시 계산할 수 있기 때문입니다.

스스로 순위를 다시 매겨 보기

남이 만든 목록을 읽을 때 가장 확실한 방법은 같은 대상을 자기 배점으로 다시 계산해 보는 것입니다. 항목이 공개되어 있다면 계산은 몇 분이면 끝납니다. 자기 계산과 원래 순서가 크게 다르다면, 그 차이가 어디서 왔는지 한 항목씩 짚어 봅니다. 대개 한두 항목이 차이의 대부분을 만들어 냅니다.

차이를 만든 항목이 제도나 책임에 관한 것이라면 자기 계산 쪽을 신뢰해도 됩니다. 반대로 차이가 화면이나 속도에서 왔다면 취향의 문제일 가능성이 큽니다. 토토사이트를 둘러싼 목록에서 다툼이 생기는 지점은 대개 앞쪽이며, 그래서 이 확인 작업이 쓸모가 있습니다.