it-swarm-ko.com

정 성적 및 정량적 테스트에 많은 사용자가 사용하도록 권장되는 것은 무엇입니까?

나는 현재 전체 인트라넷을 처음부터 새로 작성하고 있습니다. 대부분의 기술은 구식이며 많은 정보를 찾기가 어렵다는 것이 입증 되었기 때문입니다.

그것이 요점 옆에 있지만, 내가 궁금한 것은 약 1000 명의 사용자 기반으로 질적 및 양적 테스트에 사용할 최적의 사용자 수는 얼마입니까?

보유한 총 사용자 수를 기준으로 두 가지 모두에 대한 일반적인 경험 규칙이 있습니까? 아니면 질적으로 5, 양적으로 10이라고 말합니까?

가장 좋은 방법은 무엇입니까?

9
LiamGu

5 명의 사용자 만 테스트해야하는 이유 Jakob Nielsen은 다음과 같이 제안합니다.

최상의 결과는 5 명 이하의 사용자를 테스트하고 감당할 수있는만큼 작은 테스트를 실행 한 결과입니다.

그러나 사용자 수에 중점을 두는 대신 작업 수와 품질에 중점을 두는 것 :

사용성 테스트 작업은 매우 중요하므로 일부 사람들은 사용하는 참가자 수보다 훨씬 중요하다고 주장합니다. 테스트 참가자 수가 아닌 참가자가 시도하는 작업 수는 문제를 찾는 데 중요한 요소 인 것 같습니다. 유용성 테스트에서 .

10
Antony Quinn

나는 이것에 대한 참조가 없지만이 숫자는 사용자 기반의 크기에 달려 있다고 생각합니다.

정 성적 테스트를 위해서는 "일반적인"사용자가 필요합니다. 따라서 3 개의 역할이있는 경우 사용자가 취할 수있는 역할은 각각 3 명 이상입니다. 실제로는 둘 이상을 원하지만 이것이 절대 최소값입니다.

정량 테스트를 위해서는 상당한 비율의 사용자 기반이 필요합니다. 나는 그 숫자가 무엇인지 알지 못하지만 사용자 기반을 10 %로 계산하면 100 명의 사용자가 필요합니다. 그러나 이것은 비현실적 일 수 있습니다. 많은 사용자를 관리 할 수있는 방법이 없을 수도 있고, 작은 사용자 기반을 보유한 경우 매우 적은 수를 생성 할 수도 있습니다.

2
ChrisF

고려해야 할 사항은 사용성 보고서 결과가 나오는 곳입니다. 다운 스트림에있는 사람들이 얼마나 많은 작업을 고칠 수 있습니까? 그리고 그러한 수정의 효과는 무엇입니까?

내가 15 명으로 시험을한다고 가정 해 봅시다. 처음 세 후에 나는 문제 A B C를 발견했다. 15 세가 끝날 때까지 나는 또한 문제를 발견했다. D E F G.

문제는 저의 팀이 A와 B를 고칠 시간이 있다는 것입니다.

더 나쁜 것은-일단 A와 B를 수정하면 시스템이 변경되었으며, 다음으로 가장 심각한 사용성 문제는 C-G가 아닐 수 있습니다.

따라서 제품 개발 담당자의 전체주기 시간을 살펴보고 작업 대기열을 채우기에 충분한 유용성 테스트 만 수행합니다. 그 이상은 낭비 될 수 있습니다.

개발 프로세스 전체에서 더 적은 수의 참여자 (단 하나만)로 더 많은 사용성 테스트를 수행하는 것이 몇 가지 큰 테스트보다 훨씬 효과적이라는 것이 나의 경험이었습니다.

2
adrianh

정량 테스트의 경우 결과에 대한 샘플 크기의 영향에 대해보다 명확하게 설명 할 수 있지만 필요한 사용자 수는 고려중인 특정 테스트 또는 분석에 따라 다릅니다 (예 : 작업을 성공적으로 완료 한 참가자의 비율을 결정할 수 있음) , SUMI 또는 SUS와 같은 설문지를 사용하여 두 버전을 비교하여 평균 작업 시간을 추정합니다 ...) 따라서 모든 상황에 유용한 경험 법칙을 제시하기는 어렵지만 표본 크기를 알아내는 기술이 있습니다. 주어진 상황에서 필요합니다.

이제이 모든 문제를 극복하고 실제로 신뢰 구간 및 통계적 힘과 같은 것을 추정하고 싶지 않다면, 기억해야 할 두 가지 중요한 결론이 있습니다.

첫 번째는 추정의 정밀도와 주어진 정밀도 수준을 달성하는 데 필요한 사용자 수가 not 최소한이 사용자 기반이 테스트 샘플보다 훨씬 큰 경우 사용자 기반. 두 번째는 샘플 크기가 클수록 추가 테스트 사용자가 기대할 수있는 개선이 적다는 것입니다. 따라서 10에서 110으로가는 것은 1000에서 1100으로 크게 향상되지 않습니다.

그렇기 때문에 관심있는 인구가 수백만 명을 포함하는 경우에도 여론 조사에 종종 약 1000 명의 참가자가 있습니다. 실제로, 선거 전 투표의 표본 크기는 일반적으로 5, 80 또는 2 억 인구가 거주하는 국가에서 매우 유사합니다. 표본이 무작위이고 모집단이 훨씬 더 크면 전체 유권자 수의 1 %, 0.1 % 또는 0.00001 % 만 요구하는 것은 중요하지 않습니다.

이러한 결론은 백분율 이외의 다른 경우에도 여전히 유효합니다. 예를 들어 만족도 설문지의 등급 간 비교 또는 작업 완료에 걸리는 시간 분석. 더 나아가고 싶다면 좋은 출발점이 Jeff Sauro의 웹 사이트입니다. http://www.measuringusability.com/

1
Gala