问卷调查中,什么是Pre-test和Pilot test?


大多数调查问卷的开展都是由远离该领域的研究人员开发的。

而且无论研究人员有多少经验,他们的参考框架都是有限的。因此,在开始收集数据之前,必须进行预测试(Pre-test)或者试点测试(Pilot-test)。

预测试(Pre-test)和试点研究(Pilot study)的区别是什么?

试点研究(Pilot study)和预测试(Pre-test)经常互换使用,但是两者有一个最大的不同。

在预测试中,研究者仅仅是选择目标样本中的一小部分样本人群进行测试,而且只是测试一小部分问题,比如如果研究者采用混合方法——mixed methods,里面包含问卷调查,采访等等,预测试只需要进行其中一个method就可以。

但是在试点研究(Pilot study)中,则需要测试完整的问卷内容,只不过是在smaller样本中。

因此预实验是测试“部分的部分”。而试点试验是测试“部分的全体”。

预测问卷是调查开发过程中的一个重要步骤。

预测试(Pre-test)和试点研究(Pilot study)的目标是增加调查的效度(Validity)和可靠性(Reliability)。

在预测试时,我们关注的是人们如何回答问题,因为受访者在回答问题时会有不同的表现和经历。除此之外,我们希望受访者可以以研究预期的方式来解释和回答问题。

因此,预测试将帮助研究者确定受访者是否理解问题,以及他们是否能够执行问卷的完整填写。

Pre-test的受访者选择

在选择预测试的受访者时,需要考虑几个因素:

  1. 预测试受访者的选择不是一个随机的选择
    预测试受访者与那些最终的真正受访者相同或相似。所以选择预测试的受访者就不是个“随机选择”的过程。

  2. 受访者需要不同的群体
    由于预测试的目的是从尽可能多的获得不同的受访者的回复,因此需要不同的群体,比如理解问题的方式不一样,有不同的教育水平,年龄阶段或者不同的经历等等。因为并不是需要去分析这些人的问卷结果,而是能够确保这些人能够理解并完成调查问卷。

  3. 更多的考虑替代方案
    理想的情况是预测试能够现场进行,但是由于各种条件的限制——预算,资源时间,分散的地理位置等等。
    于是就不得不考虑不同的替代方案
    A: 打电话
    B:与自己的当地人进行预测试
    C: 把人召集起来进行集中的预测试

与受访者安排预约

在确定并招募受访者后,需要与预测受访者预约,而且尽量征得允许可以获得实际预测试时长2-3倍的时间。

因为一次性的预测试就达到目的是不现实的。

通常,预测试时间从1.5到2小时。

在预约时,要和受访者说清楚目的和具体的流程。

Pre-test 预测试

一旦完成调查问卷的设计,从目标群体中找到5-10人来进行预测试。

如果不能从目标群体中找到人,那么就找到尽可能接近的人。比如,如果你想要从一个外地工厂里进行一个调查,那你可以找到本地的一个类似工厂代替。

当然,受访者尽量要背景多样,经历和水平多样。虽然5-10个人听起来可能不太多,但通常会发现他们中的大多数人在调查中都有同样的问题。

所以即使有这么少的人,也能够识别大多数主要问题。增加更多的人可能会发现一些额外的小问题,但这也会使预测更费时费力。

当找到受访者进行调查时,要确保彼此不互相影响。并且尽可能让受访者在配合调查的时候表达出自己的一些困惑:比如我不明白这道题;或者为什么这道题这样问?;或者这道题好像有点涉及到隐私了,我不想填。一定要让受访者的真实想法表达出来,而且做好笔记,以供后来的修改。

表达真实的想法

观察受访者的答卷过程

观察受访者是否完成了答卷。观察受访者完成问卷时候犹豫或犯错误的地方,比如下面的例子——在答案上涂改修正。因为这可能意味着问题的设计或者布局还是存在问题,需要改进。

答题过程

改进/Make better

一旦所有的测试者完成了调查,检查每个环节的笔记,根据发现的主要问题进行改进。

当然,如果涉及对问卷的问题和或者结构进行重大改变,则需要重复以上操作,而且要选择和此次不同的人群。

试点测试/Pilot-test

对于大型或复杂的调查,在开始实际数据收集(比如问卷调查)之前需要做一个全面的试点测试。要进行试点,需要用一个相当大的样本,从开始到结束完整的执行一次数据的收集——比如回答问卷调查的全部问题以及全部步骤。试点样本的大小取决于实际样本的大小,以及研究者手上有多少数据收集器。一般来说,大约30-50人的样本通常达到目的。

执行从开始到完成的所有步骤

如果手上有数据收集器,首先训练数据收集者。然后按照你在实践中分发和收集调查。将已完成的调查输入到您计划使用的数据库中,然后测试您计划执行的分析。

作出改进

假设调查经过预测试,试点测试通常会识别实施中的实际问题,而不是调查设计中的问题,这是Pilot和Pre-test的区别之一。例如,缺乏工作人员培训,在分发和收集调查的后勤工作方面面临挑战,或在数据输入方面出现错误。然后可以在进行实际调查之前修复这些问题。

来源/Source

  1. How to pretest and pilot a survey questionnaire.

  2. GAO internal guidance/resource – 7/17/17,Questionnaire Pretest Procedures

  3. 知乎原作者引用


文章作者: Mr.Tik
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Mr.Tik !
  目录
WeChat QR