设计一份合格的调查问卷:问卷调查

出自专栏《人人都该懂点产品思维:产品小白如何进阶资深产品经理》

阿聪负责的播放记录优化项目终于上线了,从使用频率来看,比预期设想的要好很多。 基于用户的正面反馈,项目组决定继续深挖播放相关的功能。 在调研完竞品在播放方面的相关功能之后,阿聪决定进一步通过投放问卷的方式收集用户对一些播放功能和使用习惯,以及辅助产品的喜好,从而为下一步优化播放功能做好决策准。
苦思冥想一夜,阿聪带着自己产出的问卷来找我了。 「阿呆老师,您看看这份问卷是否合适?」 「只有一张问卷吗?」我问道。
「不然呢?」阿聪丈二和尚摸不着头脑,反问道。
敲敲白板,阿呆老师小课堂时间到。
问卷调查,是我们在收集用户建议和用户反馈时常用的手段。
但在实际操作过程中,很多团队将问卷调查看得太过简单,将其视作「一个人一支笔,小黑屋里憋出十多道题」的模式,问卷缺乏完整性和易用性。 更有甚者,在问卷发放之初就已经有了自己预设的立场,所谓的问卷不过是试图佐证自己假想的一种手段,从而使问卷失去了中立性。 这样的问卷即便投放回收后,也很难得出准确有效的结论,不能更好地辅助产品迭代。
要么不做,要么就认真地做。 让我们更系统化地聊聊用户调查问卷。
对于用户调查问卷,最前置的要求便是厘清目标:只有在目标明晰的前提下,才有可能设计出更有针对性的问卷。
在问卷设计之前,产品经理需要认真地问自己:「这份问卷是为了解决什么问题的?」是为了了解某个功能的用户使用习惯,还是为了调查用户的使用动机?抑或是为了知晓用户的使用体验?问卷中的所有问题都应该围绕这个中心目标而展开,不要引入偏离主题的问题。
以下表为例,就依次阐明了调研的思路、研究范围和目标用户等信息。
围绕目标,产品经理还需要对应补充自己的背景知识。 如果是为了调研用户对某个阅读功能的使用情况,那起码应该了解行业主要的阅读竞品是如何处理这个功能的;又或是通过回溯过往的用户反馈,知道用户对于功能有无反馈。 只有在自己使用、对比过这些功能,了解用户的基础反馈情况后,才有助于建立起一个相对完善的背景认知,保证问卷中的问题和选项设计能够更加全面。
让自己成为专家,清空预设立场,就可以围绕问卷目标开始问题设计了。
问卷的基础格式通常分为标题、引导语、问题列表三个部分。
具体到问题的设计层面,有如下规则可以参考。
避免预设立场的引导性和倾向性 比如,一份围绕「90 后」个性表达的问卷,在问卷中设置了问题:「您对于网络流行语、二次元文化的看法等。 」这样的问题其实预设了「90 后」的特征就应该是网络流行语、二次元等,所得到的也只会是围绕这些问卷方预设立场的答案,不能带来新的信息增量。
更多的封闭性问题而非开放性问题 封闭性问题泛指提供了可枚举选项的问题,用户只需要在候选项中选择即可完成题目作答。 开放性问题指用户需要通过文字输入来完成作答的问题。 开放性问题的回答成本会显著高于封闭性问题。 所以,一般建议一份问卷中只有在文章末尾列出一到两道开放性问题,并不作为必答问题,以此来提高问卷的回答完成率。
表述和措辞应该尽量准确可量化,减少语义的不明确性 比如,问题「您是不是 B 站的重度用户?」在这个表述中,「重度」的定义是模糊的,究竟是每天一次算重度,还是每周两到三次算重度?语义的传达是有问题的。 所以,这个问题的表述建议调整为「您使用 B 站的频率是多少?」通过给出访问频率的选项,统一问卷发放者的意图和回答者的认知。
选项应该尽量完,对于不容易穷尽的情况,也给出「其他」选项。
同样以问题「您使用 B 站的频率是多少?」为例,如果只给出了「1~2 次/周,3~5 次/周,每天访问」三个选项,就漏掉了用户不怎么使用 B 站的情况。 又如,在一些竞品调研的问卷里,我们通常会列举用户可能常用的竞品软件,在选项过多的情况下,往往只保留市场占有率比较高的竞品,将更多的候选项统一归结为「其他」或是开放性选项。
好的产品不是一蹴而就的,好的问卷亦然,需要经过几次反馈和迭代。
在正式投放给用户之前,我们通常建议邀请内部小组的同事来评审回答一遍,收集他们在问卷作答时碰到的问题,基于反馈进行如措辞表述、题目删改等方面的调整。 在问卷问题稳定后,可以再邀请一批同事进行一轮内部回答,以估算用户面对这份问卷时的回答时间。
接下来,进入正式投放环节。
为了提升问卷回答者的有效性和针对性,我们通常会基于用户特征来圈定用户范围进行投放。 比如,我们会给安装了特定竞品软件的设进行投放,以了解用户竞品软件的使用情况;我们会基于设的常驻 GPS 和出口 IP 信息,来给大学生用户进行投放;又或者,给某些功能的高频使用用户投放,以获悉他们对于这些功能的反馈。
为了区别出回答者是否认真回答了问题,我们还会采用一些小技巧来判断用户反馈的置信度。 常用的技巧如: 有些问卷的投放还会进一步考虑可信度的问题。 即,以同一问卷对同一特征群体进行调查时,多次独立调查结果的稳定性和一致性。 为了保证问卷的可信度,我们通常会将一份问卷间隔一周,再次投放给具有同样特征的人群,基于两次问卷结果的差异性评估,来确定问卷的可信度高低。
在实际工作中,我们往往需要将结果整理为画风华丽的 PPT。
抛开表现形式不谈,问卷结果分析始终要保证两个方面:可信和有用。
可信,关注的是问卷数据的有效性。 问卷有没有实现目标?只有回收到了足够多的有效问卷,才有进一步细分的价值。 在主要问题上的答案是否置信?是否有参考性?如果某些问题的答案在同样特征的人群身上表现差异性较大,或是前后两次问卷投放中的结论差异性较大,那么这道问题的答案可能是不应当采信或进一步挖掘的。
基于有效、可信的结果,我们需要把问卷中暴露的问题、收集到的信息和实际业务相结合,才能让问卷落在实处、做到有用,而不是像某些消费习惯、文化习惯的问卷,只得出了一些看似华丽的大方向,却缺乏可落地性和对业务的指导性。
放弃了独自憋大招的打算,阿聪拉上小组一起开始重新评估自己的问卷设计。 并邀请数据分析师,帮助选取问卷投放渠道和目标用户。 (通过应用市场,投放给最近升级了特定竞品的用户;通过自有渠道,投放给同时安装了自己软件和竞品的用户。 ) 经过精心准的问卷,在投放后,不仅收集到的有效回答率很高,也给业务几个举棋不定的 TO DO 项提供了优先级参考。 阿聪也终于要进一步独立设计更大的功能点了。