专业第三方市场调研公司 咨询热线 021-5299 5391

如何控制访问质量问题 – 市场调查百科

1导言在市场调研行业中的执行类公司是市场研究行业的第一线工作人员,在这类公司中,最为重要的工作是管理好调查项目的直接执行者——访问员,在调查工作中,执行类公司很难分辨哪些错误是由于访问员的无意造成的、哪些错误是访问员在项目中的在作弊所引起的,其实这个难题不仅是使执行类公司的各位督导头痛,而且还致使各位研究员绞尽脑汁花费大力气在调查问卷上,对于如何比较有效的控制访问质量,在目前的行业中还没有

   1  导言
        在市场调研行业中的执行类公司是市场研究行业的第一线工作人员,在这类公司中,最为重要的工作是管理好调查项目的直接执行者——访问员,在调查工作中,执行类公司很难分辨哪些错误是由于访问员的无意造成的、哪些错误是访问员在项目中的在作弊所引起的,其实这个难题不仅是使执行类公司的各位督导头痛,而且还致使各位研究员绞尽脑汁花费大力气在调查问卷上,对于如何比较有效的控制访问质量,在目前的行业中还没有比较有效的措施,只能是被动采取事后的惩罚措施,更为甚者,当遇到有访问经验的访问员时,根本就是无法确认问题是来自于访问员还是来自于被访者或是一种无意的错误。本论文的目标是从统计质量管理的原理来找出一种检验访问员访问质量的方法,于是使这个课题的探讨变得很有意义,本文所探讨的方法是基于进行入户调查访问的长期监测项目。
        2  调查执行部门面临的问题介绍
        2.1  调查执行部门都面临着什么问题以及会带来的影响
        目前许多调查执行部门面临着许多问题,但是相比较而言,没有任何一个问题可以比保证信息质量的问题更为重要,访问员是收集市场信息和数据的实施者,所以如何更好的管理访问员便变得十分有意义,而对访问员的管理成功与否直接意味着调查问卷是否有效,而恰巧市场研究公司的兼职访问员大多都不是市场调查背景的专业出身,大多不知道调查的意义所在,也没有认识到他们的行为会给项目带来什么结果和影响,所以在管理上给调查执行部门带来了很多的麻烦。
        仔细分析一下研究报告的生成过程,不难会得出如图1所示影响因素:
        
        从图1中,知道影响研究报告有效性的因素其实有很多,例如:来自研究方法的原因可能是因为调查问卷不合理或样本框选择不合理,来自数据信息质量的原因是访问员在访问过程中有作弊行为等,于是要保证研究报告有高度的有效性变得很难,于是在当研究方法合理时,数据信息质量便成为一个很重要的影响因素,此时由于访问员和被访者在调查项目中的特殊身份,所以使得控制数据信息质量变得很有难度也很重要,在访问过程中,由于多数采用是自愿原则,即是被访者决定是否接受整个访问,所以假设接受访问的被访者没有故意隐瞒真实想法的行为,即图1中的“被访者故意错误”项原因不存在,此时便只剩下“访问员偶然错误”、“被访者无意错误”和“访问员是作弊”三个原因,从统计学的角度来说,这三个原因中的前两个属于不可避免的,即是所有问卷都会存在的原因,称其二者为共有原因,所以如果想减少数据信息质量较差而带给研究项目的影响,就应该加大对“访问员是作弊”的管理这个原因会使某些问卷表现出一种异常情况,称这个原因为特有原因,即作为调查执行部门应该加大对访问员进行管理的力度,以防止访问员作弊。
        2.2  目前在调查执行部门中,普遍流行的解决方法以及优缺点
        目前,多数市场研究公司都有自己的多种方法来实施对访问员的访问质量的监控,现在介绍两种常被采用的监控方法。1.对调查过程进行录音:为了更好的监控访问员的访问过程,这种方法经常被采用。这种方法虽然全程记录了访问员的访问过程,但是当样本量比较大时,很难对所有录音进行监听。2.让访问员填写一系列表格:这种方法多数用于入户调查,这样由于访问员需要按照要求去进行访问,比如在成功隔三的抽样方法中,要求访问员在成功访问一家后,要隔三家不访问,然后接着从第四家访问,这样访问员可能会接触到许多家庭,这些家庭可能有些是成功接受访问的、有的是因为没有符合被访问者特征的没有被访问的以及一些拒绝接受访问的,这样为了很好的监控访问员的行走路线,访问员会被要求填写一些关于访问地址信息的表格,如图8:
        
        这种方法把访问员的访问路程和访问情况以表格方式直接显示出来,方便督导监控访问情况,并且也可以方便研究人员及时更改抽样方法,比如在一个需要大样本的调查项目中,如果“不成功访问”比例过大,导致不可能在规定的时间范围中完成访问任务的话,应该及时更改抽样方法,以完成所需要的样本量,但是这种方法给访问员带来了诸多的不便,从而使本来任务就很重的他们所需要完成的工作更加多。
        2.3  针对现在已存的解决方法,作者的意见
        对于目前市场调查行业中所采用的控制访问员访问质量的方法,有的时候确实可以达到控制访问员的访问质量,但是同时也存在某些不足和一些需要改进的地方。正如在一些情形中,调查督导很难区分访问员的访问质量低到底是出于什么原因,对于一些重要项目,项目的访问员要求很高,有的需要访问员具有一定的访问经验,所以对调查执行部门来讲,具有丰富经验的访问员其实是一种重要的资源,于是在调查执行过程中,往往是调查执行部门的督导处于一种劣势,这些督导们首先是没有先进的技术手段来确认访问员的访问质量问题,对于目前的各种质量控制方法大都是对于单个调查样本来控制的,并没有把样本的调查访问质量问题提高到一个更高的层次来控制,目前调查执行部门都是在单从某一个调查样本出发去关注某个调查样本是不是出错了,而并没有把访问员的调查访问质量情况作为一个整体考虑。所以作者认为挖掘调查质量内部的关系很重要,并且可能会更好的发现访问员的问题,而这种技术则要应用6sigma质量管理知识,特别是6sigma知识中使用数据内部的关系来区别使调查问卷存在调查误差的共有原因和特有原因。
        3 探讨利用6 sigma的理论来解决在调查执行部门中存在的问题
        3.1  关于6 sigma的介绍
        六西格玛是一项以数据为基础,追求几乎完美的质量管理方法。西格玛是一个希腊字母σ的中文译音,统计学用来表示标准偏差,用”σ”度量质量特性总体上对目标值的偏离程度,其数学公式见式一,  
        
        几个西格玛是一种表示品质的统计尺度,“Sigma”的定义是根据俄国数学家P.L.Chebyshtv(1821-1894)的理论形成。根据他的计算,如果有68%的合格率,便是±1 Sigma(或Standard Steviation),±2 Sigma有95%的合格率,而±3 Sigma便达至99.73%的合格率。在70年代,产品如果达到2 Sigma便达到标准。但在80年代,品质要求已提升至3 Sigma。这就是说产品的合格率已达到99.73%的水平,只有0.27%为次货。又或者解释为每一千个产品中只有2.7件为次品。很多人以为产品达至此水平已非常美满。可是,根据Evans和Lindsay一书提出,如果产品达到99.73%合格率的话,以下事件便会继续在美国发生:
        ——每年有20000次配错药事件
        ——每年有超过15000婴儿出生时会被抛落地上
        ——每年平均有9小时没有水、电、暖气供应
        ——每星期有500宗做错手术事件
        ——每小时有2000封信邮寄错误
        虽然合格率已达到99.73%的水平,但相信如果大家认识到上面所描述的情况后,可能对以上品质要求并不满意。所以有很多公司已要求“6 sigma”的品质管理。就是说其品质要求是“3 sigma”的一倍。其合格率为99.99966%(Motorola所谓的5“九”了),每一百万(简记为PPM)个产品中只有3.4件是次品(非常接近零缺点要求)。几个sigma之间的比较,见表1,
        
        在制造业中,任何一个工作程序或工艺过程都可用几个西格玛表示。六个西格玛可解释为每一百万个机会中有3.4个出错的机会,即合格率是99.99966%。而三个西格玛的合格率只有93.32%。六个西格玛的管理方法重点是将所有的工作作为一种流程,采用量化的方法分析流程中影响质量的因素,找出最关键的因素加以改进从而达到更高的客户满意度。
        6 sigma的流程图如图2所示,
        
        3.2  针对调查执行部门面临的问题的解决方法
        对于如何控制访问员调查访问质量的问题,现在尝试从先进的6 sigma质量管理知识入手,建立一套能够填补目前市场调查部门在控制访问员调查访问质量方法的不足,这种方法与目前市场调查部门所使用的控制方法相比,这种方法更加注重于从问卷总体来看待访问质量,而不是单个样本的访问质量,从而发现问卷中存在的特有原因,然后从特有原因出发来更好的培训访问员和做好市场调查工作。在6sigma的执行过程中,有时可能会使用到相当多的方法,正如图2所描述,6sigma包含着DMAIC五个步奏。下面针对这五个大的步奏,就问题分别进行讨论。
        3.2.1  D:define——–定义调查执行部门存在的问题
        在6sigma管理知识中,6sigma的目标是减少缺陷率,及时反映生产线中的问题,以防问题的扩大。在DMAIC环中,D即define是第一步,意味着首先应该了解并确定现在存在什么问题,于是D这一环节的核心便是要求发现问题并且定义问题,在调查执行部门中,最主要的工作便是实施问卷调查,它的客户是市场研究公司的其他部门,于是,已完成的调查问卷作为调查执行部门的产品流至其他部门(如数据处理部门和市场研究部门)。而调查问卷作为一种流通产品,它的最主要特性(也即6sigma中的CTQ)便是:是否真正的衡量了或代表反映了被调查者的意愿,于是问题就可以被描述为:收集上来的调查问卷是否反映被访者的意愿。再进一步讨论,如何反映收集上来的调查问卷是否反映了被调查者的意愿这个问题,其实在调查执行部门中,QC人员的工作职责便是检验收集上来的调查问卷是否与被调查者所描述的一致(即QC人员的电话或实地复核工作),QC人员的复核工作是把调查问卷的信息与复核问卷的信息相对比,以此来检验收集上来的问卷是否真正代表反映了被调查者的真实意愿,但是由于要考虑被调查者记忆上的误差以及访问员记录上的误差,所以并不是说一旦发现某个调查问卷的信息和复核问卷的信息不一致,便判定这个调查问卷是无效问卷,这一点也是现今调查执行部门在判定调查问卷是否有效时的难点,他们往往无法判定某个调查问卷的问题是来自被访问者还是来自访问员,是来自于有意的还是来自于无意的,这也使本论文具有了研究的意义。于是在D这个环节中,问题可以被描述为存在于复核问卷和调查问卷之间的信息不一致(或一致,在本论文中,采用不一致)的条数,也可称为缺陷数,在6 sigma知识中,记为CTQ数(即关键质量系数)。那么实施6sigma方法的改进目标就是,尽量降低调查问卷中存在的缺陷数,提高数据的质量水平,在本文中,CTQ数值越高说明质量越差。 
        3.2.2  M:measurement ——— 根据对过程中问题的定义,给出对问题的测量方法,并且计算出当前流程中的sigma质量水平
        当明确定义了问题之后,接下来需要做的便是对问题的相关指标进行测量,以发现是否真的存在上面定义了的问题,在一个改进项目开始之初,应该首先测量计算该项目目前的质量水平,即sigma水平,这便要求首先应该解决测量单位的问题,针对本文章的缺陷数定义,我们可以有两个测量单位,其一是把调查问卷作为测量单位,只要调查问卷中存在信息的失真,则判定该调查问卷是有缺陷的,例如,共组织调查467份调查问卷,其中有5份问卷中的个别信息失真,则认为有5个缺陷,此时的缺陷数即为5,而这时的质量水平可以由计算得出Z=3.80(计算方法见下式):
        
        其中 可以根据每单位缺陷数(DPU即5/467=0.01071)对应的正态分布表查得,为  =2.30。
        另一种测量单位是把调查问卷中的信息条数作为单位总数,仍以上例:但知道每份调查问卷的信息条数即问卷中的问题条数为10条,其中5份缺陷问卷中的不一致信息条数分别为6、7、8、6、5,则式二中的DPU=(6+7+8+6+5)/(467×10)=0.006852,则此时的Z=3.90,上面介绍的这两种测量单位在本质上有着巨大的差异,第一种测量单位用于当发现信息错误则把调查问卷视为废卷,而第二种测量单位用于当发现信息错误则把该条信息视为无效信息,此时的调查问卷并没有被视为废卷,这样企业在选择测量单位时应该考虑本身的实力以及调查研究对信息的要求程度。在本文下面使用使用第二种测量单位,于是,在这一环节,测量单位被定义为调查问卷中的信息条数。测量方法则是QC人员在对调查问卷进行复核时,记录信息不一致的条数。
        3.2.3  A:analysis和I:improvement ——— 分析过程中存在的问题、提出解决方法,改善存在的现状
        在measurement环节中,有时由于各种共有原因和特有原因的影响,导致过程的关键质量系数CTQ较大,这时在生产部门中,往往会使用各种统计工具找出影响因素并给出影响较大的因素,在这一过程中,有帕累托图、回归分析、试验设计等定量分析知识,在本文所讨论的问题中,由于市场调查执行部门调查质量的特殊性,所以在本文中,不需要使用这些定量技术予以处理分析和调整,当发生质量问题时,需要对问题进行定性分析,以确定是否该对访问员进行再培训,以及是否应该调整访问程序等,以解决存在于调查执行部门的问题,提高数据质量水平。
        3.2.4  C:control ——-对已改进的过程的控制,以随时监测过程运转状况
        在上面的4个环节中,始终都在为improvement做准备,这一节则是在继improvement之后,该怎样保证产品或服务的CTQ的稳定,实时对CTQ进行检测,以及时发现存在的问题,在这一环节中使用的数据由于受条件限制,使用数据均为臆造,旨在介绍在SPC(statistical process control)中使用不合格品数控制图—C图对调查执行部门的质量进行控制,不合格品数即为本文所涉及的CTQ关键质量系数,由于在测量阶段已经定义了测量单位,所以采用第二种计量单位方法。QC人员在电话复核后,记录下了25个产品即调查问卷的CTQ数序列,其中前20个CTQ数是属于有调查督导陪访时,调查问卷的关键质量系数,而后5个CTQ数是那些没有被调查督导陪访时,访问员完成的调查问卷,数据见下面表格二所示(简化起见,把调查问卷的问卷编号设置为1—25,其中后面5个调查问卷其实是从当天完成的调查问卷中按照随机抽样原则抽取出来代表当天所有问卷的调查问卷): 
        
        根据表二中的数据,利用SPSS统计软件可以做出质量控制图的C图,步骤见图12所示:
        
        按照上面的步骤执行完成之后就可以得出C控制图,如图13所示:
        
        从上面可以看出,编号为25的调查问卷,CTQ数超出上控制线,即说明编号为25的调查问卷存在特有原因,所以可以判定其为异常,此时则可以判定在该问卷实施过程中,访问员的访问技巧有问题或者可以判定访问员是在作弊,这样就利用了统计学的原理很简单的把调查问卷的特有原因从共有原因中区分出来。
        3.3  实施这种管理方法的具体工作方法
        1) .项目标准调查问卷的CTQ收集

        项目前20份问卷必须全部被调查督导参与陪访,以保证作为标准衡量尺度在以后被使用。QC人员对这20份问卷进行正常复核,记录20份问卷的CTQ,并且详细记录和保存。
        2) .项目日常数据的收集和CTQ的记录
        访问员完成的日常调查问卷,应该每天都上缴至公司,以缩短已完成的调查问卷尽快进入本文所涉及的技术监控系统所需要的时间,QC人员根据被访者留下的联系方式和电话号码或住址进行接触,对问卷进行复核,记录每份调查问卷的CTQ数值,同时应该记录该访问员的访问编号和问卷编号。
        3) .督导或相关人员对CTQ 的分析
        QC人员把每份问卷的CTQ和相关信息传送给督导或相关人员,督导或相关人员对CTQ进行分析,每次分析时应该注意把有陪访的前20份问卷加入系统,然后从当天的CTQ数据库中,系统的提出5个数据点,这样做的意义是用比较经济的方式来系统的发现问卷中是否有特有原因(不正常调查问卷)的存在,因为6sigma技术是使用数据总体的方差和均值来判断数据点在质量控制图中的位置,所以应该确保没有特有原因的数据占参与控制的所有数据的重要地位。对控制线的CTQ所对应的调查问卷应该视问题情况给出是否将其作废的判定的处理,有问题的问卷一定要详细记录并且要通知到访问员,提醒他以后要注意,毕竟本文做的一切关于质量控制的讨论,目的始终都是为了保证访问员的访问过程不再存在问题。当然了,对于每一个项目的每一期,尽量要做到做的好的访问员让他继续保持,并且组织他们做经验交流,而目前做的仍不够好的访问员,要尽量使他们提高访问质量。
        3.4    对这个新方法的评价
        在上面,可以看出上面的方法已经可以将调查问卷的共有原因和特有原因区分出来,但是,由于QC人员在对调查问卷的CTQ进行计数时,并没有考虑复核问卷的长度问题,比如以前面采用的测量方法,则会有较长的复核问卷中的CTQ数比较短的复核问卷大,这种问题很有可能发生,因为在一个项目中,复核问卷并不是固定不变的,所以为了解决这个问题,下面将会给出一个考虑到复核问卷长度的统计质量控制方法,即是使用U图,这两个控制图的区别是C图的复核问卷长度相等,而U图的复核问卷长度不要求相等,仍使用前面的数据不同的是在原先的数据基础上多加一列复核问卷长度的指标,数据见表3:
        
        同样使用SPSS软件,第一步录入时多添加一列复核长度,第二、三步设置与C图的设置相同,第四步设置见图14:
        
        控制图见图15:
        
        如此便解决了上面因为复核问卷长度不一致可能带来的问题。
        4  论文总结   
        市场调查研究行业无疑是产生于产品激增、广告轰炸、市场精确定位发展模式的产物,它是致力于帮助企业提高顾客满意度和改善顾客满意度的一个行业。在目前的行业发展现状中,总会碰到假的数据,从而导致企业决策者做出错误的决策的情况发生,影响了市场研究行业的的声誉和信誉,于是就有业外人事有时不把市场研究作为他们解决当前影响企业未来发展问题的解决之道,而市场研究行业的从业者喊苦喊累的不良状况,都意味或暗含着市场研究行业有必要做出调整的气息,来改善目前的不良现状。
        本文上面讨论的管理方法,也是在一些假设条件之下的,比如有假设:非访问员的错误导致复核信息与调查问卷上记录的信息不一致,即被访者全心全意配合调查活动不存在。显然这是不可能的而且也不现实,但是毕竟减少了访问员的问题,据笔者了解,访问员的访问质量问题非常严重,有的项目特别是长期监测项目的数据有很多都是存在着严重的数据造假问题,于是作为市场研究行业,应该着力于对数据的质量控制,只有这样市场研究行业才有更好的发展和更大的市场,只有这样市场研究报告才会发挥自己的价值,市场才会认识到市场研究的巨大作用。
         参考文献:
        [1] 苏秦.现代质量管理学[M]. 北京: 清华大学出版社.2005:11
        [2] 孙静.接近零不合格过程的有效控制:实现六西格玛质量的信息途径[M].北京: 清华大学出版社,2005:09
        [3] (美)布雷弗格三世. 实施6西格玛. 阎国华等译[M].北京: 机械工业出版社,2004:01
        [4] 杜比芳. 抽样技术及其应用[M].北京:清华大学出版社.2005:08
        [5] (英)伯恩. 市场调研技术手册[M]. 卢嫄,孟朝晖译.北京: 人民邮电出版社,2005:11
        [6] (美)迈克丹尼尔,(美)盖兹. 当代市场调研[M]. 范秀成等译.北京: 机械工业出版社,2002:05
        [7] Brace,I.市场调查宝典:问卷设计[M]. 胡零,刘智勇译.上海:上海交通大学出版社,2005:08
        [8] 梭伦. 百分百市场营销定位[M].北京:中国纺织出版社,2001:09