关于培训效果评估。无论是企业组织还是培训领域内的专业人士,虽然对每一具体培训课程的实施效果会有不同的评估要求和侧重点,但在具体实施评估的过程中所采用的思路和方法,始终受到柯氏四级培训评估模式(Kirkpatrick Model)的深刻影响。所以,本书将参照相关资料对柯氏四级评估评估模式进行简单介绍,以供读者诸君参考、借鉴。
在《MBA智库百科》的条目中,关于柯氏四级评估模式,有如下的介绍:
柯氏四级培训评估模式(Kirkpatrick Model)由国际著名学者威斯康辛大学(Wisconsin University)教授唐纳德.L.柯克帕特里克(Donald.L.Kirkpatrick)于1959年提出,是世界上应用最广泛的培训评估工具,在培训评估领域具有难以撼动的地位。
柯氏四级培训评估模式,简称“4R”,主要内容包括:
Level 1 反应评估(Reaction) :评估被培训者的满意程度。反应评估是指受训人员对培训项目的印象如何,包括对培训师和培训科目、设施、方法、内容、自己收获大小等方面的看法。反应层评估主要是在培训项目结束时,通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应。这个层次的评估可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考,但不能作为评估的结果。
Level 2学习评估(Learning): 测定被培训者的学习获得程度。学习评估是目前最常见,也是最常用到的一种评价方式。它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。学习层评估可以采用笔试、实地操作和工作模拟等方法来考查。培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后在知识及技能掌握方面有多大程度的提高。
Level 3行为评估(Behavior) :考察被培训者的知识运用程度。行为的评估指在培训结束后的一段时间里,由受训人员的上级、同事、下属或者客户观察他们的行为在培训前后是否发生变化,是否在工作中运用了培训中学到的知识。这个层次的评估可以包括受训人员的主观感觉、下属和同事对其培训前后行为变化的对比,以及受训人员本人的自评。这通常需要借助于一系列的评估表来考察受训人员培训后在实际工作中行为的变化,以判断所学知识、技能对实际工作的影响。行为层是考查培训效果的最重要的指标。
Level 4成果评估(Result):计算培训创出的经济效益。效果的评估即判断培训是否能给企业的经营成果带来具体而直接的贡献,这一层次的评估上升到了组织的高度。效果层评估可以通过一系列指标来衡量,如事故率、生产率、员工离职率、次品率、员工士气及客户满意度等。通过对这些指标的分析,管理层能够了解培训所带来的收益。
也有人在这个基础上发展了第五级即Level 5投资报酬率评估(ROI)。
尽管将培训视为投资而不是花费具有一定的前瞻性,但它在实践中显然会遇到挑战,因为培训虽然有可能增加企业收益,但它并不能保证此结果一定出现,而且随着人才流动的加剧,盲目的培训往往是在给别人做嫁衣。另外,充斥于市场的大量培训项目良莠不齐,员工受训所学和所经历的情景与实际工作内容、工作环境常常是大相径庭,许多培训行为是缺乏效率和失败的,就像德鲁克曾经说过的那样:“顶多是把白痴变成了低能儿。”
那么,有没有衡量和筛选培训项目的通用原则呢?其实很简单,任何培训的实施都必须依据企业的目标,必须与企业的战略相互协调,必须与企业的生存、发展和竞争等方面的组织需求相联系,培训计划必须是企业计划的一个组成部分。只有这样,培训工作才会是有效果、有效率和有针对性的。
柯氏四级培训评估模式的四个阶段:
阶段一:学员的反应。
在培训结束时,向学员发放满意度调查表,征求学员对培训的反应和感受。问题主要包括:对培训师培训技巧的反应;对课程内容设计的反应;对教材挑选及内容、质量的反应;对课程组织的反应;是否在将来的工作中,能够用到所培训的知识和技能等。
学员最明了他们完成工作所需要的是什么。如果学员对课程的反应是消极的,就应该分析区分是课程开发设计的问题还是实施带来的问题。这一阶段的评估还未涉及培训的效果。学员是否能将学到的知识技能应用到工作中去还不能确定。但这一阶段的评估是必要的。培训参加者的兴趣,受到的激励,对培训的关注对任何培训项目都是重要的。同时,在对培训进行积极的回顾与评价时,学员能够更好地总结他们所学习的内容。
阶段二:学习的效果。
确定学员在培训结束时,是否在知识、技能、态度等方面得到了提高。实际上要回答一个问题:“参加者学到东西了吗?”这一阶段的评估要求通过对学员参加培训前和培训结束后知识技能测试的结果进行比较,以了解是否他们学习到新的东西。同时也是对培训设计中设定的培训目标进行核对。这一评估的结果也可体现出培训师的工作是否是有效的。但此时,我们仍无法确定参加培训的人员是否能将他们学到的知识与技能应用到工作中去。
阶段三:行为的改变。
这一阶段的评估要确定培训参加者在多大程度上通过培训而发生的行为上的改进。可以通过对参加者进行正式的测评或非正式的方式如观察来进行。总之,要回答一个问题:“人们在工作中使用了他们所学到的知识,技能和态度了吗?”尽管,这一阶段的评估数据较难获得,但意义重大。只有培训参与者真正将所学的东西应用到工作中,才达到了培训的目的。只有这样,才能为开展新的培训打下基础。需要注意的是,因这一阶段的评估只有在学员回到工作中去时才能实施,这一评估一般要求与参与者一同工作的人员如督导人员等参加。
阶段四:产生的效果。
这一阶段的评估要考察的不再是学员的情况,而是从部门和组织的大范围内,了解因培训而带来的组织上的改变效果。即要回答“培训为企业带来了什么影响”,可能是经济上的,也可能是精神上的。如产品质量得到了改变,生产效率得到了提高,客户的投诉减少了等等。这一阶段评估的费用和时间,难度都是最大的,但对企业的意义也是最重要的。
以上培训评估的四个层次,实施从易到难,费用从低到高。一般最常用的方法是阶段一,而最有用的数据是培训对组织的影响。是否评估, 评估到第几个阶段,应根据培训的重要性决定。
使用柯氏评估模型的三大误区。
随着企业对培训效果评估的日益重视,柯氏评估模型已成为企业培训效果评估的主要标准。但是正如唐·柯克帕特里克的儿子吉姆·柯克帕特里克所说,企业在使用该模型时存在着很多误区,其中表现最为鲜明的误区有以下三种:
误区之一:柯氏评估模型的作用只能有限地发挥在前两个层次,即评估反应层和学习层。
由于存在着执行难度的原因,大多数企业对柯氏评估模型的使用都只是进行到了反应层和学习层,很少企业能够推进到行为层和效果层。也就是说,对于培训后续效果的评估比较有限。尽管如此,吉姆·柯克帕特里克认为虽然柯氏评估模型还不是一种尽善尽美的评估方法,但目前包括财富500强在内的企业都没有将隐藏在这一模型背后的真正功能发挥出来,即没有对培训的效果层评估进行有益的尝试。
误区之二:柯氏评估模型仅对一般的培训课程和项目的评估有效。
事实上,吉姆•柯克帕特里克在其原著里指出,设计这个四层次评估模型是为了更好地评估针对管理人员的培训项目。今天的培训更多的是基于战略开展的,是为满足企业发展战略服务的,因此对企业的培训效果的评估也需要与企业的发展战略紧密连在一起,而柯氏四层次评估模型正是以此为出发点的。
误区之三:柯氏评估模型和培训教学设计、胜任特征及绩效管理毫无关联。
吉姆·柯克帕特里克指出,他通过把四层次评估模型和教学设计、胜任特征、绩效管理结合起来进行一系列的研究发现,把它们联系在一起可以增加四层次评估模型的运用深度,并且可以在此基础上形成战略协同性,这就从真正意义上使人力资源管理中的培训活动成为企业发展战略的“业务伙伴”。
柯氏评估模型在提高培训的效果和论证培训活动的有效性方面具有十分重要的作用,但正是上面所述的三个误区及其他一些误解限制了这些作用的发挥,使这些作用被“隐藏起来”了。
借助柯氏评估模型开发评估技术和工具。
培训效果的评估活动是一种有目的、有意识的行为,因此在开展培训评估活动时,我们首先需要做的就是决定采用什么样的技术和工具。只要我们确定了评估的技术和工具,我们就可以配置资源来开发评估工具、分析信息并且对培训效果做出评价。
借助柯氏评估模型,我们可以确定有效的评估技术和工具。吉姆·柯克帕特里克通过一系列的研究之后强烈建议我们要有针对性地对培训活动的效果进行评估。很明显,构建胜任特征模型,并将它与特定的培训项目或课程及绩效管理体系结合起来,就可以保证培训评估活动的效率和效果。
参照上述关于柯氏四级评估模式的介绍,下面分别就各评估层次的优缺点及主要评估方法做一些补充说明。
关于柯氏四级评估模式中各评估层次的优缺点比较,请参考表8-1。
表8-1各评估层次的优缺点比较表
评估层次 | 优点 | 缺点 |
第一层次:反应 | 简单易行,多数的培训评估仅针对反应与学习层次进行 | 无法评估培训是否达成了预期的要求 评估的客观性容易受到学员主观因素的干扰 |
第二层次:学习 | 无法评估培训是否达成了预期的要求 | |
第三层次:行为 | 从行为转变的过程和结果两个层次进行评估有利于全面衡量培训效果 | 对生产性工作进行行为方面的评估相对来说比较简单且直接,但知识性工作的行为评估则比较困难、复杂 |
第四层次:结果 | 评估周期长 评估成本高 需要多个部门配合完成,占用资源多 |
基于柯氏四级评估模式的主要评估方法介绍,包括优点、缺点、使用该方法的基本原则以及适用范围,详见表8-2所示。
表8-2主要培训效果评估方法比较一览表
评估方法 | 优点 | 缺点 | 使用的基本原则 | 适用范围 |
观察法 | 直观,便于操作 | 只能提供被观察者的表象而不能揭示深层次原因 有一定的主观臆断性 | 需要与其他的方法配合使用 | 适用于培训主管在培训中进行反应评估时使用 适用于培训后学员直接上级对其行为评估时使用 |
问卷调查法 | 便于全面评估问题,并给予填写者足够的时间表达自己对整体培训的意见和建议 | 如果设计不当或使用时机不合适,容易流于形式 | 问卷的设计要符合培训班的目的 设计的问卷要充分考虑各种不同的反应 应采用定性描述与等级打分制相结合的方法设计 由学员完成的调查问卷应控制在10~15分钟内完成,若时间过长则不利于相关信息的反馈 鼓励学员真实填写,可以视具体情况决定是否需要学员留下真实姓名 应该在培训单元结束后立刻进行 | 可以广泛适用于反应与学习两个层次方面的效果评估 |
测试法 | 可以直接测试学员对培训内容的掌握程度 | 有可能会使部分学员产生紧张情绪,不利于正常水平的发挥 测试的成功并不一定意味着在实践工作中的成功 | 应针对培训内容与学员的特点相应设计测试内容 可以考虑使用试卷测试、模拟现场测试等多种方法 可以在培训结束后即刻进行,或者在培训结束后短期内进行 | 主要用于学习层次的效果评估 |
课堂回顾法 | 由培训师带领学员对重点内容进行回顾,便于纠正学员主观上的错误认识 | 不利于发现每个学员对培训内容的掌握情况 | 通常在某一培训单元或当天的课程结束后使用 | 如果培训持续一天以上或包含有不同的培训内容,在培训的开展过程中使用,主要是评估学员对学习内容的掌握程度 |
模拟训练法 | 包括角色扮演、模拟练习等多种方法,可以帮助学员在“做”中熟悉培训内容 | 受制于培训内容、时间、场地、学员接受程度等多种因素 | 在相关培训内容介绍完毕后使用 | 主要针对学习层次记性效果评估,多作为一种培训方法而非评估方法应用,因此,本书中不做过多介绍 |
业绩评估报告 | 有助于全面评估学员的工作表现 | 周期长,成本高 涉及多个部门 如果没有严格的制度保障和客观、公正的评估标准,则很容易流于形式 数据的收集也可能会存在一定的问题(如是否会按时取得所需要的数据、数据是否真实、全面等) 经营的改善取决于多种因素,有时难以判断培训是否直接产生了效果 | 通常由财务部、人力资源部、学员所在部门的负责人共同参与进行 | 主要是针对行为、结果层次进行评估 |
访谈法 | 克服了其他评估方法无法进行双向式沟通的弊端,可以随时根据情况调整访谈的目的和方向,以全面获取所需要的信息 | 访谈的效果受制于访谈者的技巧与学员是否愿意透漏真实想法等多种因素 | 要有明确的访谈目的 掌握一定的访谈技巧 | 经常作为一种辅助方法应用于反应、学习两层次的效果评估。 |