第4章 测量和报告
第4章 测量和报告
测量持续改进是IT和服务管理各个方面的基础,其相互交织。没有测量和分析,改进的决策将基于直觉和假设,从而引入了更高的风险。没有测量和报告提供的信息,就无法有效地选择改进、指导活动的内容并验证改进是否成功。
4.1 测量和报告的基础
测量和报告实践有助于SVS的各个方面。
关键信息 测量和报告实践的目的是通过减少不确定性来支持良好的决策和持续改进。这是通过收集相关的数据并在适当的情况下进行评估来实现的。 数据可以在产品、服务、实践、价值链活动、团队、个人、供应商、合作伙伴和集体组织上收集。 |
无法理解的将不能改进。定义明确的测量和报告做法可帮助组织了解他们是否满足他们客户的需求。监控IT系统、调查服务客户或处理来自IT和服务管理工具集的数据提供了指标度量;分析这些指标度量可提供有意义的信息,以支持更好的决策。了解为何要测量某些东西以及如何使用度量至关重要,以确保不浪费时间和精力。
有效的报告突出显示了对组织重要的信息,包括需要在实现目标方面取得更多进步的地方以及关键产品和服务的相对性能。了解每个服务管理四维模型的性能非常重要。如果忽略任何方面,则组织的性能表现可能不正确。
4.1.1 测量和报告的关键概念
定义:测量 一种基于可量化单位表示的一个或多个观察结果的减少不确定性的方法。 |
测量产生的数据可以处理为有意义的指标度量。
定义:指标度量 为监视或报告管理和改进而采取的测量或计算。 |
组织选择的指标度量将为他们提供有意义的信息,并帮助他们做出正确的决策。与目标相关的重要度量可以用作指标度量。
为了令指标度量发挥作用,应为其指定目标趋势和值。设置与目标偏差的公差也是很常见的。为了汇总用于分析和报告的指标,需要将指标度量转换为通用量表(通常为百分比量表),并根据其重要性进行加权。这些指标度量可用于提供给相关利益相关者的仪表板和报告中。
定义:指标 用于评估和管理某物的指标度量。 |
报告可以将任何有效地预期信息传达给目标受众的方式组织和呈现。可以采用许多不同的方式来组织报告,例如以叙述、图形或表格形式。可以在需求上(例如通过仪表板或可点击的报告)或定期进行准备。报告可能涉及特定的时期、事件或主题,并且可能以各种形式进行传达或呈现。
定义:报告 有关主题或事态的信息或知识的详细交流。 |
报告的目标受众可以包括任何种类的利益干系人,但是其格式、内容、表示方法和范围应该针对其创建者和受众的需求量身定制。
报告只有在提供准确、完整和组织良好的信息时才有用。有价值的报告在经过数据处理的的支持下提供了有意义的结论或发现。应用批判性思维时,单独使用有组织的数据并不能替代对已收集的指标度量。组织必须计划他们将测量什么,将如何进行测量以及如何分析和解释数据,以便在最终的报告中传达含义。
4.1.2 定义和使用测量和报告
确定要测量的内容可能非常困难。测量所有内容可能很诱人,但这会浪费资源,并使分发可用于改进SVS以及组织的使命的信息变得更加困难。
测量SVS各个部分的运行状况以及正在创建的价值,将突出显示需要改进的需求。定义清晰的报告,使用合理的测量方法,可以立足目的决策。
测量和报告必须处于常态评审下;实践的敏捷性至关重要。组织必须准备停止测量不再相关的事物,并且与组织的需求变化有关必须报告。定向变更时,测量和报告实践必须能够适应并突出显示能指示组织相对于新事务位置的测量值。
4.1.3 测量的原因
重要的是要确保测量结果与组织的目标保持一致,并对指导、计划和改进提供直接指南。在测量活动开始之前,组织必须了解为什么要测量某些内容以及将使用哪些指标度量。
表4.1中概述了测量的四个关键原因,图片4.1中显示了四个原因。它们说明了测量在指导、计划和改进中的作用。测量澄清了指导的原因,考虑测量降低了计划中的风险,并支持改进决策。
表4.1衡量的四个关键原因
原因 | 说明 |
验证 | 通过根据目标或目标衡量绩效,可以验证过去的决策。 |
影响力 | 通过定义可衡量的目标,组织设定了活动的方向,并设定了对结果的期望。重要的是要了解每个指标度量对人的影响,因为测量对行为和期望的影响并不总达到预期。 |
证明 | 使用指标度量以证据为依据或证明需要的性能或绩效课程。例如,为支持商业论证而创建的指标度量。 |
干预 | 测量可用于提前识别干预点,包括随后的更改和纠正措施。 |
图片4.1进行测量的四个关键原因
4.2 测量的类型
可以将测量分为五个大致定义的类型:进度、合规性、效果、效率和生产率。表4.2中概述了这些类型。
表4.2测量类型
测量类型 | 描述 | 举例 |
进度 | 进度测量表明相对于定义的里程碑和/或交付成果的成就程度。它们可能被视为某些事物的完整性程度的指标。 | 已执行和通过的单元测试的百分比具有完整文档的用例百分比 |
合规性 | 合规性的测量表明符合治理和/或法规要求的程度。 | 未经事先授权而执行的变更的百分比 非合规性审计发现的数量 |
效果 | 效果的测量证明了SVS、任何生产或服务的部分适用性。 | 公众客户订购网站上的断开链接数 付款交易失败的百分比 |
效率 | 效率的测量表明了使用SVS、任何生产或服务部分的适用程度。 | 达到可用性目标的服务百分比 贷款应用程序的处理时间减少百分比 |
生产率 | 生产率测量显示了一段时间内系统(价值流、流程、服务、组件)的吞吐量。 | 团队完成的任务数 超市收银机服务的客户数量 |
4.2.1 了解测量和行为之间的关系
测量的原因之一是指导行为。测量某事对负责该事的人的行为产生了正面或负面的影响。组织必须确保对于每个测量,都已了解并计划了对行为的预期影响和潜在影响。
例如,组织可能想加速事件解决。如果通过计算事件打开和事件关闭之间的时间来衡量这一点,则员工可以通过将事件过早地标记为已关闭来人为地获取改进的统计信息。尽管指标度量可能表明解决的时间减少了,但是检查事件的重新打开率可能会反驳它们。
同样重要的是要记住,测量和报告仅用于提供信息和改进,而不是为了指责。如果报告指出了失败或弱点,则必须将其视为改进机会。知道测量时发现不良结果会受到责备,员工通常会掩盖问题,这使得组织很难纠正它们。最终,组织必须考虑其测量内容以及如何对测量产生的信息做出反应。这些因素影响人们的行为。
4.2.2 测量级联和层次结构
如果要有效地使用测量和指标度量来推动决策和改进,它们必须符合更高级别的要求,包括组织的愿景和使命。在将测量、指标度度与战略相协调时,可以使用各种方法来组织测量,包括:
● 规划和评价模型
● 平衡记分卡
● 从IT组件到记分卡的层次结构
● 组织改进级联。
这些都凸显了从组织愿景到测量级联的重要性。从愿景向下扩展到级联的测量将清楚地关注实际问题。
4.2.2.1 规划和评价模型
为了使组织做出正确的决定,它必须测量正确的事情。这可以通过将测量的结果与组织的预期结果以及需要实现的目的联系起来来完成。图片4.2显示了一个简单的模型,可用于建立这些连接和计划有意义的指标度量。
模型可以在整个组织中使用,以为各种活动建立有意义的指标度量。不同的人可能会对规划和评价,模型的级别使用不同的术语,但是某些基本原理适用。这些级别在表4.3中进一步概述。
图片4.2 规划和评价模型
表4.3 规划和评价模型级别
术语 | 回答的问题 | 实际应用 |
目的 | 我们为什么这样做? | 这是需要明确表达的核心使命。可以从此高级目标确定实现和验证使命所需的一切。 目的应在适当的级别上定义。定义相关目标应该足够具体。 |
目标 | 成功的结果是什么样的? 成功的特征是什么? | 目标用于定义应实现或创建的内容,以确保实现期望的目的。通常将定义的目的细化为具体细节。通常会有几个与目的相关的目标,每个目标都需要执行,并测量性能或绩效的结果。 |
指标 | 哪些可测量的结果能够表示成功? 有效评价需要多少不同的指标? | 为了评估目标的实现,应基于相关指标定义一组平衡的指标度量。对于每个目的,将至少有一个,但更可能是几个可测量的元素,这些元素将指示实现所需目标的成功程度。 指标通常基于一个或多个指标度量,每个指标与所需的趋势或目标相关联。 指标不应被视为目标;应始终考虑它们对人们行为的影响。 |
指标度量 | 有多少个?每个时期多少? 每期多长时间?记录的所有项目的百分比是多少? | 指标度量用于收集评价和评估的数据。确保此数据是相关、准确、可靠和最新的,这一点很重要。 每个指标都基于一个或多个指标度量,但并非每个指标度量都有助于指标。 |
根据要评价的内容,可以应用不同的术语。有很多方法可以应用规划和评价模型,但是要考虑的一些事项是:
● 基于反馈迭代推进:在最高级别,目的可能是组织的使命。每个项目、实践、服务或团队的目的都应支持该使命。在某些情况下,实现价值的目的可能是另一个实现价值的目的。在不同级别定义目的和目标时,应使用较低级别的反馈来确保规划是现实的。
● 通盘思考和工作:对于特定的目的,请考虑哪些指标度量可以最准确地指示成功。单一的指标度量不太可能提供完整的失效或成功案例。
● 保持简单实用:测量过度可能与测量不足同样严重。使用规划和评价模型来帮助定义真正有意义的度量,而不是测量任何可以测量的东西。
4.2.2.2 平衡记分卡
平衡记分卡模型最初是由Kaplan和Norton在1990年代初期开发的。其最初目的是定义测量和指标度量。但是,现在它通常用作规划和管理的框架。平衡计分卡使管理人员能够看到影响组织战略目标的测量标准,从而发现改进的机会。它可以是组织计划活动的一个组成部分。
平衡记分卡试图平衡有助于实现组织的愿景和使命的四个不同视角。重要的是要注意,在传统的平衡记分卡中,使用的术语”客户”比ITIL中的使用更为广泛。在此模型中使用术语”客户”时,可以假定为ITIL术语”服务消费者”。表4.4概述了这四个方面。
视角 | 说明 |
客户 | 这种视角认识到客户体验和客户满意度的重要性。 |
财务 | 这种视角集中在每个组织应该包括的传统财务管理上。 |
内部(业务流程) | 这种视角有助于了解组织内部工作状况。它可能是未来性能或绩效的一个很好的先导指标。 |
创新(学习与成长) | 这种视角与持续改进紧密相关。它包括培训和开发,管理的知识以及其他确保组织可以发展的方法。 |
平衡记分卡依赖于指标度量,必须针对四个视角中的每个视角进行开发。这将确保良好的平衡,而不会过多地关注一个领域。限制平衡记分卡跟踪中包含的指标度量数量非常重要。如果跟踪太多,则由于资源有限,改进通常很少。每个透视图及其相关的选定目的都将至少受一个关键绩效指标(KPI)的支持,并且可以随时间进行跟踪。为了支持平衡记分卡,好的KPI将:
● 证明战略是否有效
● 显示性能或绩效变更随时间变化的程度
● 将注意力集中在对成功至关重要的事情上
● 度量成功,而不是努力
● 提供一种通用的交流语言
● 减少不确定性。
4.2.2.3 从IT组件到记分卡的层次结构
IT组件性能或绩效的测量可用于计算服务绩效。这可以指导一些自动化的设计进行报告,因为有可用的工具可以进行这些测量并自动进行计算。但是,重要的是要确保用户体验与数据相匹配。看起来不错的统计信息并不能保证用户从服务导出了预期的价值。
组织应始终考虑测量对于服务消费者的端到端价值创建的意义,而不仅仅是特定组件的性能或绩效的意义。最终成功的测量标准是整个服务的性能或绩效。
4.2.2.4 组织改进级联
组织需要从多个层次测量性能或绩效。通常,这将包括以下方面的测量:
● 组织
● 业务单元
● 部门
● 团队
● 个人。
组织需要定义用于在适合它的所有级别上指标度量。
组织的每个级别的目标应支持其更高级别的目标。例如,为个人设定的目标应支持团队的目标。该团队的目标必须支持部门的目标。他们将使级联正常运行,并最终将支持组织的目标和使命。
图片4.3组织改进级联
这种在多个级别进行测量和报告的分层方法为确定组织的每个级别的潜在改进提供了机会。这可以引导改进计划的整个层次结构,这将有助于改进整个组织的价值。图片4.3展示了度量值如何在每个级别上驱动改进计划,并级联到更高级别的改进规划。
这需要迭代地进行,指标度量支持更高级别的指标度量,改进计划支持更高级别的改进计划。每一级都可能有多个指标度量和改进计划。
4.2.3 成功因素和关键绩效指标
关于成功因素和KPI以及它们之间的关系,经常会感到困惑。有些人认为它们是可互换的,但事实并非如此。成功因素和KPI定义了要测量的需求。
4.2.3.1 成功因素
成功因素描述了成功必须实现的条件或特征。当成功因素与ITIL 实践有关时,它称为实践成功因素(PSF)。
要获得完全成功的结果,通常需要取得几个成功因素。例如,变更使能实践包含以下PSF:
● 确保及时有效地实现变更
● 最小化变更的负面影响
● 确保利益干系人对变更和变更使能的满意度
● 满足与变更相关的治理和合规性的要求。
定义这些PSF的方式使得组织可以进一步定义其意图。例如,”及时有效”对组织意味着什么?答案反映在组织选择衡量的指标(即KPI)上,以验证PSF的实现。
4.2.3.2 关键绩效指标
成功因素应该是可测量的。用于指示成功因素实现的指标度量很重要,因此名称为:关键绩效指标。
ITIL 4建议了一些针对PSF的指标度量。例如,变更使能实践PSF的指标度量包括表4.5中所示的指标。与任何指标一样,为了使指标度量用作实践KPI,组织应该为其定义目标和权重,以反映其目标和背景。
实践成功的因素 | 指标度量 |
确保及时有效地实现变更 | 变更成功率/ 期间接受率 及时处理索引(TPI)以进行一段单个更改时间内的总TPI 每个变更模型的平均变更时间 变更发起人对变更及时性的满意度 变更发起人对变更影响的满意度 |
最小化负面影响 | 与变更相关事件的数量和持续时间 与变更相关事件的业务影响 确定为问题/错误来源的变更的影响 |
确保利益干系人对变更和变更使能的满意度 | 利益干系人对变更使能程序和沟通的满意度 利益相关者对实现个人变更的满意度 |
满足变更相关的治理和合规性要求 | 与变更有关的审计结果和不合规的数目和关键程度 根据审计报告,遵守正式规定的要求 与变更相关的合规性事件的数量和影响 |
当组织为每个成功的因素定义KPI时,表明这些KPI将提供成就或缺乏成就的证据。
表4.5 变更PSF能力的指标度量示例
4.2.3.3 利用SMART原则
在定义KPI时,某些组织会利用SMART原则(具体的、可测量的、可实现的、相关的和有时限的)模型。根据情况,有很多方法可以利用SMART原则。表4.6中概述了此方法。
缩写 | 准则 | 说明 |
S | 具体的 | 明确需要或计划的内容至关重要。被评估的因素必须以这样一种方式定义,即几乎没有误解或误解的余地。 |
M | 可测量的 | 应该有可能直接或间接地测量被评估的因素。对于指标度量,此概念似乎很清楚,而测量是直接的。在某些情况下,“测量” 目的的唯一方法是严格分析相关指标。 |
A | 可达到的 | 设定一个不切实际的目标是徒劳的。 努力实现这一目标的人必须相信,只要他们保持信心和专注力,就是可以实现的。 |
R | 相关的 | 任何要评价的因素都必须相对于预期结果有意义。 |
T | 有时间限制 | 涉及的每个人都应该了解实现被评估因素的时间表。根据SMART原则方法定义的测量或指标度量不应为开放式。 |
通常,成功因素是有趋同的,指导和组织超出了仅仅可以接受的范围。在这些情况下,KPI用于衡量朝着理想状态的进展,目的是使它们朝正确的方向发展。其他KPI本质上可能是二元性的:实现或未实现。组织必须确定在每种情况下哪种方法或方法的组合是合适的。
4.2.3.4 行为上的KPI 影响力
衡量错误的事情会导致不良行为。创建KPI时,请考虑它们可能的激励行为,并选择对服务价值链具有所需效果而不是对数据具有外观效果的行为。
如果错误地应用了KPI,则组织可能会体验产生“西瓜效应”。在这种情况下,所有KPI都得到满足(绿色),并且组织认为其服务消费者感到满意,而实际上他们并不满意,实际上并没有创造价值,也没有满足成功因素(红色)。
发生这种情况时,重要的是检查定义的KPI和评审是否在驱动正确的行为。基于时间的KPI最有可能导致”西瓜效应”。