IT服务管理评估实践

一、 评估的目的和意义

IT服务管理评估的意义在于，为制定符合业务战略的IT服务管理规划提供现实的基础，从而避免IT服务管理规划成为“无源之水、无本之木”的“拍脑袋式”的空头规划。   

IT服务管理评估是指通过对组织TT运营的调查，运用定性和定量的分析方法，判断出组织IT运营的现状如何，并以此作为组织了解自身IT现状以及未来IT决策的依据。

IT服务管理评估的目的可以按评估项目的推行深度分为以下几类。    

（1）了解事实真相，避免“盲人摸象”

IT运营是一项牵涉到管理、技术、流程、人员等多个因素的综合性活动，因此，当组织的1T达到一定的规模以后，管理层甚至连IT部门自身都无法全面准确地认识到组织目前的IT运营状况是怎样的。管理层往往仅能关注到IT发展战略层而上的状况，而对IT运营的流程和技术状况则并不了解；IT部门自身则往往更关注流程和IT技术层面的状况，而忽视了从管理上、体系建设上去思考IT运营的状况。组织内的不同角色都掌握了IT运营的一部分现状，但是这些了解都是碎片式、不完整的，因此也是片面的。这就如同盲人摸象，每个人都有不同的认识。

IT服务管理评估能将这些碎片式的、片面的信息收集整合起来，通过分析可以判断出组织的IT运营的整体现状，让组织内的各个部门都能完整的看到IT运营这头“大象”的全貌。

（2）发现IT运营中的风险

随着信息化的高速发展，各行各业对IT的依赖程度也越来越高，IT运营安全的重要性电随之提高。特别是像金融、能源这类业务运营高度依赖IT运营的行业，一旦IT出现问题，将会给业务带来难以估量的损失。但是IT运营系统的复杂性决定了IT的风险并不是 IT部门内的每个部分都将自己的工作做好就能规避的。它需要从IT运行的整体去识别可能产生的风险，这就需要有准确的IT服务管理现状评估作为基础。

（3）为组织IT服务工作的改进提供依据

IT服务管理评估从IT运营中的外部环境、流程、人员、技术、工具、用户等各方面来评估组织的IT运营状况，这为IT运营上作的改进提供了依据。决策层可以根据IT服务评估报告中的发现和建议有针对性的做出IT工作改进的决策。

IT服务管理评估的意义就在于它为了解IT的总体运营现状、改进未来的IT工作提供了一个全面客观的判断基础，这可以避免组织因基于片面的信息而做出错误的判断和决策，从而避免因此给组织带来的损失。

一个较为完整的IT服务管理评估应该包括以下基本内容：   

●IT部门在业务中扮演的角色；

●IT部门目前的成熟度级别；

●实施服务改进项目的必要性和紧迫性；    

●项目失败所可能形成的风险；

●实施服务管理项目的好处以及实施的代价；    

●关键利益相关者及其期望的利益；

●实施服务管理流程可实现的业务目标；     

●可实现的结果和怎样确认是否实现；    

●为实现目标而分别在短期和长期进行的活动；

●如何说明实施服务管理项目符合成本效益原则；    

●实施时对业务的影响。

二、评估实施过程

1.确定组织类型

在进行IT服务管理评估时首先应该确定被评价的组织类型和其关注的重点足什么，确    定了这些才能为下一步的评估实施工作选择较为合适的评估框架和评估方法。

针对不同类型的IT组织，其评估的范围和内容也会存在很大的差别，因此对于其评估模型利评估方法的选择也会有所差别。一般来说我们应该从以下几个方面做考虑。

（1）企业所属行业

针对不同的行业其业务关注的重点会有非常大的不同，例如：在目前国内的大多数证券行业中对IT部门的要求是交易系统不能出问题，即便出了问题也要在5分钟内恢复，也就足说他们一般关注的重点是核心业务系统的运营风险和运营效率一面政府税务部门对于其行业特性决定了他们将更多关注数据的准确性，那么怎么保证数据安全和准确就成了重中之重，而运营效率往往在这些部门中会被排在较后的考虑中。

（2）IT部门的规模及其工作范围

IT部门的规模和工作范围直接决定了评估的实施方法和手段，例如，对于像安利这样的零售型企业，他的信息化部门的工作范围直接涉及到企业之外的最终用户，而且分布于一个较大的范围，这个时候由于成本的原因采用现场的访谈用户模式就不适合，而采用单纯的问卷调查模式也会存存回收效率和质量的问题。这种情况下，通常采取选定特定用户进行针对性用户电话访谈的方式。对于一些内部的IT部门则可以采取现场访谈和问卷调查的方式。

（3）IT部门与业务的紧密程度

IT部门与业务的紧密程度决定了评估和规划工作本身的成本投入，以及是否需要业务部门参与评估，这就从一定程度上决定了评估规划工作的工作范围和采取的手段。

2.确定评估目的

详细了解了组织类型后需要根据组织现阶段实际需要来进一步确定评估的目的，评估的目的并不局限于IT服务管理工作本身。通常采说，评估规划的目的分为以下几种：    

●对于企业或组织的信息化工作的全面规划与评估。这种评估着眼于企业的战略发展目标，通过详细了解企业对于信息化工作的各方面需要来达成对信息化工作的战略规划；

●对于IT部门内部如何实现企业战略规划进行相应的IT内部规划与评估。当企业有了明确的战略规划，通过重点了解IT部门内部实现能力来确定具体的信息化建设的方法和步骤；

●就信息化工作的某个领域进行规划和评估。对信息化工作的某个特定领域进行全面评估，并提出具体的改进建议和实现方法；

●针对某个项目工作进行评估和规划。这种评估往往是对项目进行技术、成本和业务需要等方面进行评价，找出项目风险和控制方法。

3.选择评估框架

确定了组织类型和评估目的后，接下来就需要选取比较合适的评估框架或理论模型。有正确的理论指引才能保证评估工作的顺利进行和保证其效果。

根据评估目的的不同要选择适合的评估理论框架。目前IT服务管理领域中有大量的理论框架和管理体系，如图1所示。

图1  IT领域主流的理论框架和管理体系

在IT服务管理领域中，各种管理框架和管理体系主要可以分成以下3大类。    

（1）国际标准类

这一类主要是基于ISO组织等相关行业协会形成的一些管理规范和标准，例如ISO/IEC20000、ISO/IEC 38500、ISO/IEC 27001等，这类框架已经形成了具体的实现标准和判断规则，比较容易形成规范化的评估结果。

（2）行业监管要求和监管标准

这一类主要是各行业已经颁布和实施的行业监管要求，例如塞班斯法案( SOX)等。    （3）方法论类

这一类评估框架基于管理理论进行宏观战略分析和评价，例如ITIL、COBIT. EUS, ITHR等。

目前在IT服务管理领域内比较流行的是基于ITIL的评估框架，但是在实际评估工作中需要根据评估目的适当进行组合选择。这里给大家简单介绍几种在实际工作中运用比较成功的评估模型。

(1)  ITIL v2评估框架模型

IT服务管理评估的重点之一是对IT运维工作的评估，而运维工作的评估我们通常采用 ITIL v2评估框架模型。ITIL是被众多国际大公司采用的IT管理模型和方法论。它通过服务交付、服务支持、基础架构管理、应用管理、安全管理、业务视角和服务管理实施规划等七个主要部件，实现IT技术和组织业务的整合。在“以流程为导向、以客户为中心”的指导原则下，整合IT服务和组织业务，提高组织的IT服务支持及运营管理的能力和水平。同时ITIL可引导组织更加高效的使用IT技术，让已有的信息化资源发挥更大的效用。

ITIL v2评估框架中的核心是其服务管理模块，主要包括服务支持和服务交付两大流程组，另外还包括项职能（服务台）。相对于其他的评估模型来说，IIIL v2主要就是用来评估组织的IT服务管理流程的运行情况的，其评估框架的总体结构，如图2所示。

图2   ITIL v2评估框架的总体结构示例图

从目前国内企业的IT服务管理评估来看，由于国内的IT服务管理发展水平有限，因此以ITIL v2为评估模型一般更加侧重于IT服务支持(Service Support)流程评估，即对服务台、事件管理、问题管埋、配置管理、变更管理及发布管理的评估，而对于服务交付（Service Delivery)流程的评估一般涉及较浅或者不涉及。

(2)  ITIL v3评估框架模型

ITIL v3评估框架较之ITIL v2评估框架要大很多，它提供了覆盖整个IT服务生命周期的一整套IT服务管理流程。ITIL v3不仅评估IT组织要做什么，还会关注手怎么做。它以服务战略为轴心，从服务设计开始到服务转换，再到进入生产系统后的服务运营形成服务的整个生命周期，服务改进是对服务的定位和基于战略目标对有关的进程和项目的优化改进。如图3所示。

目前，国内的IT服务管理评估基本还不能完全应用ITIL v3框架的案例。v3的框架要求服务组织的起点高，覆盖范围大，而国内IT组织的服务水平暂时还无法达到这个水平。因此，在IT服务管理评估中用到ITIL v3时，往往也只是使用其中的某一个或几个模块，比如服务战略中的需求管理，服务设计中的服务目录管理等。而对于v2中已有的流程进行评估时，往往还是使用ITIL v2中的评估模型。所以ITIL v3的评估框架存评估中使用有限，往往是结合在ITIL v2的评估模型中使用。

图3   ITIL v3评估框架模型

(3) IS020000评估框架模型

ISO/IEC20000（简称“IS020000”）是第一个针对服务管理的国际标准，于2005年12月由ISO组织发布。该标准帮助识别和管理IT服务的关键过程，保证提供有效的IT服务满足客户和业务的需求。IS020000包括了5大过程组（分别为服务交/过程、发布过程、解决过程、关系过程、控制过程）．这些过程组总共包括13个服务管理流程，并与体系管理职责、文件要求及能力、意识和培训，一同作为体系认证的参考标准。

IS020000涵盖了ITIL v2的10个流程，并增加了信息安全管理、服务报告、以及业务关系管理和供应商管理流程。与ITIL的评估和规划不同的是，IS020000的评估和规划带有更明确的目的性，IT服务组织的服务管理水平一旦达到IS02000体系的要求就可以通过IS020000的认证，获得IS020000体系认证证书。图4显示了IS020000体系的核心过程组。

图4  ISO/IEC 20000标准体系在实际实施IS020000评估的过程中，要注重与ITIL评估方法的结合。ITIL流程的评估侧重于改善s际工作，而IS020000的评估更加侧重于使组织的IT服务管理符合IS020000的体系要求。因此，在进行IS020000评估时，要紧扣IS020000的体系要求，在此基础上对组织的IT服务管理进行评估和规划。

(4) COBIT评估框架模型

COBIT( Control Objectives for Information and related Technology)是由国际信息系统审计和控制协会(ISACA)公布的控制框架，其主要目的是设定一整套信息技术控制目标以供企业经理、IT专业人员和审计专业人员日常使用。它在商业风险、控制需求和技术问题之间架起了一座桥梁，以满足管理的多方面需要。该控制体系已在世界一百多个国家的重要组织与企业中运用，指导这些组织有效利用信息资源，自效地管理与信息相关的风险。存国内，COBIT成为一个指导信息化建设、审计、治理的标准或框架。

该框架共有34个IT的流程，分成四个控制域：PO (Planning&Organization)、AI( Acquisition＆Implementation)、DS (Delivery and Support)以及ME( Monitor and Evaluate),如图5所示。

图5  COBIT评估框架模型

COBIT的四个控制域覆盖了IT工作的各个方面，从IT战略的制定到IT的开发再到 IT的运维。COBIT评估模型通常与其他评估模型联合起来在评估项目中使用，因为COBIT模型是一个覆盖面广但深度不够的摔制目标模型。它相当于对IT部门进行全方位的“体检”，但在某一具体“疾病”的治疗上并不够专业，因此可以将ITIL与COBIT结合起来使用，基于COBIT进行整体的IT管理成熟度审计，然后，基于ITIL进行流程的建设和优化。    

(5)  IT-ERP评估框架模型

IT-ERP评估框架是翰纬在多年从事IT服务管理咨询项目的经验基础上总结提炼出的评估模型。该评估模型从IT管控、IT生产和IT物料二个维度的九个模块加IT服务与客户共11个模块全方位地评估组织内的1T运营状况，它是目前较为完善的一种立足于信息化工作全局的评估模型，但仍然有很多可以改进和完善之处。

①IT治理

IT治理是一个由关系和过程所构成的体制，用于指导和控制企业，通过平衡信息技术与过程的风险、增加价值来确保实现企业的目标。

②IT组合

服务组合由服务提供者通过所有的客户与市场空间展示承诺与投资。描绘了当前的合约承诺、新的服务开发，通过服务连续性改进的持续性服务提升计划。

③IT安全管理

安全管理主要提供对网络及网络设备进行安全保护的能力。

④需求管理

需求管理是指IT部门理解和影响客户服务需求的活动，以及提供能力来满足这些需求的行为。

⑤开特律设管珲

开发建设管理覆盖IT部门的软件系统开发项目的整个周期，包括概要设计、详细设计、开发、测试、上线整个开发生命周期的管理。

⑥IT运行管理

IT运行管理是指对上线的IT系统提供日常运行维护的管理活动。    

⑦IT人力资源管理

IT人力资源管理是指对IT部门人员的管理，具体包括招聘、绩效考核、岗位设计、人员培训、职业通道设计等人力资源管埋的活动。

⑧IT财务管理

IT财务管理是指对IT服务过程进行财务管理的所有活动，包括IT预算、会计核算、服务计费、投资收益分析。

⑨IT基础架构管理

IT基础架构管理是指对构建IT服务的硬件平台的管理。例如机房监控、服务器、路由器、链路的管理等。

⑩IT服务

IT服务是一个综合的概念，指通过模型的九个模块彼此组合起来为业务部门提供的所有服务。

⑧客户

从客户的角度去评估IT服务运营的状况，通常可以通过用户满意度调查和用户回访来从用户的角度发现IT运营中的问题和不足。

IT-ERP评估模型是一个涵盖了IT服务管理各个方面的综合性评估框架，但它本身不能用来进行IT服务管理的评估，而需要针对每一个模块借助现有的各种评估方法或模型对相应的领域展开评估和分析。

IT-ERP评估模型的价值在于，它将现有的各种评估模型整合成一个完整的体系，可以为IT管理者全面地管理IT服务提供一个全面的视角。

IT-ERP模型与各种现有的最佳实践框架的对应关系如图6, 7所示。

图6  IT-ERP评估模型

图7  IT-ERP评估模型对应IT服务管理评估框架示例图

4.实施评估

评估项目的实施通常分为三个上要步骤，第一步是项日启动，第二步是项目数据收集和分析，最后是项目汇报。项目启动包括召开启动会和认知培训；数据收集分析过程通常包括访谈、资料收集、问题设计、问卷发放和回收以及问卷分析；项目汇报则包括评估报告的撰写、修改以及最后的演示汇报。

(1)项目启动

项目启动是IT服务管理评估的起点，在该阶段需要完成以下工作：    

●召开项目启动会；

●确定项目沟通机制；

●制定项目组织结构，项目计划和各类模板；    

●项目认知培训。

项目启动会需要项目组全体成员参加，特别是组织的管理层和评估项目的发起者。在项目启动会上，需要落实项目的管理体制和项目实施计划。启动会后，评估项目的咨询方需要根据会议内容制定出项目的管理体制、详细的项目开展计划以及项目过程中会用到的各类模板，比如会议纪要模板、周报模板等，并将这些模板向整个项目组发布。

这里需要注意的要点是：   

①工作计划管理

●编制工作计划；

●做出工作小结，说明未完成原因及改造建议；

●进行工作量统计和质量检查，并由相关实施者签字；    

●统计顾问服务时间；

●项目进展状况。    

②报告机制

项目小组成员应首先在小组内部讨论解决，否则应该按照项目组织结构图所列逐级向项目经理报告，乃至向项目领导小组汇报。不应将问题拖延或隐瞒，因为问题的及早提出和解决对项目实施只有促进没有坏处。

③定期和不定期会议

项目领导小组应每月定期召开会议，检查项目进展，讨论和决策由项目经理提交的待解决的问题等。遇到特别紧急的问题也可以在通过协商后召开临时会议。

(2)项目访谈

项目访谈是IT服务管理评估中非常重要的一部分。通过现场访谈，评估方可以在短时间内了解到IT部门各方面的运营情况，形成定性的认识，这为下一步进行系统准确的评估提供了第一手材料。

现场访谈的对象应该包括整个组织（不限于IT部门）中各个层级的人员，在访谈时，需要结合各利益相关者的利益期望了解他们对于组织IT服务管坪现状的满意或不满之处。表1列出了在IT服务管理中各种利益相关者以及各自的利益期望。

表1  IT服务利益相关者示例表

访谈对象的人数可以根据组织规模大小和访谈的实际需要进行调整。访谈对象的选择需要结合评估目的进行。例如，如果组织关注的是客户满意度的提升，那么在评估的对象中就应当加重最终用户的数量，并有针对性地选择决策层、管理层、执行层的不同成员进行访谈；如果组织关注的是应用系统运行风险控制就需要重点访淡应用系统的负责人和实施者，以及基础架构支持团队成员（通常会是机房或数据中心的负责人和相关重要业务骨干）。需要说明的是访谈人员需要在访谈正式开始前就将访谈人员名单和访谈时间列入访谈计划，以防实际访谈时找不到访谈对象而耽误项目进程。

每次访谈，评估方一般需两名顾问参加，一人主要负责与访谈对象进行互动式交流，另一人则负责记录并对访谈问题做补充。为了缓解受访者在访谈中的紧张情绪，访谈者可以选择轻松的环境，同时主访者也可以设计一些轻松的开场白。受访者在放松的心态下接受访谈往往能达到更好的效果。

访谈的过程要做到形散而神不散，这要求主访者要有很好的控制能力。访谈形式上可以是随意的、没有目标的“闲聊”，但是在“闲聊”的背后需要有一套系统的、结构化的、目的明确的访谈提纲作为支撑。主访者既要在访谈中把框架中所有的问题都谈到，又不能让框架影响了访谈的流畅性。

通常我们的访谈框架包括以下内容：

●被访者的所在部门、汇报对象、岗位、工作年限等基本信息；    

●被访者的日常工作内容、担任的角色和承担职责；

●被访者工作中涉及到的IT服务管理流程运行状况和相关流程文档信息；   

●被访者使用到的IT服务管理工具：

●部门内的人员绩效考核体系；    

●对评估项日的期望和建议；    

●被访谈者认为导致项目失败的风险可能包括哪些。

例如，针对事件管理，在进行访谈时，可以参照表4-2所示的内容进行访谈。

表2事件管理访谈内容提纲

虽然访谈时有访谈提纲作为指导，但是访谈过程并不是完全按照框架中顺序未进行的。因此，访谈记录人员在访谈过程中要不加处理地记录访谈的全部内容，并在访谈结束后按照访谈框架整理出访谈纪要，作为评估资料的一部分内容。

(3)问卷调查

现场访谈获取的是对组织IT服务状况的定性认识，而问卷调查获取的则是对IT服务现状的定量认识。问卷调查相对于现场访谈来说，覆盖面更广，所获取的结论也更客观。   

一般来说，我们建议采取现场访谈和问卷调查相结合的方式，这样既可以实现定性判断与定量分析相互结合，也可以实现评估广度和深度的结合，使评估结果更加全面和准确。

问卷调查的第一步是设计问卷。设计的思路来自于访谈中的发现和对被评估组织的资料收集与分析。IT组织的实际工作中会用大量文档资料，例如规章制度、流程文档、部门介绍、岗位说明、想关表格等。收集这些资制一方面可以为我们设计问卷提供思路，另一方面也是加深对被评估组织了解的一种重要手段。

IT服务管理评估通常用到的调查问卷自：    

●IT治理问卷：

●组织成熟度评估问卷；    

●流程成熟度评估问卷；    

●用户满意度调查( EUS)问卷；

●IT人力资源调查问卷。

我们在评估中根据实际需要有选择性地进行问卷调查。通常这些调查问卷都是有一定的模板的，但对于不同的IT组织不能简单地套用。我们需要根据访谈和资料分析中所掌握的组织特点，在通I问卷的基础上设计针对性的调查问卷。如有必要，问卷设计还应当让被评估组织的项目成员参与其中，他们可以对问卷中不适合本组织的地方提出修改建议。    

问卷的发放和回收需要被评估组织内的项目成员参与，他们在问卷发放计划制订、问卷发放和回收等方面提供协助。问卷发放计划的内容应当包括问卷的发放对象、发放方式、发放数量、发放时间和回收时间。

[评估问卷的发放]

最终用户满意度问卷的发放对象是IT服务的最终用户；发放方式可以是电子版问卷或纸质问卷发放，也可以是二者混合发放；发放的数量可以根据组织规模来确定，基本上要保证回收的有效问卷数在300份到500份之间；发放时间通常为一天或一周（视发放难度而定），回收时间通常为一周。问卷调查由于发放量大，常常存在无法按时回收的情况，这是需要被评估组织内的项目成员去跟踪、催收，保证问卷能在尽可能短的时间内回收上来，按部门人数比例发放并由各业务部门自行负责回收是个较好的方法。 

问卷回收后就需要对问卷进行统计分析。问卷统计工作是件耗时耗力的工作，如有可能，应当通过工具以自动化的方式统计问卷。并不是所有回收的问卷都可以用于数据统计分析，通常我们会将一些不符合要求的问卷视为无效问卷，不纳入问卷的统计分析。例如作答比例较低的问卷、相关度小高的问卷等。判定无效问卷的规则需要在问卷统一之前就设定好。

根据问卷统计的结果，利用分析模型得出问卷调查的定量结论。每一类问卷调查会产出相应的分值报告，它们将以定量分析结论的形式作为评估规划报告的有力补充。

(4)项目汇报

问卷调查结束后，评估项目的前台工作就基本结束，进而转为后台工作。这个阶段最主要的工作就是撰写评估报告。报告撰写完成之后，评估工作基本就结束了。但为了能够将评估的结果较好的在组织中传达下去，一般会在评估完成后举行评估汇报会。评估汇报会的成功举办往往依赖于以下因素。

①相关各方的参与

项目汇报会要求必须参与的人员有公司相关的领导、全体项目组成员、IT部门领导及关键岗位的工程师、业务部门代表，其他人员根据需要可自行增加。

②准确高效地展示评估结果

组织中并不足每  位成员都会阅读到现状评价报告，因此在汇报会上将评估的成果展示出来是在组织内部灌输IT服务管理的非常好的方式。这要求进行演示汇报的人员要非常熟悉评估报告的内容，并且要具有很好的表达能力和展示能力。

③相关各方的讨论和建议

汇报时的评估成果并不一定是最终的评估成果。在汇报演示完成后，参会各方还要根据白身的状况结合汇报的内容进行讨论，并提出修改建议。在充分讨论后，将被大家认可的建议加入评估报告中才表示评估工作的完全结束。

5.撰写评估报告

评估报告是项目评估中最重要的交付物，它将项目评估中的访谈、资料调查和问卷调查所获取的信息整合归纳，形成总体评估报告。

(1)评估报告的大体内容

通常，IT服务管理现状评估报告必需包括以下内容。    

①前言

前言部分需要包含项目的评估背景、评估目标、评估范围、评估方法和评估的过程介绍以及评估中使用到的术语和报告的阅读方法。

②IT工作现状与分析

这一部分内容是从总体上来评价被评估组织的IT运营状况，它应当包括该组织IT服务工作的现状与面临的挑战；组织架构的现状与分析；运营流程的现状分析；工具的使用情况及分析。

③评估中的主要发现与主要建议

这部分内容是评估报告的重点。它主要是通过数据分析、现场访谈和资料调查的相互印证，提炼出被评估组织面临的最主要的问题。主要发现应当是经过提炼而形成的“务虚”的观点，不应当是太过于具体的“务实”的观点。针对主要发现，评估团队应当给出系统化的、具体的，可行的建议。因此建议不应该是一步到位的建议，而应当是根据组织的实际情况提出的渐进的、可逐步实现的建议。

④流程改进的详细建议及路线图

这个部分是根据组织的IT整体运营状况结合流程成熟度的评估而提出的针对每个流程的详细的、具体的建议。这些建议应当尽可能详细，保证评估报告的阅读者可以通过这些建议立即明确应该由什么角色在何时执行何种改进活动。

路线图是指建议被评估组织实施改善IT服务管理活动的时间顺序。通常按照时间序列我们将改进路线图定义为近期改进建议（3～6个月）、中期改进建议（6-18个月）、远期改进建议（18个月以后）。改进路线图的时间划分并不是一成不变的，可根据具体改进措施实施的难易程度定制化地划分，但是近期、中期和远期改进建议之间应当有前后承接优化的关系，建议需要形成休系，不能各自为政。

(2)撰写评估报告的方法

撰写评估报告的方法通常分为以下三步。    

①头脑风暴，提炼基本观点

在评估项目的过程中，咨询顾问们通过访谈、查阅资料和问卷掌握了大量的信息，但    

是每位顾问掌握的信息都是不全面的。因此，撰写评估报告的第一步就是咨询顾问们坐到一起进行头脑风暴会议，每个人都将自己掌握的资料和形成的观点提出来进行充分讨论，通过讨论提炼出评估团队对于被评估组织的基本观点。

在项目评估中，不同的咨询顾问工作的侧重点不同，他们在工作基础上形成的观点就可能是不一样，甚至是相互矛盾的。例如，参加现场访谈的咨询顾问可能会在访谈过程中了解到某些用户对于IT部门有很大的意见，而负责问卷调查的咨询顾问则可能在用户满意度调查中发现用户对于IT部门是比较满意的。这个时候就需要顾问们坐到一起进行讨论，以找出产生矛盾观点背后的原因，并形成结论。例如以上情况就可能是IT部门总体服务较好，但因为某一问题没有解决好而导致少数用户存在很大抱怨而产生的。而这正可能说明 IT部门的人员服务意识较好，但是缺乏流程保障，因此用户的总体满意度较高，但是出现问题时没能保证及时处理。

②针对观点，整理证据

提炼出评估规划报告的基本观点后，就需要围绕这些观点，从访谈纪要、调查问卷和用户资料中搜集相关证据论证所提炼的观点。一个基本观点需要多方论据进行论证，这也是为什么我们除了做定性的访谈和资料查阅之外，还要做定量的问卷调查的原因。定性证据和定量证据各自有着它们的优势和不足，在论证观点的时候可以相互补充，增强论证效果。    

表3分析了定性研究和定量研究之间的差别。

表3定性研究与定量研究分析

③对症下药，提出改进建议

改进建议是评估规划报告中十分重要的一个部分。提出改进建议既不能脱离评估主体凭空创造，也不能仅针对发现的问题就事论事。合理有效的建议应该是结合评估主体IT运行中的实际情况与评估框架体系中的标准和最佳实践提出的改进建议。并且改进建议耍针对评估目标有步骤、有计划的提出，这需要参与评估的咨询顾问具备丰富的经验和扎实的理论基础。

三、常用ITSM评估方法和工具

本节重点介绍我们在ITSM项目中常用的一些评估方法和工具。    

(1)最终用户满意度调查(EUS)

最终用户满意度( EUS)是指最终用户结合自身与信息系统（或基础网络）相关的体验而对所使用的信息系统（或基础网络）及相关服务的综合评价。

EUS调查测评方法用以指导最终用户满意度调查，由翰纬独立开发（如图8所示）。翰纬通过调查最终用户对所使用的IT产品或服务的重要性(Importance)和满意度( Satisfaction)两方面的评价来进行测算，最后得出组织（或部门）的IT服务优势和劣势。

图8翰纬EUS测评方法

EUS调查研究过程主要分成两个大的阶段。   

①问卷调查

质量控制：EUS研究项目质量控制负责人将亲自对访问的过程进行抽样监听，同时亲自完成问卷审核工作：访问结束时，及时进行执行总结；EUS研究项目负责人及时向相关人员反馈进度表。

问卷设计：由EUS项目组设计初稿，并结合咨询对象访谈情况修改完善，转化为实证研究。

问卷发布：由EUS项目组向咨询对象提供电子版调查问卷，咨询对象向各地最终用户分发电子版或平面版调查问卷。

问卷回收：电子版问卷回函直接发送至项目组公开邮箱，平面版问卷经转换后形成电子文档发送至项目组公开邮箱。

问卷审核：对所有的问卷进行汇总，依照配额表和IT最终用户名甲进行核对与检查；由独立的QC部门对问卷质量进行审核。

数据处理：由项目组开发调查数据的分析程序，负责对所有数据进行统计分析，并在征得个体同意之前只进行统计分析。

调查结果：由项目组根据数据分析结果撰写EUS调查报告。    

②分析总结

数据统计：陆续回收问卷回函，并及时录入（或导入）数据。

数据分析：根据统计数据，按照翰纬EUS模型计算方法计算所需数值(S、I、E、G、P)。

总结报告：根据计算数值，撰写EUS调查概要报告书和详细报告书。    

EUS咨询方案适用于具有以下特点的组织或部门：

●信息技术部门与业务部门相互独立；

●业务部门或外部客户的最终用户数量大，且跨地域分布；    

●业务部门或外部客户的应用系统规模庞大，且操作专业；    

●信息技术部门为业务部门或外部客户提供IT产品或服务；    

●信息技术部门需要达到一定的最终用户满意度（EUS标杆值）要求。

EUS咨询方案适用于完成以下组织内部的咨询目标：

●了解最终用户对信息技术部门及其服务的总体满意情况；    

●了解最终用户对IT产品或服务各项指标的满意情况：    

●识别锦上添花的IT服务因素（D区），科学合理地减少IT部门成本投入；

●识别急需改进的IT服务因素（B区），发现导致IT用户不满意的根源；

●建立EUS测评和监控体系，为长期持续提升IT最终用户满意度提供支持。    

该EUS咨询方案适用于完成以下组织外部的咨询目标：

●了解组织在同行业中最终用户满意度达到的总体水平；

●与同行业其他组织相比，识别组织在保持最终用户上的竞争优势；   

●与同行业其他组织相比，识别组织在保持最终用户上的竞争劣势；    

●根据当前行业的整体水平，建立合理的EUS测评和监控体制，以适应当前行业环境的变化。

(2) IT服务人员能力素质测评

IT服务人员能力素质测评通过采用能力区域、能力纬度和能力要素二层体系对IT组织  或部门的服务人员能力素质进行测评，涵盖IT运维人员业务素质、专业素质和服务素质三  个方面，业务认识、工作经验、沟通能力、服务意识、性格特征、问题解决能力、专业技能和知识背景8个能力纬度，共计25个能力要素。能力区域、能力纬度和能力要素三层体系结构如图9所示。

图9  IT运维人员能力素质测评体系结构

IT服务人员能力素质测评问卷由客观题和主观题两部分构成，面向IT组织中的管理者发放并回收问卷，各级主管对其下属工程师进行测评。目的在于帮助客户解决以下问题：    

●评估IT服务人员能力素质现状，用以衡量IT人员能力素质水平；

●识别IT服务人员能力素质差距，用以指导IT人员能力素质培养方向。

IT人品能力素质测评模型，显示了能力要素与问卷问题之间的对应关系，如表4所示。

表4  IT运维人员能力素质测评模型

(3) ITSM流程成熟度评估

流程成熟度评估是为了了解组织IT运营的流程化成熟程度、识别组织中各个流程的优势和劣势所在，并以此作为改善ITSM流程的基础。通过完善流程的建设来提高信息化T作的效率和质量。

ITSM流程成熟度的评估通常分为3个步骤。    

①第一步：发放问卷

流程评估的问卷是专业的IT服务管理咨询机构设计，根据ITIL的框架模型，为每个流程设计了若干问题，覆盖到每一个流程的所有关键点。表5展示了事件管理流程调查问卷的一个示例。

表5事件管理流程调查问卷示例

问卷中所有的问题都是客观题，用户只需在每道题后打分即可，不需要针对问题进行主观回答。针对每个问题的评分限定于1-5分之间，各个分值的含义如表6所示：

表6  问卷答案计分示例表

问卷的发放对象和调查方法有一般有两种，如表7所示：    

表7流程成熟度问卷的调查方式比较

②第二步：汇总统计问卷，进行数据分析

问卷填写完成后，则各问卷打分的平均值（必要时，根据填写对象的重要性不同求加权平均值）即为各流程的得分值，通常将它们集中显不在一张雷达图上，如图10所示。   

各流程平均分值

图10流程成熟度评估雷达图

依照问卷的设计思路，不同的流程分值代表了不同的含义，如表所示。

流程分值含义

描述内容应当包括：    

●流程角色；    

●流程活动；  

●流程制度；    

●流程保障。    

对照ITIL关于最佳实践的论述框架并结合评估对象的实际运行情况，提炼出评估对象在各个流程上的优势和劣势．并针对劣势和不足提出流程的改进建议。

(4)事件单分析 

事件单分析是从IT组织运维工作的实际情况来分析IT运维工作的一套分析分析方法由翰纬独立研发，它可以通过对日常运维记录的统计分析实现以下目的：

●评估IT运维业务现状。了解1T运维业务（组织内部各部门／组织外部客户）的分布    比例，用以合理配置资源（人／财／物）：

●考核IT运维人员绩效。了解1T运维人员（桌面／系统／网络等）的工作内答利质量，    用以合理考量工作绩效；

●为IT服务工作提供依据；

●月度或季度总结事件单，评估IT服务管理现状，用以合理分析自身优劣势以持续    改进IT运维工作的质量。

事件单分析是以事件单的统一记录为基础的。事件单设计是否合理，关系到是否能提供足够的信息用于统计分析。

表9是一个典型的事件单记录模板。

表9 IT运维事件单示例

（含保障、咨询、服务请求）

事件单统计一般以月为单位进行，统计的维度应当包括：

●故障类别（了解IT运维业务在各类故障之间的分布可判断各部门对IT的依赖程度）；

●用户所在部门或区域（了解IT运维业务在各部门和区域之间的分布，以此判断各区域或部门对IT的依赖程度）；

●发生时间、受理时间、解决时间（了解故障发生的高峰时间段、响应时间、解决效率，以作为改进运维服务的基础）。

故障单统计分析的结果应当以形象的图形化方式展现，使阅读者可以一目了然。在按各类别统计分析故障时，应多使用饼图、柱状图和折线图，这些图表可以使阅读者轻松发现运维工作的重点和问题所在。

(5)压力测试、穿行测试

压力测试和穿行测试是作为IT服务管理评估的辅助方法来使用的。这些方法并不是一定要存评估中位用，但是合理的使用会丰富评估报告的内容，增强评估结果的科学性。   

压力测试原来是指将金融机构或资产组合置于某一特定的极端情境下，如经济增长骤碱、失业率快速上升到极端水平、房地产价格暴跌等异常的市场变化，然后测试该金融机构或资产结合存访些关键市场变量穿变的压力下的表现状况，看是否能经受得起这种市场的突变的一种测试方法。在对IT组织的现状评估调查中，压力测试是指对通过同时触发多个关于IT服务某一方面的请求，以观测评估服务组织的承受能力。在IT服务管理评估中，压力测试是需要调动较多资源的一种评估方法，一般情况下不使用这种评估方法。

穿行测试是指由评估小组中具有丰富经验的咨询顾问跟随评估对象中的人员亲自从事或观察他们日常的工作，以此发现被评估组织的日常工作中存在的问题。穿行测试需要关注的内容包括：

●人员实际工作是否规范；   

●日常活动是否有记录；    

●办公区域是否明确划分；    

●备件管理是否规范；

●工作电话与热线电话是否区分；    

●工作人员是否明确分工。

穿行测试要有相应的记录，并且这些记录最后要被整理在一起作为评估报告中论据存在。