企业需要提防的七项大数据失败

不久前的八月中旬，在由Gartner主办的Catalyst大会上，一场关于引发大数据项目失败的原因分析的研讨会引发了大量企业的IT领导人的积极参与。毕竟，IT领导人都想要避免犯同样的错误。

一直以来，关于大数据分析项目的最佳实践方案都不是一项简简单单的事情。这就是为什么来自思科系统的IT工程师Karen Liu会对Gartner公司的研究总监Svetlana Sicular在Gartner的Catalyst大会上所作的题为《关于大数据项目失败的七大教训》的演讲极其关注的原因了。

Liu说：“我们正处于一个开始阶段，我们希望能够学习并了解其他企业是如何做的——有什么是最好的方案值得我们学习和参考。而所有的失败经验教训，无疑都是我们需要注意的事情。”

在这方面，Liu并不是唯一一个有如此想法的人。位于北卡罗来纳州夏洛特Family Dollar Stores Inc.公司最近刚刚被Dollar Tree Inc.公司所收购。该公司的企业架构总监David Kropman先生基于同样的原因参加了此次大会。他表示说：“我所在的企业才刚开启大数据项目之旅。我们正在试图努力寻求找到恰当的案例，并努力确保不要犯下其他公司曾经犯过的同样的错误。”

Sicular在会上的演讲给Kropman和Liu带来了相当多的干货信息，使得他们能够带回去给自己的团队，让他们可以开始大胆的部署和实施自己企业的大数据分析项目计划——并希望尽量避免别人曾经犯过的失误。有这样的一句教训：“大数据项目的失败绝不会仅仅是因为某个单一原因造成的。”Sicular说。 “大数据项目的失败，肯定是源于多种原因综合所造成的。”

Sicular将导致大数据项目失败的七个教训大致分为以下三类：战略层面、技术层面和分析层面。如下将分别详述：

战略失误

1、组织惯性。一家成功的旅游物流公司通过对网络日志数据的分析挖掘获得了大量关于客户行为的有价值的信息：他们发现，客户访问和浏览他们网站并进行相关采购的行为是与管理假设相矛盾的。当该团队的成员试图解释这一点时，管理层告诉他们先做别的事情。但该团队并没有放弃。“他们积极的想出了如何运行一套A / B测试。最后的结果是：他们成功地炒掉了他们的管理层。”Sicular说。

当然这一最终结果并不是每一位CIO的现实的目标，但其所带来的教训是：帮助企业管理层做好准备，并帮助他们理解大数据分析项目的意义及其价值。对于CIO们的建议是什么?不要过度专注于一个项目的失败，汲取教训，重新开始，Sicular说。

2、选择了错误的使用案例。一家保险公司要调查潜在客户的好/坏生活习惯与购买人寿保险倾向之间的关系。很快，该公司意识到进行“习惯”调研太过笼统，他们只关注吸烟者与不吸烟者，但这种调研方式是不奏效的。一年半后，他们关闭了这个项目，因为他们没有从中找到任何有价值的东西。” Sicular说。

在这种情况下的大数据项目失败，是由于该问题本身的复杂性。有一个很大的灰色地带该保险公司没有进行充分考虑：即那些开始抽烟后来又戒烟的人。这样一个细微的差别很可能是因为被忽略了，简单地说，“他们并不是专业医护人员。”Sicular说。她提醒与会者，务必要优先精选他们的使用案例，然后再来逐渐增加他们所要试图解决的问题的复杂性。

技术失败

3、无力应对意料之外的困难。一家全球性公司有一组大数据团队，他们从大数据项目分析中获得了较为深刻的见解，并希望能够在整个企业范围实施大规模推广。“因此，他们决定将该项目部署在云中。”Sicular说。

她说，这可能是有问题的，因为一个项目的执行是在控制之下的，而概念验证的环境并不一定会转移到生产环境。“他们失算了，其会逐渐慢慢的失败，因为网络拥塞不允许世界各地不同地点的人们访问这个有价值的分析。”她说。

该公司需要考虑如何支持大数据和大数据分析，这需要大量的技能和跨IT功能的支持。“我简直无法估计有多少大数据项目的失败是因为网络、安全或设施等原因。”Sicular说。“企业需要找出谁应该参入您的大数据项目团队，以及谁能告诉您如何验证您的结果。”

4、缺乏大数据分析技能。一家零售企业的首席执行官不想被“亚马逊化”，所以他要求他的CIO来构建一款自定义的推荐引擎。执行团队承诺其会在六个月内开发出一款自定义的推荐引擎，但该团队很快意识到诸如协同过滤等概念是如此的遥不可及，这促使该团队成员建议开发一款“假推荐引擎”，将某一款床单作为唯一推荐产品，Sicular说。

该引擎的工作会是这样的：“那些购买了搅拌机的客户会被推荐购买床单;购买登山徒步旅行书籍的客户也会被推荐购买床单;购买其他书籍的客户也会被推荐购买床单。” Sicular说，床单将作为每位客户的默认的推荐。

这并不是一个坏主意，默认的推荐让该公司的销售额扶摇直上，但该公司无法构建一款真正的推荐引擎的原因是由于缺乏大数据技能。这需要很长时间才能建立起来，Sicular说。好消息是企业对于大数据的采用已经步入了初步阶段，而对于这些阶段的了解可以帮助CIO们做好准备。

相应的阶段如下：

企业高层管理人员的支持。

一项大数据战略计划。

实验，其中包括试验和错误，然后大数据项目开始。

一个实施和完善的过程。(Sicular称此为战术阶段。)

项目投资回报率得以实现;该公司了解了大数据的价值。Sicular称此为战略阶段。

技术领先的公司开始建造定制化的数据产品。Sicular称此为转型期。

失败分析

5、不要扭曲了数据。当谷歌在2008年开始预测流感趋势时，这家互联网搜索巨头开始变得强大，该公司对于流感疫情的预测较之美国疾病控制和预防中心提前了2周。但几年后，谷歌高估了50%的就诊量。“媒体宣传了太多关于谷歌的成功，导致人们开始搜索谷歌流感趋势的成功，而不是搜索流感本身。”Sicular说。“这扭曲了数据。”

一旦企业的CIO们掌握了数据，他们需要坚持从不同的角度进行考察。“您需要明白数据的来源;您需要了解如何验证这些数据，您需要的是无序的数据还是您想有一些前期的控制。” Sicular说。

6、未能提出正确的问题。一家长世界各地均有经销商的汽车制造商决定开启一项情感分析项目，该项目花了六个月，耗资1000万美元。当结果出来后，该汽车制造商与经销商们联系，分享他们认为的将改变汽车销售的新见解。但他们的新见解竟然是错误的。

“该汽车制造商并没有花时间去咨询经销商们相关的问题：经销商将如何从中受益。”Sicular说，这使得该大数据项目变得一文不值。

她将这种情况称为“满意度”，这是一个决策管理的术语，意味着解决好就够了。“企业需要花时间以了解和分析您所提出的问题，以及这个问题对于您企业的商业利益是怎样的。” Sicular说。

7、运用了错误的模型。一家银行的博士开始转向其他行业来看待大数据的成功，以期待银行业界是否可以从其他行业借鉴相关的想法。他在电信行业发现了：预测和防止客户流失的模型。

这家银行聘请了来自电信行业的专家予以帮助，而这位专家很快就发现了一个清晰的客户模式。“通过概念论证结束后，他们准备了一个试点。”Sicular说。在试点项目开始之前，该银行打印并发送给客户信件，要求他们不要离开。但首先，该银行要求其自己的业务专家来查看数据，以确认该模式。

业务专家发现了一些令人吃惊的事情：是的，人们正计划离开该银行，但并不是因为他们不满银行的服务，Sicular说。因为这些都是正在策划与配偶离婚的客户，所以他们有的都在悄悄的转移资产。“这是关于爱，而不是钱的问题。”Sicular说。

了解选择并采用正确的模型是相当重要的，而数据的抽象与模型的细微差别是非常具有挑战性的。”她说。“这是大数据分析的关键之一。”当谈到大数据项目时，CIO们的伦理道德也是相当重要的。