北京软件外包公司:大数据的成熟期

大部分软件外包公司实现大数据的初始是他们构建了Hadoop和NoSQL集群以支持多结构化数据源。他们将现有的企业数据环境集成到一个组合或混合的数据基础设施中，这些数据基础设施在多个平台之间共享信息和处理工作负载，最适合其运营或分析用例需求。

然而，随着任何实践或规则，大数据计划成熟和发展。在数据中心中支持大型数据管理平台集群可能成为新参与者的一个障碍。与这些集群相关的维护可能是对最初跨越到大数据的组织的威慑。此外，组织正在决定是否要使用来自软件供应商的可配置模板和应用程序实施其大数据项目，或者如果他们希望继续使用数据管理或分析平台供应商提供的工具集对这些项目进行手动编码。随着下一波实施者和现有环境的成熟，我们看到大数据在哪里和如何实现的变化。

不仅仅是单一平台
自2012年以来，软件外包行业分析公司企业管理协会（EMA）已经对大数据实施相关的趋势和实践进行了年度最终用户调查。在最新版本中，EMA继续开发混合数据生态系统（HDE）的概念。EMA HDE是与大数据实现相关联的数据管理平台和层的表示。HDE通过三组终端用户数据确认，HDE将业务驱动因素作为组织大数据实施背后的主要力量。HDE不允许单个或一对数据管理平台对大数据计划施加约束，HDE允许最终用户考虑八个不同的数据管理平台，以满足实现经济性，复杂工作负载，响应速度，总体信息负载的业务需求，以及多个数据格式结构。

信息管理层不仅关注物理数据集成或传输，而且还跨越平台访问数据和元数据，连接这些数据管理平台。最后，平台协同工作，为工作负载处理方面的工作向终端数据消费者提供最佳工具。数据管理平台（例如NoSQL和分析设备/数据库）提供近乎实时的操作和操作分析工作负载的处理。企业数据仓库和数据集市系统提供日内处理，以满足分析的相对低延迟处理要求。Hadoop和外部数据源支持探索性工作负载的批处理。

在何处管理数据管理
平台在大数据实施的初始阶段，唯一真正的选择是在本地数据中心的防火墙内以HDE的形式实施大数据计划。这最初是一个设计选择，但随着时间的推移，大数据存储需求的累积密度或重力被视为一种选择，更多的缺乏选择。

在2014年EMA / 9sight调查中，向终端用户询问了他们的HDE平台的实施选择，包括裸机数据中心安装，防火墙内的私有云环境，包括公共和私有云资源的混合云环境，私有云架构，和托管服务实现。毫不奇怪，企业数据仓库（EDW）最可能被实现为数据中心内的本机裸机安装的一部分。然而令人惊讶的是，EDW没有锁定到数据中心。最终用户在传统实现技术之外为其数据仓库做出安装决策。

其他平台更适合在数据中心之外实现。毫不奇怪，较新的多结构化数据存储（如NoSQL和Hadoop）也可能在数据中心防火墙外部实施，如裸机或私有云。

总体而言，这表明大数据计划越来越超越数据中心，EMA HDE的每个数据管理平台都有重要的支持，超越了内部安装，管理和维护的限制，外部服务提供商封装了很多与这些平台相关的开销总拥有成本。

购买或构建？
除了寻求限制与大数据平台相关的开销成本的方法之外，他们还考虑如何加快实施速度或缩短与大数据项目相关的价值的时间。多年来，EMA / 9sight研究表明，组织不仅仅使用大数据计划来维护单个大数据存储库。相反，这些组织正在对这些大数据存储库实施多个项目，以应对各种业务挑战。2013年，平均受访者略少于三个大数据项目。2014年，平均每个受访者的项目数量增加到刚刚超过三个。

对于这些项目，EMA / 9sight调查询问组织如何实施其项目。他们是否使用来自外部提供商（如软件供应商或第三方顾问）的模板和可配置应用程序？他们是使用工具集和手动资源手动滚动他们的项目吗？
2014年，超过20％的EMA / 9sight小组受访者提到使用外部供应商的可配置应用程序来执行大数据项目。这显示出对更快的实施时间的极大兴趣。这也表明，大数据计划的成熟领域正在从传统的数据科学家和手工编码的手动努力，而是转向更快的实现和重新使用组件，提高实施团队的生产力。
这并不是说，数据科学家勤奋地修改数据集和编译数据的最佳分析用途的时代已经过去了。大量项目仍然利用某种形式的大数据项目来实施大数据计划。近18％的受访者提到手动开发是一个大数据项目实施战略。

大数据计划成熟的
大数据计划正在成熟，组织实施大数据的地点和方式的面貌正在改变。EMA HDE为组织提供了一个指南，指导如何让业务需求驱动大数据实现，而不是数据管理平台中的技术限制。这些平台从数据中心内部到外部的一系列选项实现，为组织提供为其IT基础架构选择适当级别的资本和管理/维护成本的能力。