本文收录在 DZone 大数据、商业智能和分析指南 – 2015 年版 中。获取免费副本以获取更有洞察力的文章、行业统计数据等。
为了更透彻地了解大数据的现状及其发展方向，我们采访了 14 位在大数据技术、项目和客户方面具有不同背景和经验的高管。
具体来说，我们采访了：
-
Yet Analytics 联合创始人兼首席营销官 Margaret Roth
-
Civic Resource Group 首席执行官兼创始人 Greg Curtin 博士
-
Guy Kol ， NRGene 创始人兼研发副总裁，Ness Ziona，以色列
-
Gena Rotstein ， Dexterity Ventures, Inc. 首席执行官兼创始人
-
Scott Sundvor ，首席技术官， 6SensorLabs
-
Semcasting 首席执行官 Ray Kingman
-
Puneet Pandit ， Glassbeam 创始人兼首席执行官
-
Mikko Jarva ， Comptel Corporation 智能数据首席技术官
-
Vikram Gaitonde ， Solix Technologies 产品副总裁
-
Datawatch 首席营销官 Dan Potter
-
Paul Kent ， SAS 大数据高级副总裁
-
Matt Pfeil ，CCO 联合创始人， DataStax
-
Neo Technology, Inc. 产品副总裁 Philip Rathle
-
Hari Sankar ， Oracle 产品管理副总裁
关于什么是大数据、如何使用它以及它的未来，存在着一致性。差异在于对当今大数据状态的看法。一些公司多年来一直在使用大数据，而另一些公司由于数据卫生要求以及不同数据库的必要集成而感到无法执行“真正的”分析工作。
以下是我们从对话中了解到的内容：
- 大数据的定义在高管和行业中是一致的 ——数据的数量、速度和种类总是在变化，并且呈指数级增长，超出了公司传统上可以处理的范围。可扩展性至关重要，数据管理和保留策略也是如此。数据收集需要更具战略性的方法。公司将从收集/存储每条数据发展为根据需要收集和存储数据。
- 高管们通过 与客户和潜在客户会面、 了解痛点并确定哪些数据可用于解决问题来与行业趋势保持同步。就像数据海啸一样，关于大数据的信息和炒作也如海啸一般。通过对您正在解决的问题有一个“大局”的视角来远离噪音。
- 大数据解决的现实世界问题数不胜数。 我与对小麦基因组进行测序的公司进行了交谈；使智慧城市成为可能；以及不断发展的医疗保健、汽车、零售、教育、媒体等领域。每项举措都在使用数据来帮助客户从 被动 转变为 主动 。访问数据、整合多个来源并提供分析以解决问题需要耐心、远见和知识。通过在真实环境中解决实际问题，您将获得所有这三个方面的知识。抽象地思考大数据不会产生任何结果。一旦您了解花在数据卫生上的时间——这是进行任何分析之前的绝对要求——您将构建数据收集和集成，使卫生变得不那么乏味和耗时。
- 数据分析团队的组成需要多种技能 ：算法和软件实施的开发、数据科学、设计、工程以及 具有领域专业知识的分析师 的输入。团队成员最重要的品质是创造力、协作性和好奇心。没有人或技能组合是每个大数据项目的解决方案。大数据为开发人员提供了超越其典型影响范围做出贡献的机会。开发人员最好具有广泛的兴趣和专业知识。他们对问题的看法越多越好。
- 根据 IBM 首席执行官 Ginni Rometty 的说法， 大数据是“下一个石油”。 几位高管指出，这种油在未来 10 到 20 年内都将“未经提炼”。大数据的未来在于提供实时数据以连接人、机器、体验和环境，以更个性化的方式改善生活——从减少交通拥堵到更可持续的农业。与我交谈过的一些高管认为，还没有人真正在处理大数据。存储库中的数据如此之多，挑战在于弄清楚如何聚合数据以便对其进行分析。我们还需要确定要提出的正确问题和要存储的正确数据，以转变业务和客户体验。其他高管已经在为他们的客户做这些事情；然而，即使是这些高管也看到了未实现的可能性。随着商业世界看到各种可能性，对大数据服务的需求正在迅速增长。一旦您授权业务人员，他们就会要求提供更多信息。他们问更聪明的问题。速度和敏捷性变得越来越重要。实时运营和业务数据使人们能够快速做出明智的决策，从而节省时间和金钱。大数据的有效利用正在成为一种期望。
- Hadoop 是最常提到的软件， Cloudera 和 Hortonworks 是最常提到的管理应用程序。然而，讨论了许多其他解决方案，包括 Cassandra、Clojure、Datomic、Hype、NoSQL、PostgreSQL、SQL Server 和用于可视化的 Tableau。对大数据开发人员的需求巨大，因此您无需了解所有软件和应用程序。选择你想成为专家的领域，然后用该软件写下你的票。花时间学习 Hadoop 是一个很好的起点。
- 高管们发现了与客户 取得成功的广泛障碍 。多位高管提到的成功的唯一障碍是缺乏足够知识和经验的人。其他问题包括：遗留软件系统、对遗留数据中的内容的恐惧、对大数据可以提供的价值缺乏了解、知道要问正确的问题、知道谁拥有云中的数据、供应商提出未经证实的声明，以及太多围绕大数据的炒作。考虑到我们在大数据项目的开发和执行中的早期阶段，这些障碍并不意外。但是，当您参与特定项目时，请注意它们。提前提出正确的问题，设定正确的期望，并节省大量时间和返工。
- 对大数据的担忧与物联网类似，只是 隐私比安全更重要 。工业数据是一回事，个人数据是另一回事。只要个人数据被用于公益目的，人们就会从大数据中获益而感到自在。虽然大数据会带来更多知识，但它也应该提高政府、公司和广告商的透明度，并有助于防止欺诈和身份盗用。应权衡“数据湖”与集中式数据存储对隐私造成的危险。在我们建立庞大的数据存储库之前，我们需要知道我们将如何使用和保护这些数据。随着数据基础设施的成熟，这些问题将变得越来越容易解决。
- 大数据的未来是能够比以往更快、更轻松地做出明智的决策。 人们不会做机器能做的事，所以他们可以自由地用自己的思想做创造性的事情。蓝天愿景是：大数据将成为人类生存的核心技术，因为它将影响生活的方方面面（例如，天气、交通、医疗保健、营养、能源等）。
基于上述愿景，以下是开发人员的三个要点：
- 大数据是进化的，而不是革命性的。 大数据问题与您以前遇到的问题类似。通过学习新的架构和语言，利用和改进您已有的知识。
- 准备好 成为大局的一部分 。变得更加全面，更愿意与您的团队合作并为您的团队做出贡献。
- 了解您正在解决的现实问题。 （从 领域驱动设计 的角度思考可能会有所帮助。）考虑创建潜伏在开源社区中的下一个破坏性想法。分享更多，借用更多，对您正在从事的工作的可能性 更加开放 。
我们采访过的高管正在开发自己的产品或为客户提供服务。我们有兴趣听取开发人员和其他 IT 专业人士的意见，看看这些见解是否具有真正的价值。从更行业层面的角度看其他公司在做什么有帮助吗？我们欢迎您通过 research@dzone.com 提供反馈。
有关工作负载和资源管理、实时报告和数据分析的更多见解，请免费获取 大数据、商业智能和分析指南 – 2015 年版 ！