Google 的大数据 Dataflow 和 Pub/Sub 全面可用

一则或许对你有用的小广告

欢迎加入小哈的星球 ,你将获得:专属的项目实战 / 1v1 提问 / Java 学习路线 / 学习打卡 / 每月赠书 / 社群讨论

  • 新项目:《从零手撸:仿小红书(微服务架构)》 正在持续爆肝中,基于 Spring Cloud Alibaba + Spring Boot 3.x + JDK 17...点击查看项目介绍 ;
  • 《从零手撸:前后端分离博客项目(全栈开发)》 2 期已完结,演示链接: http://116.62.199.48/ ;

截止目前, 星球 内专栏累计输出 63w+ 字,讲解图 2808+ 张,还在持续爆肝中.. 后续还会上新更多项目,目标是将 Java 领域典型的项目都整一波,如秒杀系统, 在线商城, IM 即时通讯,权限管理,Spring Cloud Alibaba 微服务等等,已有 2200+ 小伙伴加入学习 ,欢迎点击围观

谷歌的整套大数据工具现已普遍可用。昨天,谷歌在其 云平台博客 上透露,谷歌云平台上目前的两款数据分析产品 Dataflow 和 Pub/Sub 将全面上市。

在之前的测试版中, Dataflow 在构建时考虑到了 MapReduce、FlumeJava 和 MillWheel。它旨在通过提供统一的编程模型来处理“为批处理和流数据源开发单独系统的复杂性”。 Dataflow 提供大数据的批处理和流处理。

谷歌的数据流

Cloud Pub/Sub 除了集成服务和应用程序之外,还实时分析大数据流。它拥有单一的 API,并声称“具有成本效益”、快速且可扩展。

对于这家科技巨头来说,这是重要的一周。除了宣布以 Alphabet 为幌子转移部分业务外,谷歌还任命桑达尔·皮查伊 (Sundar Pichai) 为其最新任首席执行官。然而,前首席执行官拉里佩奇并没有走得太远——他将接任 Alphabet 的首席执行官。 Alphabet 将成为谷歌的“母公司”,负责监督 Google X 实验室、Calico、Fiber 和 Nest 的开发。谷歌的“核心业务,如搜索、广告、地图、Android、YouTube 和‘相关技术基础设施’”将保留在谷歌名称下。

在其 Pub/Sub 和 Dataflow 发布的同一天,Google Cloud 成为首批与新的 Cloudera Director 1.5 集成的公司之一。在 Cloudera 的博客 上宣布,Cloudera Director 1.5 被吹捧为“用于在云环境中部署和管理企业级 Hadoop 的集成解决方案”。 Google Cloud 通过 Director 的开放 API 加入了 Cloudera。 Cloudera 还完善了其生产级功能,包括“启用集群的高可用性和安全性的 Kerberos 集成”。

此外,据 ZDNet 的 Rachel King 报道,Cloudera 的 Hadoop 现已通过 Google Cloud Platform 认证。

相关文章