六大关于使用云数据平台的想法

引言

随着公司通过分析寻求竞争优势，其使用的数据正在发生巨大变化。越来越多的组织正在收集各种数据，包括结构化，半结构化和非结构化数据。实际上，TDWI研究表明，收集“新”数据类型（例如文本数据和机器数据）已经进入主流应用。这些数据来自公司内部和外部多种渠道，它大部分是在云平台中产生的。例如，企业正在从各种渠道收集社交媒体数据，订阅外部数据服务和数据市场，并从IoT设备收集数据。

许多组织已经收集了TB甚至PB的数据。他们希望使用更高级的分析方法（例如机器学习或自然语言处理（NLP））来分析收集到的数据。随着组织意识到数据分析的价值，对高级分析的需求持续增长。

分析大量不同的数据可能很复杂。在TDWI，我们看到组织转移数据到多个平台来支持高级分析，因为本地数据仓库可能不足以处理许多数据类型以及更高级的分析。组织还希望统一其数据以进行分析，并提供单一来源的可信数据。企业正以多种方式例如集成堆栈，数据平台和数据虚拟化来实现这一目标。

在现代数据管理和分析中越来越流行的一种方法是利用云数据平台-云上可用的单独集成的平台，其中包含各种数据并提供诸如数据仓库，数据湖，分析，治理和/或管理的服务工具。云数据平台支持多种工作负载和数据类型。它提供了一个能够存储和访问数据以供分析和其他用例使用的地方。作为平台的一部分，数据可以跨多个节点存储在仓库或数据湖中,两者都可以属于同一云平台。

云数据平台的一些优点与云的优点相同：弹性，可伸缩性和灵活性。云数据平台可以帮助提高生产力，提供跨工作负载的敏捷性并缩短实现价值的时间。

本篇文章将会介绍云数据平台，分析其价值并分享为何使用云数据平台的想法。

想法1 了解云数据平台的价值主张

IDEA

除了利用云的功能来实现其功能和灵活性外，组织迁移到云数据平台的原因之一就是简化其数据环境。不断发展的数据环境非常复杂，给需要使用多个连接点和集成来管理复杂数据源和类型的组织带来了麻烦。云数据平台通过供应，支持和维护分布式基础架构来提高内部生产力，使组织能够专注于从数据中获取价值，而不是让IT团队分散精力对其进行优化和管理。

利用云数据平台还可以提高技术生产率。例如，ETL工作负载可以在分布式云环境中同时运行，以提高性能。将工作负载集中在一个分布式平台上，而不是利用多个不同的平台，这也是有效的。

最后，在云数据平台中，计算和存储是分开的。尽管许多DBMS都这样做，但某些较新的平台（例如Hadoop）并不是为此目的而设计的。例如，在Hadoop发行版中，每个节点都包括存储和计算，因此当一个节点增长时，另一个节点也必须增长。这可能是昂贵的，特别是对于分析而言。将两者分开更有意义。例如，数据保留在对象存储中，并在需要时使用计算。这种分离可以帮助降低成本并提高性能。

想法2 云数据平台支持多种数据类型

IDEA

随着组织增强其分析能力，他们通常希望合并各种数据类型。尽管传统的云数据仓库在用于报表，仪表板和可视化的结构化数据方面表现良好，但通常在处理更多奇异数据时却表现不佳。然而，新数据类型（例如非结构化数据）对于高级分析很重要。

在TDWI，我们看到许多组织都在分析呼叫中心说明，社交媒体帖子和故障单中的文本，以了解客户的意愿和意图。组织正在为从医学诊断到在线销售二手车等用例捕获图像数据，它们正在利用传感器数据预测何时需要维护机器。用例很多。可以单独分析此数据，也可以将其与结构化数据一起进行分析以丰富分析数据。云数据平台为多种数据类型提供了灵活性。

云数据平台从多个来源提取，合并和存储此多样化数据。它还可以提供用于数据管理的服务，包括元数据服务或用于数据质量的服务。在运行其他工作负载（例如查询）时，转换和其他过程可以在平台内部进行。

通常，数据湖是云数据平台的一部分，并用作暂存区或原始数据的存储区。云数据仓库服务可能会容纳更多已处理的数据。实际上，云数据仓库和云数据湖可以在平台中并排工作。两者都可能使用关系数据库管理系统。仓库可用于高价值数据和报告，而数据湖可用于通过各种分析来探索原始数据。两种服务紧密集成。

除了支持多种数据类型，云数据平台还可以提供数据共享和协作服务。例如，一些提供数据的数据市场。这些数据可能包括能够丰富和改进分析的人口统计，天气或行业特定数据。各组织正在利用市场来访问新数据源，通过市场与合作伙伴合作，甚至通过市场让自己的数据获利。作为服务提供并与云数据平台集成的市场可以快速访问经过审查的数据。

想法3： 云数据平台支持现代数据分级

IDEA

现代分析是数字化转型的关键。TDWI了解到，与分析能力较差的企业相比，利用机器学习等技术的组织常常会对营收带来正面影响。（上限和下限的提升）。云数据平台不仅支持仪表板和报告（传统数据仓库的领域），还应支持一系列分析和不同角色的使用者。

云数据平台将分析作为服务提供。这包括数据可视化以及机器学习，NLP和其他高级分析。该平台可以提供对开源分析项目的访问，也可以与商业产品供应商建立伙伴关系。关键是服务被集成为平台的一部分，因此可以无缝使用平台中存储的数据和这些服务。

与支持一系列分析紧密结合，该平台还应支持具有各种技能和能力的用户使用。这些通常被称为角色，并且分析中涉及很多，包括数据科学家，业务分析师，业务用户和数据工程师等。每个人都可以根据自己的技能以特定的方式与之交互并分析数据。

想法4： 了解云数据平台的隐性成本

IDEA

许多组织转而使用云技术，认为它比在内部存储和维护数据中心便宜。尽管大多数TDWI调查受访者都认为使用云技术的成本符合预期，但企业必须了解云定价模型，以避免隐性成本，其中可能包括：

• 数据迁移和设置成本

将数据迁移到云平台或从云平台迁移出来可能会产生费用。有时，如果不收取将数据初始传输到云的费用，则当组织将其数据从云移回内部部署或其他云提供商时，可能会收取网络费用。传输的数据越多，成本就越高。值得注意的是，多云或多区域云数据平台可以消除或降低这些成本。换句话说，如果您的云数据平台支持多个云提供商（例如AWS或Google），并且您希望将数据从一个云移动到另一个云，则这些费用可能会更低，因为该服务是由云数据平台提供的。

• 基础设施成本

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!