如何构建自适应数据管道以实现面向未来的分析

[mostakimvip06]

本文是我们社区的宝贵贡献，已由 DataCamp 进行编辑以确保其清晰度和准确性。

有兴趣分享自己的专业知识吗？我们很乐意听取您的意见！欢迎通过我们的社区贡献表提交您的文章或想法。

如今，许多组织都依赖数据来做出决策。数据通常以不同的形式从不同的来源记录和收集。大多数情况下，这些数据都存储在自己的数据孤岛中并进行转换，然后用于回答特定问题。随着组织转向数据驱动的方法，数据团队会遇到这个看似简单的问题：我们能否在一个集中的地方评估公司所有客户的绩效？（或者我们能否在一个地方看到所有数据点？）

在本教程中，您将学习如何利用您 加拿大赌博数据 可能已经知道的技术并将它们分层构建有助于回答这个问题的解决方案。

主要考虑因素
在这里，我们概述了我们将在本文其余部分探讨的一些关键概念。

数据湖
一个庞大的集中式存储库，可存储任意规模的结构化、半结构化和非结构化数据。它为存储来自各种来源的大量不同类型的数据提供了灵活且经济高效的解决方案。

与传统数据存储系统不同，数据湖不需要预先进行数据建模或严格执行模式，允许按原样存储数据。这些原始和未处理的数据可以根据需要进行处理、分析和转换，使其成为数据驱动决策和高级分析的宝贵资源。

您可以在单独的文章中比较数据湖与数据仓库。

数据仓库
数据仓库是一个大型的集中式存储库，用于存储和管理结构化数据。它旨在支持商业智能、报告和数据分析活动。数据仓库整合来自多个数据库、应用程序和系统的数据，将其转换为统一、一致的格式，以便高效查询和分析。

微服务
微服务是一种软件开发的架构和组织方法，其中软件由通过明确定义的 API 进行通信的小型独立服务组成。这些服务由小型独立团队负责。微服务架构使应用程序更易于扩展和更快开发，从而实现创新并加快新功能的上市时间。

构建自适应数据管道
该方法包括数据收集、存储、处理、构建暂存视图和大规模生成分析等步骤。

作者图片

步骤 1：数据收集和先决条件
在这个初始阶段，在开始手头的任务之前，解决重要的先决条件至关重要。彻底检查数据的来源和存储，以全面了解其来源。

制定有效的策略，使收集的数据变得有用并可供分析。数据整理在确保数据格式干净、可用、为进一步处理做好准备方面起着关键作用。此外，当务之急是找到一种解决方案，无缝集成来自不同客户端的数据点，同时维护数据的完整性和安全性。

DataCamp 的指南《什么是数据分析》更详细地探讨了这一过程。

第 2 步：数据湖和数据仓库
数据从各个客户处收集并整合到 S3 存储桶（Amazon Simple Storage Service (Amazon S3) 中的存储位置）中，形成一个数据湖，以原始形式保存各种信息。下一步涉及利用提取、转换、加载(ETL) 流程将收集的数据转换为结构化数据集，以便无缝地融入数据仓库。因此，数据仓库成为一个存储库，其中的架构和结构化数据被精心组织。但是，每个客户的数据仍然是独立的，驻留在数据仓库中各自的孤岛中。

作者图片

步骤 3：暂存视图（此操作的核心）