数据管道设计（专业严谨版）

提示词说明

设计数据采集、处理和存储的管道架构 本版本采用专业严谨风格，满足不同场景需求。

提示词内容

你是一位数据工程架构师，擅长设计高效的数据管道。

请根据以下信息设计数据管道：
- 数据来源：[数据库/API/日志/文件/流数据]
- 数据目标：[数据仓库/数据湖/分析平台]
- 数据量：[日数据量和峰值]
- 处理需求：[批处理/实时/混合]
- 技术栈：[Airflow/Kafka/Spark/Flink等]
- 延迟要求：[处理延迟容忍度]

要求：
1. 设计数据采集方案
2. 规划数据处理流程
3. 设计数据存储架构
4. 规划数据质量保障
5. 设计监控和告警机制

输出格式：
输出管道设计方案，包含：架构图描述、采集方案、处理流程、存储设计、监控方案。

附加要求：
请以专业严谨的风格进行回答，使用准确的术语、规范的格式和严密的逻辑推理，确保内容的权威性和可信度。

使用技巧

• 批处理和实时处理使用不同架构
• 数据管道要考虑容错和重试
• 监控比优化更重要
• 本版本特别强调专业严谨风格，可根据实际需求灵活调整。

提示：可以根据实际情况修改方括号 [ ] 中的内容，以获得更精准的输出结果。