数据虚拟化：架构、应用场景与实施边界

什么是数据虚拟化？

“不移动数据”是便于理解的简称，并非绝对承诺。产品可能缓存结果、物化热点子集、暂存中间数据或导出输出。关键选择在于：逻辑模型不依赖先集中每个来源。这使数据虚拟化适合当前跨源视图、受限数据移动、快速集成和迁移共存，但也意味着网络行为、连接器能力、源容量和失败处理都会进入每次查询。

数据虚拟化架构：必需层次

数据虚拟化在查询时如何工作

1. 解析身份与策略。在规划前认证使用者，评估允许的虚拟对象、行、列、用途和源凭据。
2. 展开逻辑请求。解析视图定义、映射、计算、连接、过滤条件和依赖对象，形成逻辑计划。
3. 检查连接器能力。确定每个来源能以等价语义执行哪些谓词、投影、聚合、限制、函数和连接。
4. 构建物理分布式计划。选择下推、连接顺序与位置、并行度、数据移动、缓存、超时、内存和暂存行为。
5. 执行受保护的源请求。应用限制、负载身份、仅在安全时重试、熔断器和源专属并发控制。
6. 合并并返回结果。合并片段、执行剩余规则、在支持时附加新鲜度与来源，并通过使用接口交付。
7. 记录执行。捕获查询计划、访问来源、策略结果、移动字节或行数、延迟、缓存状态、失败和血缘，用于诊断。

规划器只能下推连接器和来源支持且语义兼容的工作。由于排序规则、null处理、时区或函数行为不同，对一个数据库安全的过滤条件可能不适用于另一个数据库。不受支持的操作会在其他位置执行，移动的数据可能远超逻辑查询表面显示的数量。

适合数据虚拟化的场景

成功用例必须明确使用者、业务粒度、新鲜度需求、源契约、性能目标、安全规则和失败响应。“建立所有企业数据的统一视图”在这些决定被收窄前，不是可测试用例。

何时不应默认选择数据虚拟化

其他警示包括：不受支持的专有API、不兼容的事务或快照语义、难以下推的复杂转换、高出口成本、跨区域限制、失控的即席并发，以及使用者无法理解新鲜度或部分结果行为。混合设计通常优于意识形态式的“永不复制”。

建设虚拟化层前需要准备什么

• 使用者契约：角色、接口、查询形态、并发、结果粒度、新鲜度、延迟、可用性和部分结果政策。
• 来源清单：负责人、位置、Schema、规模、更新模式、索引、统计信息、副本、维护窗口、配额、凭据和支持边界。
• 含义与映射：键、粒度、单位、代码集、时区、连接规则、优先级、null行为和可接受不一致。
• 安全：数据分类、用途、身份传递、服务账号、行列策略、遮蔽、驻留、保留和审计需求。
• 失败预算：来源与网络超时、重试安全、熔断、陈旧缓存规则、降级模式、恢复负责人和回滚。
• 证据集：代表性与刁钻查询、预期结果、查询计划、源基线、隐私安全样例和验收阈值。

如何逐步实施数据虚拟化

1. 选择一个边界明确的数据产品。定义用户决定、输出粒度、获准来源、新鲜度与延迟目标，以及让结果不可用的条件。
2. 建立每个来源的基线。在联邦前测量代表性查询、索引、统计信息、并发余量、维护时段、速率限制和失败行为。
3. 证明连接器语义。测试认证、类型、null、时区、排序规则、精度、支持函数、下推、取消和错误转换。
4. 分层虚拟模型。分开源忠实视图、集成视图和面向使用者的产品，让映射、策略和破坏性变化保持可追溯。
5. 设计物理路径。针对命名查询模式决定下推、连接位置、数据传输、并行度、内存、暂存、缓存、物化和负载路由。
6. 端到端应用策略。在虚拟化层和源层同时执行最小权限；测试身份、行列规则、遮蔽、日志与拒绝访问。
7. 测试正确性、负载与失败。对比可信结果、检查计划、运行并发与耐久测试、中断来源、让凭据过期，并验证降级行为。
8. 小范围发布并观察。从获准使用者与配额开始，监测延迟、源压力、下推、传输数据、错误、策略事件、新鲜度和成本。
9. 依据证据物化。只有遥测表明复制数据能改善可靠性、成本或服务目标时，才移动稳定或昂贵模式。

数据虚拟化示例：可承诺库存

假设服务团队需要按区域查看当前可承诺库存。现有库存位于PostgreSQL运营数据库，已批准预留位于云数仓，相对稳定的安全库存政策保存在分区文件中。虚拟数据产品暴露一个受治理结果，无需为三个来源新建完整副本。

这些源状态不一定代表同一个原子快照。数据产品必须说明一致性模型、每个来源的新鲜度，以及是否禁止部分答案。如果运营来源无法承受受保护负载，正确调整可能是增加副本、变更数据捕获或物化库存产品，而不是发出更激进的虚拟查询。

数据虚拟化与联邦、ETL、数仓及语义层的区别

数据织物和数据网格是更广的组织或架构方法，不是具有固定运行行为的替代品。数据织物可使用虚拟化、目录、集成、血缘与自动化；数据网格可通过虚拟或物化路径发布领域数据产品。应评估具体执行与治理，而不是标签。

围绕查询下推与数据移动设计性能

性能始于物理计划，而不是“联邦很快”的笼统承诺。应检查投影是否减少列、谓词是否减少行、限制与聚合是否远程执行，以及连接是否在不改变语义的前提下于数据移动最少的位置发生。统计信息必须足够新以支持成本决定；缺失时优化器需采用保守回退。

• 按查询模式测量：规划时间、源时间、传输时间、合并时间、扫描与返回行数或字节、暂存、缓存状态和使用者延迟分位数。
• 保护来源：适当使用副本、有界过滤、配额、优先级、并发池、取消、超时、负载窗口与成本保护。
• 按契约缓存：定义键、范围、最大年龄、失效、隐私、隔离、预热、回退和血缘。没有新鲜度契约的缓存会形成隐藏副本。
• 选择性物化：持久化频繁重复、昂贵、稳定或必须离线使用的输出；在证据支持时让易变或受移动限制字段保持虚拟。

应分别测试冷态与热态。由热缓存、小样本和空闲来源支撑的演示，不能证明并发即席查询或连接器退化时的生产行为。

跨每个层次治理访问

虚拟层可以集中呈现策略，但不会消除源授权。必须决定最终用户身份是被传递、交换成限域令牌，还是由服务账号代表。若源权限、查询改写、缓存、导出或日志配置错误，宽泛共享凭据可能让逻辑受限视图变成高影响绕过通道。

• 分类虚拟对象与派生字段，并追溯到源分类。
• 测试行过滤、列拒绝、遮蔽、用途限制、聚合泄露和通过连接进行推断。
• 把凭据保存在受管理的密钥系统中，执行轮换与吊销，不要嵌入视图或客户端文件。
• 审计请求者、用途、逻辑对象、物理来源、策略决定、导出目的地和管理变更。
• 把驻留与最小化要求应用到传输数据、缓存、暂存、临时文件、查询历史、样本和日志，而不仅是原始来源。

如何验证数据虚拟化部署

• 正确性：比较可信样例和物化参考结果；测试键、粒度、类型、null、时区、排序规则、重复、延迟数据、源偏差和不一致快照。
• 性能：检查本地与远程计划；记录冷热延迟分位数、扫描与传输数据、规划时间、暂存、缓存行为、吞吐与并发。
• 源保护：监测源CPU、内存、I/O、锁、连接、排队、副本延迟、API配额、取消和测试负载后的恢复。
• 安全：证明允许与拒绝身份、行列策略、遮蔽、缓存隔离、导出控制、密钥、审计完整性和管理分离。
• 可靠性：中断每个依赖；验证超时、熔断、错误消息、不会虚假完整、获准陈旧行为、重试安全和恢复目标。
• 演进：改变源字段、类型、权限、统计信息和连接器版本；确认影响检测、契约测试、回滚、血缘和使用者沟通。

应在测试前根据使用者契约设定验收阈值。仅有平均延迟不够；尾部延迟、失败、源压力、新鲜度、正确性和拒绝访问行为共同决定虚拟数据产品是否安全。

使用InfiniSynapse探索获准的多源数据

InfiniSynapse官网说明其支持直接连接受支持数据库，并在无需先完成复杂迁移的情况下进行多源联邦分析。针对分析任务，请准备获准来源访问、清晰业务定义、连接键与粒度、有界问题、隐私规则、预期新鲜度和验证样例，再在工作区用自然语言问题分析相关已连接来源。

不要把该工作流视为InfiniSynapse是通用数据虚拟化平台的证明。本页不声称它会发布虚拟SQL Schema或数据服务、暴露优化器与下推控制、管理企业缓存、取代数仓、把身份传递到每个来源、执行源策略，或保证跨源事务一致性。应针对实际任务确认受支持连接器和可见行为，并把架构、凭据、批准、负载保护与部署留在受治理系统中。

数据虚拟化常见问题

权威来源与下一步

• AWS数据虚拟化说明
• IBM数据虚拟化设计考量
• Trino查询下推文档
• Microsoft PolyBase数据虚拟化指南