[解决方案] 使用 Amazon Q 在 Amazon QuickSight 中可视化和洞察您的 VPC

<!-- AI_TASK_START: AI标题翻译 --> [解决方案] 使用 Amazon Q 在 Amazon QuickSight 中可视化和洞察您的 VPC <!-- AI_TASK_END: AI标题翻译 --> <!-- AI_TASK_START: AI竞争分析 --> # 解决方案分析 ## 解决方案概述 本解决方案利用 **Amazon QuickSight** 和 **Amazon Q** 帮助用户可视化和洞察 **Virtual Private Cloud (VPC)** 数据，核心目标是通过 **VPC Flow Logs** 生成交互式仪表板，提供网络流量洞察。背景在于 **AWS** 服务产生的大量日志和指标数据，用户需从不同来源（如 **VPC Flow Logs** 和 **Amazon Route 53 Resolver Logs**）收集、增强并可视化数据。该方案适用于网络管理员和数据分析师，解决的问题包括缺乏直观的 **VPC** 连接性可视化，以及技术门槛高的问题，满足云计算环境中对数据驱动决策的需求。 ## 实施步骤 1. 部署 **CloudFormation** 模板以启用 **VPC Flow Logs**，并配置数据流向 **Amazon Data Firehose** 或直接到 **Amazon S3**。 - 该步骤利用 **CloudFormation** 的自动化特性，确保快速设置基础架构。 2. 通过 **AWS Lambda** 增强日志数据，添加属性如安全组和成本标签，然后将数据传递到 **Amazon S3**。 - Lambda 函数处理数据增强，基于事件驱动模型提高效率，同时可配置到 **Amazon CloudWatch** 以监控和排除故障。 3. 使用 **AWS Glue** 爬取 **S3** 桶中的数据，并通过 **Amazon Athena** 进行查询。 - Glue 自动目录化数据，Athena 提供 SQL-like 查询，支持高效的数据访问和分析。 4. 在 **QuickSight** 中创建数据集，启用 **Amazon Q** 主题，并使用自然语言查询生成可视化。 - Q 主题通过定义同义词（如 IP 协议术语）简化查询，逻辑上连接前述步骤以实现无缝数据可视化。 5. 链接 **Q** 主题到 **QuickSight** 分析，并构建可视化仪表板，如条形图或折线图。 - 该步骤强调用户交互，确保分析可根据查询动态调整。 ## 方案客户价值 - **简化数据可视化**：通过自然语言查询，用户无需高级技术技能即可生成仪表板，提升决策效率，与传统手动查询相比，显著降低操作复杂度。 - **提升网络洞察**：增强 **VPC Flow Logs** 后，用户可快速识别流量模式和潜在问题，支持实时监控和优化网络架构。 - **降低运维负担**：整合 **AWS** 服务实现自动化数据处理，相比传统 **IaaS** 架构，减少手动干预，但可能在数据规模增大时增加存储成本管理需求。 ## 涉及的相关产品 - **Amazon QuickSight**：作为核心 **BI** 服务，用于创建交互式仪表板和可视化，支持从 **Athena** 和 **S3** 导入数据。 - **Amazon Q**：提供 **AI** 驱动的自然语言查询功能，简化数据分析过程。 - **VPC Flow Logs**：捕获 **VPC** 流量数据，作为数据来源。 - **AWS Lambda**：用于数据增强和处理，确保日志实时更新。 - **Amazon Data Firehose**：传输日志数据到 **S3**，并提供监控指标。 - **Amazon S3**：存储增强后的日志数据，提供可扩展存储。 - **AWS Glue** 和 **Amazon Athena**：Glue 目录化数据，Athena 进行查询，支持高效分析。 ## 技术评估 本方案的技术先进性体现在 **Amazon Q** 的 **AI** 生成式查询能力，显著提升了非技术用户的可访问性，并通过 **VPC Flow Logs** 增强实现全面网络可视化，适用于多源数据整合场景。然而，可行性依赖于 **QuickSight PRO 角色** 和正确配置，优势包括简化复杂查询和自动化数据流，但可能在海量数据环境下面临查询延迟问题，需结合 **CloudWatch** 监控优化。整体上，该方案在云计算趋势中体现出 **Serverless** 和 **AI** 融合的灵活性，但局限性在于对 **AWS** 生态的依赖，可能限制多云环境的适用性。 <!-- AI_TASK_END: AI竞争分析 --> <!-- AI_TASK_START: AI全文翻译 --> # 使用 Amazon Q 在 Amazon QuickSight 中可视化和洞察您的 VPC **原始链接:** [https://aws.amazon.com/blogs/networking-and-content-delivery/visualize-and-gain-insights-into-your-vpc-with-amazon-q-in-amazon-quicksight/](https://aws.amazon.com/blogs/networking-and-content-delivery/visualize-and-gain-insights-into-your-vpc-with-amazon-q-in-amazon-quicksight/) **发布时间:** 2025-02-27 **厂商:** AWS **类型:** BLOG --- ## 引言 AWS 服务生成丰富的日志和指标数据，从而帮助您创建全面的仪表板，这些仪表板揭示宝贵的洞察，包括对虚拟私有云 (VPC) 连接模式的详细可见性。本文展示如何使用 [Amazon QuickSight](https://aws.amazon.com/quicksight/) 和 [Amazon Q in QuickSight](https://aws.amazon.com/about-aws/whats-new/2024/04/amazon-q-quicksight/) 从任何来源实现数据可视化。我们重点关注可视化 VPC 中的连接模式，以展示 QuickSight 对于技术水平不同的用户的优势。 Amazon QuickSight 是一个完全托管的、云规模的商业智能 (BI) 服务，它使用户能够创建和共享交互式仪表板、分析数据，并通过可视化获得洞察。2024 年 4 月 30 日，AWS 宣布 Amazon Q in QuickSight 正式可用，这通过提供生成式人工智能 (AI) 功能来增强 QuickSight，使用户能够使用自然语言查询可视化数据。 在以下部分，我们探讨两个用例，这些用例从不同来源收集数据、增强数据，并使用 QuickSight 进行可视化。这些示例展示 [Amazon Q](https://aws.amazon.com/q/) 如何快速从常见的自然语言查询生成可视化，从而展示使用 QuickSight 和 Q 生成洞察仪表板的简便性和效率。 ## 概述 本文呈现两个用例，展示如何使用 Amazon Q in QuickSight 可视化 VPC Flow 日志数据。这些示例适用于任何用于捕获和增强数据的来源解决方案。尽管我们为本文开发了这些用例，但您也可以将其用作您任何用例的参考。 ### 用例 #1: 增强的 VPC Flow 日志，包括安全组和成本标签  *图 1: 架构图 – 使用 Amazon Q in QuickSight 增强的 VPC Flow 日志* VPC Flow 日志使用预定义的 [字段](https://docs.aws.amazon.com/vpc/latest/userguide/flow-log-records.html) 生成记录。 [AWS Lambda](https://aws.amazon.com/lambda/) 可以增强这些 Flow 日志，添加更多字段，从而创建 VPC 流量流的自定义视图。 在图 1 所示的架构中，VPC Flow 日志生成并发送到 [Amazon Data Firehose](https://aws.amazon.com/firehose/)。日志随后转发到 Lambda 进行增强。Lambda 为 Flow 日志添加更多属性，例如 VPC Flow 日志条目中 Amazon 弹性计算云 (Amazon EC2) 实例的安全组和成本标签，然后将它们传递到 [Amazon S3](https://aws.amazon.com/s3/)。 [AWS Glue](https://aws.amazon.com/glue/) 目录存储增强的 VPC Flow 日志的表定义。这使 [Amazon Athena](https://aws.amazon.com/athena/) 能够高效查询数据。最后，QuickSight 从 Athena 可视化数据。数据流如下： 1. 通过 [AWS CloudFormation](https://aws.amazon.com/cloudformation/) 模板在现有 VPC 上启用 VPC Flow 日志。 2. 日志记录发送到 Data Firehose。 3. Data Firehose 配置为将指标和日志发送到 [Amazon CloudWatch](https://aws.amazon.com/cloudwatch/) 以供故障排除。 4. Data Firehose 调用 Lambda 以增强 VPC Flow 日志，添加更多属性，例如 Amazon EC2 安全组和成本标签。 5. Lambda 配置为将指标和日志发送到 CloudWatch 以供故障排除。 6. 增强的 VPC Flow 日志传递到一个 S3 存储桶。 7. AWS Glue 爬取 S3 存储桶以目录化数据，以便查询。 8. Athena 查询来自 AWS Glue 的目录化数据。 9. QuickSight 使用 Athena 和 Amazon S3 作为数据源创建数据集，并创建一个空白分析以开始可视化 VPC Flow 日志。 10. 通过 Q 主题在分析中启用 Amazon Q。Q 主题使 QuickSight 能够解释自然语言查询，从而促进分析中视觉开发。 ### 用例 #2: VPC Flow 日志和 Amazon Route 53 Resolver 日志  *图 2: 架构图 – 使用 Amazon Q in QuickSight 增强的 VPC 流量分析，包括 Route 53 Resolver 日志* VPC Flow 日志和 [Amazon Route 53 Resolver](https://aws.amazon.com/route53/) 日志提供关于 VPC 中网络流量的补充信息。 在图 2 所示的架构中，VPC Flow 日志捕获 VPC 中不同 IP 地址之间流量的详细信息，但不包括域名。这种组合提供对 VPC 网络流量的全面视图。数据流如下： 1. 通过 CloudFormation 模板在现有 VPC 上启用 VPC Flow 日志。 2. VPC Flow 日志发送到 Amazon S3。 3. Route 53 Resolver 日志也被创建并关联到用于创建 VPC Flow 日志的 VPC。 4. Route 53 Resolver 日志发送到 Amazon S3。 5. Lambda 用于执行 Athena 查询，以合并 VPC Flow 日志和 Route 53 Resolver 日志。 6. 每天基于 IP 地址合并 VPC Flow 日志和 Route 53 Resolver 日志。这些映射将 VPC Flow 日志中的网络流量映射到域名，并每天更新分析以反映域名到 IP 映射的更改。 7. QuickSight 使用 Athena 和 Amazon S3 作为数据源创建数据集，并创建一个空白分析以开始可视化 VPC Flow 日志。 8. 通过 Q 主题在分析中启用 Amazon Q。Q 主题使 QuickSight 能够解释自然语言查询，从而促进分析中视觉开发。 本文为第一个用例提供演练。对于更多详细信息，包括演练和相关 CloudFormation 模板，请访问 AWS Samples GitHub [仓库](https://github.com/aws-samples/visualize-and-gain-Insights-into-your-VPC-with-Amazon-Q-in-Amazon-QuickSight) 。 ## 先决条件 在开始之前，请按照以下步骤操作： 1. 部署 aws-samples GitHub [仓库](https://github.com/aws-samples/visualize-and-gain-Insights-into-your-VPC-with-Amazon-Q-in-Amazon-QuickSight) 中提供的其中一个 CloudFormation 模板。该仓库中的每个示例都有自己的详细文档，托管在 [aws-samples](https://github.com/aws-samples) GitHub 仓库中。 2. 确保您的 QuickSight 用户具有 [PRO 角色，以访问本文中演示的 Amazon Q 功能](https://repost.aws/articles/ARLexnrP0DSLKU7ZBPB6jTgQ/how-to-update-my-user-in-amazon-quicksight-to-admin-pro)。 本文提供两个示例。我们可能会在未来向 aws-samples 仓库添加更多示例。本文中的演练步骤适用于所有提供的示例。 ## 演练: 使用 Q 在 QuickSight 中获取数据洞察 1. 查看预配置的 Q 主题，这些主题由部署的 CloudFormation 模板提供。Q 主题通过建立自然语言同义词来简化可视化查询。 2. 在 QuickSight 中查询 Q，以获取 VPC Flow 日志数据的洞察。 ### 1\. 在 QuickSight 中查看 Q 主题 在本部分，我们查看 CloudFormation 模板部署的 Q 主题。 按照图 3 所示的步骤操作。 1. 打开 [AWS Console](https://us-east-1.console.aws.amazon.com/console/home) 并导航到 [QuickSight](https://us-east-1.quicksight.aws.amazon.com/)。 2. 在左侧窗格中，选择 **主题**。 3. 选择主题名称。  *图 3: Q 主题* 选择顶部的选项卡，导航到 **数据**，然后 **数据字段**。QuickSight 会自动使用数据集中的字段填充数据字段。它还会尽可能填充相应字段的同义词。在本示例中，同义词已在 CloudFormation 模板中定义。同义词有助于 Amazon Q 将您的查询与数据集中的字段相关联。您可以进一步 [自定义](https://docs.aws.amazon.com/quicksight/latest/user/quicksight-q-topics-natural-language.html) 数据字段，以匹配您组织的术语。这将导致 Amazon Q 提供更具意义和准确的响应。 [刷新 Q 主题索引](https://docs.aws.amazon.com/quicksight/latest/user/quicksight-q-topics-index.html) 以在未来的分析中反映这些更改。  *图 4: Q 主题 – 编辑主题* 另一个有帮助的自定义是 **字段值同义词**。这允许您为 VPC Flow 日志数据中的值添加同义词。在以下示例中，已为 IP 协议编号添加了同义词。这使 Q 能够正确解释包含单词 **icmp**、**tcp**、**udp** 的 VPC Flow 日志查询。  *图 5: Q 主题 – 编辑同义词* ### 2\. 查询 Q 以获取 VPC Flow 日志数据的洞察 我们向 QuickSight 中的 Q 提出一个关于 VPC Flow 日志数据的问题。在 **QuickSight** 屏幕的顶部中心，选择 **提出问题**。  *图 6: Q 主题 – 提出问题* 如图 7 所示，我们向 Amazon Q 提出了“哪些成本标签在 2024 年 10 月按小时有最多的兆字节”。Amazon Q 处理了我们的问题，并使用定义的同义词，将其解释为“针对 2024 年 10 月的起始日期时间的总兆字节按起始日期时间小时和成本标签”。Amazon Q 为问题提供了响应，并附带详细的可视化数据支持该响应。  *图 7: Q 主题 – 问题结果* ## 演练: 使用 Amazon Q 填充 QuickSight 分析 1. 将 Q 主题链接到 QuickSight 分析。 2. 通过添加由 Amazon Q 生成的可视化来填充 QuickSight 分析。本文提供了一些示例查询。 ### 1\. 将 QuickSight 分析链接到 Q 主题 查看 Q 主题后，我们探索分析。分析是一个可视化集合、交互式仪表板和数据洞察，这些元素创建并组织在一个或多个工作表中，以有效探索和呈现数据。 我们将在分析中创建我们的第一个可视化。CloudFormation 模板已创建一个链接到从 Athena 导入 VPC Flow 日志数据的空白分析。选择分析名称以开始，如图 8 所示。  *图 8: Amazon Q 分析* 要运行 Amazon Q 查询，请将 Q 主题链接到分析。在顶部栏的中心，选择 **构建视觉** 旁边的垂直省略号 (**⋮**)，然后从菜单中选择 **主题链接**。启用 **为构建视觉和 Q&A 链接主题选项**，并从下拉列表中选择 CloudFormation 部署的主题。选择 **应用更改**，如图 9 所示。  *图 9: Amazon Q 分析 – 主题链接* ### 2\. 填充 QuickSight 分析 在顶部栏的中心，选择 **构建视觉**。右侧的 **构建视觉** 窗格会出现。从输入第一个自然语言 [问题](https://docs.aws.amazon.com/quicksight/latest/user/quicksight-q-ask.html#quicksight-q-ask-types) 开始，然后选择 **构建**。对于第一个用例，我们提供了四个示例问题。QuickSight 文档提供了 [Q 支持的问题类型](https://docs.aws.amazon.com/quicksight/latest/user/quicksight-q-ask.html#quicksight-q-ask-types) 以及更多示例问题。 [QuickSight 企业版](https://aws.amazon.com/blogs/business-intelligence/amazon-q-in-quicksight-brings-new-user-roles-and-pricing-to-amazon-quicksight-enterprise-edition/) 是使用 Amazon Q 提出问题的先决条件。 示例问题： - 显示按千兆字节排序的前源 IP 和目标 IP - 显示按千兆字节排序的前源 IP 和路径互联网网关 - 显示按兆字节排序的前安全组 - 显示 5 月起始日期的出站兆字节按小时 第二个用例有自己的示例问题，记录在 GitHub [仓库](https://github.com/aws-samples/visualize-and-gain-Insights-into-your-VPC-with-Amazon-Q-in-Amazon-QuickSight) 中。 Amazon Q 解释问题，并基于数据集中的字段和链接主题中定义的同义词派生查询。Amazon Q 还会选择可视化类型，您可以更改它。在可视化的右上角，选择条形图图像，然后选择最适合表示数据的可视化类型。选择 **添加到分析**，如图 10 所示。  *图 10: Amazon Q 分析 – 构建视觉* 以下仪表板已使用四个示例问题的可视化填充，如图 11 所示。  *图 11: Amazon Q 分析 – 部署的可视化* ## 结论 本文中，您学习了如何使用 Amazon QuickSight 通过自然语言查询从各种数据来源可视化数据。Amazon Q in QuickSight 使数据访问民主化，授权组织中的每个人做出基于数据的决策。通过将数据组织成直观的主题并启用自然语言查询，Amazon Q 用户可以获得对 VPC 流量的洞察。为了帮助您的团队开始使用 QuickSight，我们建议观看以下教程 [什么是 Amazon QuickSight Q](https://youtu.be/YYB544JH1LY) 和 [QuickSight Q 作者的最佳实践](https://youtu.be/ud_WdXf_-l0)。 ## 作者介绍  ### Rashmiman Ray Rashmiman 是 AWS 的技术账户经理，位于新泽西。他与 AWS 企业客户合作，提供技术指导和最佳实践推荐，以帮助他们在云中取得成功。工作之外，他喜欢在步道上徒步旅行、打板球和烹饪印度美食。  ### Opeoluwa Victor Babasanmi Victor 是 AWS 的资深网络专家解决方案架构师。他专注于为客户提供技术指导，帮助他们使用最佳实践规划和构建解决方案，并主动保持其 AWS 环境的操作健康。当他不在帮助客户时，您可能会发现他在踢足球、健身或寻找新的冒险。  ### Diego Hernandez Diego Hernandez 是位于加拿大的技术账户经理。Diego 对所有网络相关事物的热情。在业余时间，Diego 喜欢与家人共度时光和滑雪。 <!-- AI_TASK_END: AI全文翻译 -->