MongoDB - MapReduce

高级数据处理：从 MapReduce 到聚合管道

在旧版本的 MongoDB 中，mapReduce 是用于复杂、分布式数据处理的主要工具。然而，自 MongoDB 5.0 起，mapReduce 命令已被弃用，并已被功能更强大、性能更好的聚合管道（Aggregation Pipeline）所取代。

为什么 mapReduce 被弃用

重要提示： 新的开发应始终优先使用聚合管道。本节旨在提供背景信息，并帮助迁移现有的 mapReduce 作业。

• 性能： 聚合管道是用原生 C++ 代码实现的，其性能显著优于基于 JavaScript 的 mapReduce 执行。
• 可用性： 聚合管道通常比自定义 JavaScript map 和 reduce 函数更容易编写、调试和维护。
• 功能： 聚合管道拥有更丰富的操作符和功能集，几乎涵盖了所有 mapReduce 用例，甚至更多。
• 工具支持： 现代工具如 MongoDB Compass 和 Atlas 都已优化，用于可视化和分析聚合管道，而不是 mapReduce 作业。

将 mapReduce 示例迁移到聚合管道

让我们以一个经典的 mapReduce 用例为例，并将其转换为现代聚合的等效形式。考虑一个 posts 集合：

{
  "_id": ObjectId("..."),
  "post_text": "MongoDB's aggregation pipeline is powerful.",
  "user_name": "dev_jane",
  "status": "active",
  "tags": ["mongodb", "database"]
}

目标： 统计每个用户的活跃帖子数量。

旧方法（已弃用的 mapReduce）

此任务的原始 mapReduce 代码如下所示。它需要编写两个独立的 JavaScript 函数。

// 已弃用 - 请勿在新项目中使用
db.posts.mapReduce(
  function() { emit(this.user_name, 1); }, // map 函数
  function(key, values) { return Array.sum(values); }, // reduce 函数
  {
    query: { status: "active" }, // 过滤条件
    out: "post_totals" // 输出集合
  }
);

现代方法（聚合管道）

相同的结果可以通过一个更简单、更具可读性且速度快得多的聚合管道实现。

// 推荐的现代方法
db.posts.aggregate([
  // 阶段 1：过滤活跃帖子
  { $match: { status: "active" } },

  // 阶段 2：按 user_name 分组并计数帖子
  {
    $group: {
      _id: "$user_name",
      postCount: { $sum: 1 }
    }
  },

  // 可选阶段 3：重命名字段以提高清晰度
  {
    $project: {
      _id: 0,
      userName: "$_id",
      postCount: 1
    }
  }
]);

聚合查询直接返回结果，无需写入中间集合，并且由声明性阶段组成，这些阶段更易于理解和优化。

迁移实用指南

• query -> $match：mapReduce 中的 query 字段直接转换为管道开头的 $match 阶段。
• map + reduce -> $group / $project：map 和 reduce 函数的核心逻辑几乎总是可以通过结合使用 $group（带累加器，如 $sum、$avg、$push）以及 $project 或 $addFields 来实现数据塑形。
• finalize -> 最终阶段：如果您的 mapReduce 作业有 finalize 函数，其逻辑可以使用最终管道阶段（如 $addFields 或 $project）来实现。
• 复杂逻辑：对于极少数不存在直接操作符的情况，MongoDB 提供了 $function（自 v4.4 起）在管道内执行自定义 JavaScript，但这应作为最后的手段，因为它会影响性能。

总之，尽管 mapReduce 是一个基础功能，但聚合管道才是 MongoDB 数据处理的未来。所有新开发都应利用其强大的功能、卓越的性能和灵活性。