MongoDB Aggregation Pipeline Advanced Patterns: Panduan Lengkap Optimasi dan Pola Lanjutan

4. Pola Lanjutan: $facet, $bucket, dan $merge

Tiga stage ini masing-masing menyelesaikan masalah spesifik: $facet untuk multi-pipeline paralel, $bucket untuk histogram analytics, dan $merge untuk materialized views.

$facet untuk Multi-Pipeline

$facet memungkinkan menjalankan beberapa aggregation pipeline secara paralel dalam satu database round-trip. Sangat efektif untuk dashboard yang membutuhkan beberapa jenis analisis dari data yang sama.

// Dashboard analitik: stats penjualan, top produk, dan distribusi harga
db.orders.aggregate([
  { $match: { createdAt: { $gte: ISODate("2026-01-01") } } },
  { $facet: {
      // Pipeline 1: Total penjualan per bulan
      monthlySales: [
        { $group: {
            _id: { $dateToString: { format: "%Y-%m", date: "$createdAt" } },
            totalRevenue: { $sum: "$amount" },
            orderCount: { $sum: 1 }
        }},
        { $sort: { _id: 1 } }
      ],
      // Pipeline 2: Top 5 produk
      topProducts: [
        { $unwind: "$items" },
        { $group: { _id: "$items.productId", totalSold: { $sum: "$items.quantity" } } },
        { $sort: { totalSold: -1 } },
        { $limit: 5 }
      ],
      // Pipeline 3: Distribusi status order
      statusDistribution: [
        { $group: { _id: "$status", count: { $sum: 1 } } }
      ]
  }}
]);

Keunggulan utama $facet: mengurangi round-trip ke database dari 3-4 permintaan menjadi satu, dan memastikan konsistensi data antar pipeline karena semua membaca data yang sama pada waktu yang sama.

$bucket dan $bucketAuto untuk Histogram

$bucket mengelompokkan dokumen ke dalam rentang nilai yang ditentukan — ideal untuk distribusi data. $bucketAuto membiarkan sistem menentukan boundary secara otomatis.

// Distribusi harga produk (histogram manual)
db.products.aggregate([
  { $bucket: {
      groupBy: "$price",
      boundaries: [0, 50, 100, 200, 500, 1000],
      default: "Other",
      output: {
          count: { $sum: 1 },
          products: { $push: "$name" },
          avgPrice: { $avg: "$price" }
      }}
  }}]
);

// Distribusi otomatis (MongoDB menentukan boundary)
db.products.aggregate([
  { $bucketAuto: {
      groupBy: "$price",
      buckets: 5,
      output: {
          count: { $sum: 1 },
          priceRange: { $push: "$price" }
      }}
  }}
]);

$merge: Materialized Views

$merge menulis output pipeline ke koleksi target, memungkinkan materialized views yang bisa di-update secara incremental.

// Buat materialized view — total belanja per customer
db.orders.aggregate([
  { $group: {
      _id: "$customerId",
      totalSpent: { $sum: "$amount" },
      orderCount: { $sum: 1 },
      lastOrder: { $max: "$createdAt" }
  }},
  { $merge: {
      into: "customer_stats",
      on: "_id",
      whenMatched: "replace",
      whenNotMatched: "insert"
  }}
]);

// Update incremental — hanya proses data baru
db.orders.aggregate([
  { $match: { createdAt: { $gte: ISODate("2026-07-01") } } },
  { $group: {
      _id: "$customerId",
      totalSpent: { $sum: "$amount" },
      orderCount: { $sum: 1 }
  }},
  { $merge: {
      into: "customer_stats",
      on: "_id",
      whenMatched: "merge",
      whenNotMatched: "insert"
  }}
]);

5. Memory Management: Menghindari Spill-to-Disk

Stage seperti $group, $bucket, $sortByCount, dan $set memiliki batas memory 100 MB per stage. Jika melebihi batas, database menghentikan proses kecuali allowDiskUse: true diaktifkan. Berikut strategi yang terbukti efektif berdasarkan benchmark di koleksi 10 juta dokumen:

Berikut contoh pipeline yang menerapkan semua strategi di atas secara bersamaan:

// Pipeline yang memanfaatkan index dan allowDiskUse
db.analytics.aggregate([
  // 1. Filter awal dengan index — mengurangi 90% data
  { $match: { eventType: "purchase", createdAt: { $gte: ISODate("2026-01-01") } } },
  // 2. Project hanya field yang dibutuhkan
  { $project: { userId: 1, amount: 1, productId: 1 } },
  // 3. Sort dengan index (pastikan index exists pada { createdAt: -1 })
  { $sort: { createdAt: -1 } },
  // 4. Limit untuk batasi jumlah
  { $limit: 10000 },
  // 5. Group dengan allowDiskUse sebagai fallback
  { $group: {
      _id: "$userId",
      totalSpent: { $sum: "$amount" },
      transactions: { $push: "$$ROOT" }
  }}
], { allowDiskUse: true });

6. Best Practices untuk Pipeline Production-Ready

Menulis pipeline yang berjalan di laptop belum cukup. Production pipeline harus robust, monitorable, dan tetap cepat saat koleksi tumbuh dari ribuan ke jutaan dokumen.

6.1 Selalu Gunakan explain() sebelum Deploy

db.orders.aggregate([...pipeline...]).explain("executionStats")

Perhatikan: totalDocsExamined vs nReturned — rasio tinggi menandakan pipeline tidak efisien. Rasio ideal di bawah 10:1.

6.2 Index Strategy untuk Aggregation

• Index field yang digunakan di $match pertama — ini stage paling kritis
• Index field yang digunakan di $sort — hindari in-memory sort
• Index foreign field di koleksi target $lookup — tanpa ini, query melambat 10-100x
• Gunakan compound index untuk filter multi-field — contoh: { status: 1, createdAt: -1 }

6.3 Hindari Pit Umum

• $unwind tanpa filter: Selalu filter sebelum unwind untuk mengurangi document multiplier
• $lookup tanpa index: Foreign field harus di-index untuk performa yang baik
• $sort setelah $group: Sort pada aggregated data tidak bisa menggunakan index
• Tidak ada limit: Selalu pertimbangkan $limit untuk mencegah pipeline yang terlalu besar

6.4 Monitoring dan Profiling

// Aktifkan profiling untuk slow queries
db.setProfilingLevel(1, { slowms: 100 });

// Cari slow aggregation queries
db.system.profile.find({
  op: "command",
  "command.aggregate": { $exists: true }
}).sort({ ts: -1 }).limit(5);

Pendekatan monitoring ini membantu Anda mengidentifikasi pipeline yang membutuhkan optimasi sebelum menjadi bottleneck. Untuk memahami lebih lanjut tentang membangun sistem data yang scalable, baca juga panduan kami tentang membangun data pipeline yang efisien.

7. Cheat Sheet: Kapan Menggunakan Stage Apa

Untuk menguasai pola-pola ini secara menyeluruh, pertimbangkan juga mempelajari roadmap backend developer 2026 yang mencakup keterampilan database sebagai bagian integral dari stack backend modern.

8. FAQ: Pertanyaan Umum tentang Aggregation Pipeline

MongoDB Aggregation Pipeline adalah alat yang sangat powerful untuk transformasi data server-side. Dengan memahami pola lanjutan seperti $lookup sub-pipeline, $graphLookup untuk data rekursif, $facet untuk multi-pipeline, dan $bucket untuk analytics — Anda bisa membangun pipeline yang efisien dan scalable.

Kunci utama: filter secepat mungkin, gunakan index dengan bijak, pantau memory usage, dan selalu test dengan explain() sebelum production. Pipeline yang ditulis dengan benar akan tetap cepat meskipun koleksi Anda tumbuh dari ribuan hingga jutaan dokumen.

"The aggregation pipeline is where raw data transforms into business intelligence — and where poorly written queries quietly consume CPU, RAM, and patience." — JusDB Team

Sumber Referensi

1. MongoDB Aggregation Pipeline: Advanced Patterns and Performance — JusDB (2026)
2. Aggregation Pipeline Optimization — MongoDB Official Docs (v8.3)
3. Advanced Techniques for Optimizing Complex MongoDB Aggregation Pipelines — DevOps Knowledge Hub (2025)
4. Advanced Aggregation in MongoDB: $unwind, $filter, $lookup, $facet, and $bucket — Syskool (2025)
5. MongoDB Aggregation Pipeline Performance Optimization — QueryLeaf (2025)

Image Attribution

• Photo by Possessed Photography on Unsplash - Unsplash
• Photo by Luke Chesser on Unsplash - Unsplash
• Photo by Arnold Francisca on Unsplash - Unsplash
• Photo by Alexandre Debiève on Unsplash - Unsplash