Redis Streams: Panduan Lengkap untuk Developer Indonesia

Log Aggregation

Microservices mengirim log ke stream terpusat. Log processor mengambil dari consumer group, parse, dan simpan ke Elasticsearch atau storage lain.

Redis Streams vs Alternatif Lain

Pertanyaan yang sering muncul: kapan pakai Redis Streams, kapan pakai Kafka atau RabbitMQ?

Kapan Memilih Redis Streams?

• Sudah pakai Redis di stack, ingin tambah messaging tanpa dependency baru
• Butuh latency sub-millisecond
• Data volume moderat (tidak perlu petabyte-scale)
• Ingin kombinasi caching + streaming dalam satu sistem
• Tim kecil, ingin hindari kompleksitas Kafka

Kapan Harus Pilih Alternatif?

• Butuh long-term retention (hari/minggu/bulan) pakai Kafka
• Butuh complex routing (topic exchange, headers exchange) pakai RabbitMQ
• Hanya butuh ephemeral pub/sub tanpa persistence pakai Redis Pub/Sub biasa

Contoh Implementasi

Berikut contoh sederhana producer-consumer menggunakan Python dengan library redis-py:

Producer: Mengirim Event ke Stream

import redis

r = redis.Redis(host='localhost', port=6379, decode_responses=True)

# Tambah event ke stream
def produce_event(stream_name, data):
    entry_id = r.xadd(stream_name, data)
    print(f'Event ditambahkan: {entry_id}')
    return entry_id

# Kirim beberapa order
for i in range(10):
    produce_event('order_events', {
        'order_id': f'ORD-{1000+i}',
        'product': 'Laptop Asus',
        'amount': '15000000',
        'status': 'pending'
    })

print(f'Total entries: {r.xlen("order_events")}')

Consumer: Memproses Event dari Consumer Group

import redis

r = redis.Redis(host='localhost', port=6379, decode_responses=True)

# Buat consumer group
try:
    r.xgroup_create('order_events', 'order_processors', id='0', mkstream=True)
except redis.exceptions.ResponseError:
    pass  # Group sudah ada

# Consumer loop
while True:
    messages = r.xreadgroup(
        groupname='order_processors',
        consumername='worker-1',
        streams={'order_events': '>'},
        count=1,
        block=5000  # Tunggu max 5 detik
    )

    if not messages:
        continue

    for stream, entries in messages:
        for entry_id, data in entries:
            print(f'Memproses: {data}')
            # Proses order di sini...

            # ACK setelah berhasil
            r.xack('order_events', 'order_processors', entry_id)

Best Practices untuk Production

Beberapa hal yang perlu diperhatikan saat memakai Redis Streams di production:

1. Selalu Gunakan Consumer Groups

Jangan pakai XREAD biasa untuk production. Consumer groups memberikan load balancing, acknowledgment, dan fault tolerance yang sangat penting.

2. Setel MAXLEN untuk Trimming

Stream bisa tumbuh tak terbatas kalau tidak di-trim. Gunakan XTRIM atau parameter MAXLEN saat XADD:

# Batasi stream max 100.000 entry
XADD orders MAXLEN ~ 100000 * product "Laptop"

# Atau trim manual
XTRIM orders MAXLEN ~ 100000

Tanda ~ membuat trimming lebih efisien karena Redis tidak perlu memotong persis di angka tersebut.

3. Implementasikan Idempotency

Karena Redis Streams menjamin at-least-once delivery (bukan exactly-once), consumer mungkin menerima entry yang sama. Pastikan proses Anda idempotent.

4. Monitor dengan XPENDING

Secara rutin cek pending entries untuk mendeteksi entry yang stuck:

# Lihat 10 entry pending pertama
XPENDING order_events order_processors - + 10

# Lihat pending untuk consumer tertentu
XPENDING order_events order_processors - + 10 worker-1

5. Gunakan XCLAIM untuk Recovery

Kalau consumer mati, entry-nya akan stuck di pending list. Implementasikan mekanisme XCLAIM untuk mengambil alih entry yang idle terlalu lama.

6. Aktifkan AOF Persistence

Secara default, data di Redis hanya ada di memory. Aktifkan AOF (Append-Only File) dengan appendfsync everysec untuk balance antara durability dan performa.

7. Pisahkan Stream per Domain

Gunakan naming convention yang jelas: orders:created, users:activity, payments:processed. Ini memudahkan routing dan monitoring.

Pertanyaan yang Sering Diajukan

Kesimpulan

Redis Streams menawarkan cara yang ringan dan cepat untuk menangani data streaming tanpa perlu setup infrastruktur yang rumit. Dengan consumer groups yang built-in, persistence yang opsional, dan latency sub-millisecond, ini adalah pilihan yang tepat untuk banyak use case di mana Kafka terlalu berat.

Kuncinya: mulai sederhana dengan satu stream dan satu consumer group. Monitor performa dengan XPENDING dan XINFO. Scale dengan menambah consumers. Dan ingat untuk selalu setel trimming agar stream tidak memakan semua memory.

Sumber Referensi

1. Redis Streams Official Documentation - Redis.io
2. Redis Stream Consumers Documentation - Redis.io
3. Redis Streams: A Comprehensive Guide - DEV Community
4. Redis Streams Best Practices - DragonflyDB
5. Event-Driven Architecture with Redis Streams - Harness.io

Image Attribution

• Photo by Herry Sucahya on Unsplash - Unsplash
• Photo by Taylor Vick on Unsplash - Unsplash
• Photo by Samuel Angor on Unsplash - Unsplash
• Photo by Deng Xiang on Unsplash - Unsplash
• Photo by Duy Pham on Unsplash - Unsplash
• Photo by TruckRun on Unsplash - Unsplash