Project Brief

Analytics & Signal System

Mengubah data mentah market menjadi sinyal trading real-time yang transparan dan siap dilatih AI.

Data Siap Pakai

Funding, OI, ETF, Whale, Fear & Greed

Dua Mode

Live Analytics + Collector ML

Goal Akhir

Sinyal & Model AI yang belajar sendiri

Signal: SELL - 0.78 confidence

Contoh kondisi saat dashboard dibuka: funding overheating, open interest naik tajam, whale inflow masuk exchange.

Funding tinggi OI +3.2% Whale inflow 1200 BTC ETF -90M

Tujuan Sistem

Bangun mesin analitik yang mengambil data terbaru, hitung indikator, keluarkan sinyal (Buy/Sell/Neutral) beserta alasan, lalu arsipkan ke dataset agar AI bisa dilatih.

Alur Kerja Utama

Live Analytics Mode

Dipakai saat user membuka halaman dashboard.

  • Pull data market terbaru dari funding, OI, ETF, whale flow, fear & greed, dll.
  • Hitung indikator utama: rata-rata funding, perubahan OI, arus ETF, inflow whale, sentimen.
  • Bangun sinyal real-time (BUY/SELL/NEUTRAL) plus confidence dan alasan.
  • Kirim JSON ke frontend, tanpa menyimpan ke database.

Collector Mode (ML)

Jalan via cron tiap jam / tiap candle close.

  • Ulangi perhitungan indikator yang sama dengan mode live.
  • Simpan indikator, sinyal, dan price_now ke tabel cg_signal_dataset.
  • 24 jam kemudian isi price_future dan label naik/turun untuk training AI.
  • Dataset siap diekspor ke pipeline model (XGBoost, dst).
Tampilan output ke frontend:

Signal: SELL (0.78) - Alasan: funding tinggi + OI naik + whale inflow besar. Ditambah tabel indikator dan chart harga + marker sinyal.

Breakdown Faktor Market

Indikator utama yang harus muncul di halaman Analytics & Signal.

Faktor Nilai Interpretasi
Funding Rate +0.018 Overheated - sinyal bearish
Open Interest +3.2% Leverage naik - potensi long squeeze
Whale Inflow 1200 BTC Distribusi ke exchange
ETF Flow -90M Institusi net selling
Fear & Greed 82 Greed zone - rawan koreksi

Mapping Tabel ke Indikator

Semua indikator punya sumber jelas supaya engineer tahu harus tarik data dari mana.

Indikator Table Utama Data yang Diolah
Funding & Basis cg_funding_rate_history cg_funding_rate_exchange_list cg_futures_basis_history Funding 1h/8h per exchange, deviasi dari rata-rata 30 hari, basis perpetual vs spot.
Open Interest & Leverage cg_open_interest_aggregated_history cg_open_interest_aggregated_stablecoin_history cg_option_exchange_oi_history Total OI USD, persentase perubahan 1h/24h, proporsi coin vs stable, opsi vs futures.
Whale & On-chain Flow cg_whale_transfer cg_hyperliquid_whale_alert cq_exchange_inflow_cdd Nominal inflow/outflow wallet besar, exchange tujuan, Coin Days Destroyed untuk validasi usia koin.
ETF Behavior cg_bitcoin_etf_flows_history cg_bitcoin_etf_flows_details cg_bitcoin_etf_premium_discount_history Net flow harian, per ETF inflow/outflow, premium vs NAV.
Sentimen & Likuidasi cg_fear_greed_index cg_fear_greed_index_data_list cg_liquidation_heatmap cg_liquidation_aggregated_history Nilai indeks harian, breakdown timeframe, cluster likuidasi dan magnitude long/short.
Long vs Short Positioning cg_long_short_top_account_ratio_history cg_long_short_global_account_ratio_history Rasio long/short akun top vs global, sinyal divergensi antar segmen.
Spot Market Depth cg_spot_orderbook_aggregated cg_spot_large_orderbook_history cg_spot_taker_volume_history Imbalance bid/ask, order blok besar, agresivitas taker buy vs sell.
Harga Referensi cg_spot_price_history cg_spot_pairs_markets cg_spot_aggregated_taker_volume_history Harga BTC multi exchange untuk price_now/price_future, volume agregasi sebagai konfirmasi.
Kalau table baru ditambahkan oleh tim data, cukup tambahkan ke daftar ini supaya feature builder tahu cara memperkaya indikator.

Contoh Dataset untuk ML

Collector mode menyimpan semua indikator + sinyal + harga agar bisa dilabeli dan dilatih.

timestamp funding_z oi_change whale_inflow etf_flow fear_greed signal_rule price_now price_future label
2025-11-10 12:00 +2.1 +3.2% 1200 BTC -90M 82 SELL 69,980 68,800 0

Struktur Kolom Wajib

  • Meta: timestamp, symbol, timeframe, source_exchange.
  • Indikator utama: funding_z, oi_pct_change, whale_inflow_btc, etf_netflow_usd, fear_greed_normalized.
  • Derived: liquidation_cluster_score, long_short_divergence, spot_imbalance, volatility_7d.
  • Labeling: signal_rule, price_now, price_future(+24h), label_direction, pct_change_future.

Standar Perekaman

  • Semua angka disimpan dalam basis USD atau BTC konsisten, sertakan unit jika beda.
  • Gunakan prefix per sumber (funding_binance_1h, whale_inflow_cex) agar mudah di feature store.
  • Tambahkan checksum run_id supaya bisa audit rekaman dari cron tertentu.
  • Pastikan null diisi fallback (-999 atau 0) plus flag is_missing untuk model.

Detail Perhitungan Indikator

Formula disepakati dari awal agar hasil konsisten antara mode live dan collector.

Funding Heat

Z-score funding 1h per exchange (window 30 data) + rata-rata tertimbang volume. Threshold bearish jika z > 1.5.

OI Momentum

OI_pct_change = (OI_now - OI_24h_ago) / OI_24h_ago. Tambah EMA 6 jam untuk lihat akselerasi leverage.

Whale Pressure

Aggregate inflow ke exchange tier-1 dalam BTC, bandingkan rata-rata 7 hari. Bearish jika >150% rata-rata + CDD tua.

ETF Net Flow

Net_flow_daily = total_inflow - total_outflow. Normalisasi terhadap AUM agar bisa dibanding antar ETF.

Sentimen

Combine fear-greed score + long/short ratio: signal bullish jika FG < 30 dan long_short_top < 0.7.

Market Structure

Spot orderbook imbalance = (bid_2% - ask_2%) / (bid_2% + ask_2%). Tambah heatmap likuidasi sebagai konfirmasi.

Target Output

Dashboard Analytics & Signal

  • Sinyal utama (BUY/SELL/NEUTRAL) + confidence score.
  • List alasan utama dan faktor yang aktif.
  • Tabel indikator Funding, OI, ETF, Whale, Fear & Greed.
  • Chart harga + marker sinyal, heatmap multi-timeframe, auto refresh 5 menit.

Tabel cg_signal_dataset

  • Semua fitur mentah + sinyal rule-based tersimpan rapih.
  • Kolom price_now, price_future, label naik/turun setelah 24 jam.
  • Digunakan untuk training model (mis. XGBoost) dan evaluasi performa.

Komponen yang Harus Dibuat

  1. Feature Builder Service. Tarik data funding, OI, ETF, whale, sentiment lalu hitung rata-rata, z-score, perubahan %, trend multi timeframe.
  2. Signal Engine. Aturan sederhana: funding tinggi = bearish, whale inflow besar = bearish, fear-greed < 30 = bullish, ETF inflow positif = bullish, dst. Hitung skor bullish vs bearish.
  3. API Endpoint. /api/analytics-signal?symbol=BTC/USDT&tf=1h yang membalas JSON untuk dashboard.
  4. Frontend Page. Halaman "Analytics & Signal" yang menampilkan sinyal, alasan, tabel indikator, chart, dan heatmap.
  5. Cron Signal Collector. Job tiap jam untuk simpan hasil hitungan ke cg_signal_dataset.

Strategi Training AI

  1. Data Mart Bersih. Ambil dataset collector minimal 90 hari, filter run_id valid, drop duplikat timestamp.
  2. Feature Store. Pisah fitur statis (ETF weight) vs dinamis (funding_z) supaya pipeline inference ringan.
  3. Labeling. Label_direction = sign(price_future - price_now); tambah label_magnitude (abs change) untuk klasifikasi confidence.
  4. Split & Validation. Gunakan walk-forward (70/15/15) per tanggal supaya tidak bocor; metric utama F1 SELL dan BUY.
  5. Modeling. Baseline XGBoost + SHAP untuk explainability; simpan model_version + feature list untuk audit.
  6. Serving. Inference dijalankan setelah rule-based sinyal -> tampilkan side-by-side dengan confidence interval.

Operational Guardrails

Data Freshness

Funding & OI < 5 menit, ETF < 1 jam, on-chain < 30 menit. Alarm jika SLA terlewat.

Scheduling

Cron collector running tiap top of hour; re-run otomatis jika gagal dan log ke observability stack.

Monitoring

Track mismatch antara signal_rule vs label_direction. Jika akurasi 24h turun < 45% langsung alert.

Access & Audit

Semua API pakai token service, query ke table sensitif lewat view read-only. Simpan audit trail update label.

Tahapan Pengembangan

Inti Pesan

Kita sudah pegang semua data penting. Tinggal dibungkus jadi sistem yang bisa membaca kondisi market secara real-time, menjelaskan kenapa sinyal muncul, menyimpan histori untuk belajar, dan akhirnya menghadirkan AI yang makin akurat setiap bulan.