Memahami KNN, Naive Bayes,
dan Support Vector Machine

Dokumen ini dibuat untuk menjelaskan tiga algoritma machine learning yang dipakai dalam skripsi ini — K-Nearest Neighbors (KNN), Naive Bayes, dan Support Vector Machine (SVM) — dengan bahasa yang sesederhana mungkin, disertai contoh perhitungan manual yang lengkap, langkah demi langkah, sampai ke angka terakhir.

Tujuannya sederhana: supaya saat sidang atau saat menulis BAB II/BAB IV, penulis benar-benar paham apa yang terjadi "di dalam" algoritma, bukan sekadar tahu cara memanggil model.fit() di Python.

Gambaran Singkat Tiga Algoritma

Target/kelas pada kasus ini ada tiga: Sehat, Berpotensi Stunting, dan Stunting.

Fitur yang dipakai (sesuai dengan variabel yang diperiksa bidan pada kunjungan ibu hamil):

Pola yang sengaja dibangun (mencerminkan pola medis yang wajar): semakin tua/muda usia ekstrem, paritas tinggi, jarak kehamilan pendek, tinggi/berat/LiLA/Hb rendah → semakin berisiko stunting.

Anggap saja ini adalah ibu hamil baru yang datang periksa ke Puskesmas. Sepanjang dokumen ini, kita akan memprediksi ibu ini masuk kelas Sehat, Berpotensi Stunting, atau Stunting — menggunakan tiga algoritma yang berbeda, dan di akhir kita bandingkan hasilnya.

1.1 Analogi Sederhana

Bayangkan kamu pindah ke lingkungan baru dan ingin tahu apakah tetangga-tetanggamu ramah atau tidak. Cara paling gampang: tanya ke beberapa tetangga terdekat rumahmu, lalu ikuti pendapat mayoritas mereka.

KNN bekerja persis seperti itu. Untuk mengklasifikasikan data baru, KNN:

1. Mengukur jarak data baru itu ke semua data latih.
2. Mengambil K data terdekat (K adalah angka yang kita tentukan, misalnya 3 atau 5).
3. Melihat kelas mana yang paling banyak muncul di antara K tetangga itu → itulah prediksinya.

Karena KNN "belajar" dengan cara mengingat semua data lalu membandingkan jarak setiap kali ada data baru (tidak membangun rumus/model eksplisit di awal), KNN sering disebut algoritma instance-based atau lazy learner.

1.2 Konsep dan Rumus Jarak Euclidean

Untuk mengukur "jarak" antar dua titik data yang punya banyak fitur, KNN memakai jarak Euclidean (jarak garis lurus, seperti mengukur jarak dengan penggaris):

Sederhananya: selisih tiap fitur dikuadratkan, dijumlahkan semua, lalu diakar-kuadratkan.

1.3 Kenapa Data Harus Distandardisasi Dulu?

Perhatikan Tabel 1: Tinggi Badan berkisar 145–160 (angka besar), sedangkan Paritas cuma berkisar 0–5 (angka kecil). Kalau langsung dihitung jarak Euclidean-nya, selisih Tinggi Badan akan mendominasi total jarak hanya karena skalanya besar — padahal belum tentu Tinggi Badan itu fitur yang paling penting secara medis. Paritas jadi seperti "tidak dianggap" walau sebenarnya penting.

Solusinya: standardisasi (menyamakan skala semua fitur), memakai rumus Z-score:

Setelah distandardisasi, semua fitur punya rata-rata 0 dan skala yang sebanding, sehingga adil dibandingkan.

1.4 Langkah 1 — Hitung Mean dan Standar Deviasi Tiap Fitur

Dihitung dari 12 data latih pada Tabel 1 (seluruh kelas digabung dulu, karena standardisasi dilakukan sebelum tahu kelasnya):

Contoh cara hitung mean Usia: $(27+24+30+26+19+36+21+34+17+39+18+40)/12 = 331/12 = 27.5833$

Contoh cara hitung std Usia (populasi):

1.5 Langkah 2 — Standardisasi (Z-score) Semua Data

Menerapkan $z=(x-\mu)/\sigma$ ke setiap sel. Contoh untuk S1, fitur Usia: $z = (27-27.5833)/7.8471 = -0.074$.

Tabel 3. Data Latih Setelah Standardisasi (dibulatkan 3 desimal)

1.6 Langkah 3 — Hitung Jarak Data Uji ke Semua Data Latih

Sekarang kita hitung jarak Euclidean dari data uji (yang sudah distandardisasi) ke setiap dari 12 data latih.

1.7 Langkah 4 — Voting

1.8 Kesimpulan KNN

Baik dengan K=3 maupun K=5, KNN memprediksi data uji sebagai "Berpotensi Stunting". Ini masuk akal karena secara visual pun, angka-angka pada data uji (LiLA 22.3, Hb 10.7, dst.) memang paling mirip dengan kelompok B (Berpotensi Stunting), sedikit di bawah B3 dan B1.

2.1 Analogi Sederhana

Bayangkan seorang dokter berpengalaman yang tidak membandingkan pasien baru dengan pasien-pasien lama satu per satu (seperti KNN). Sebaliknya, dokter itu sudah hafal pola umum tiap kelompok penyakit — misalnya "pasien anemia biasanya Hb-nya di kisaran segini, dengan sebaran segini" — lalu begitu ada pasien baru, dokter langsung menghitung peluang pasien itu masuk ke tiap kelompok berdasarkan pola tersebut, dan memilih kelompok dengan peluang terbesar.

Itulah cara kerja Naive Bayes: menghitung peluang (probabilitas) suatu data masuk ke tiap kelas, berdasarkan Teorema Bayes.

2.2 Teorema Bayes dan Asumsi "Naive"

Rumus dasar Teorema Bayes:

Dalam bahasa sederhana:

Karena pembilang (data) sama nilainya untuk semua kelas yang dibandingkan, dalam praktiknya kita cukup membandingkan pembilangnya saja: $P(\text{Data}\mid\text{Kelas}) \times P(\text{Kelas})$ — kelas dengan nilai ini terbesar itulah pemenangnya.

Disebut "naive" (naif) karena algoritma ini mengasumsikan setiap fitur saling bebas/independen satu sama lain (misalnya, dianggap Tinggi Badan tidak ada hubungannya dengan Berat Badan) — padahal di dunia nyata fitur-fitur kesehatan biasanya saling berkaitan. Asumsi ini "tidak realistis" tapi ternyata dalam praktik hasilnya sering tetap bagus, makanya tetap dipakai luas karena sederhana dan cepat.

Karena fitur-fitur pada kasus ini berupa angka kontinu (bukan kategori), dipakai varian Gaussian Naive Bayes — mengasumsikan setiap fitur pada tiap kelas mengikuti distribusi normal (kurva lonceng/Gaussian).

2.3 Rumus Distribusi Normal (Gaussian)

di mana $\mu$ = mean fitur tersebut khusus di kelas itu saja, dan $\sigma$ = standar deviasi fitur tersebut khusus di kelas itu saja (berbeda dengan KNN yang mean/std-nya dihitung dari semua data digabung).

2.4 Langkah 1 — Hitung Prior Tiap Kelas

Prior = peluang awal suatu kelas, sebelum melihat data sama sekali — dihitung dari proporsi jumlah data tiap kelas di data latih.

Karena dataset dummy ini sengaja dibuat seimbang (4:4:4), ketiga prior-nya sama besar.

2.5 Langkah 2 — Hitung Mean dan Std Tiap Fitur, per Kelas

Kali ini mean and std dihitung terpisah untuk tiap kelas (bukan digabung seperti di KNN):

Tabel 5. Mean dan Standar Deviasi per Fitur, per Kelas ($\mu, \sigma$)

Contoh cara hitung (Hb, kelas Sehat): data Hb kelas Sehat = 12.5, 12.8, 13.0, 12.2 → mean $=(12.5+12.8+13.0+12.2)/4=12.625$; std populasi $=\sqrt{\frac{(12.5-12.625)^2+(12.8-12.625)^2+(13.0-12.625)^2+(12.2-12.625)^2}{4}}=0.3031$.

Perhatikan pola pada Tabel 5: semakin ke kelas Stunting, mean Tinggi, Berat, LiLA, Hb semakin kecil, sedangkan mean Paritas semakin besar dan mean Jarak Kehamilan semakin kecil — konsisten dengan pola medis yang sengaja kita bangun di dataset.

2.6 Langkah 3 — Hitung Likelihood (Gaussian PDF) Tiap Fitur Data Uji

Sekarang kita masukkan nilai data uji ke rumus Gaussian, untuk setiap fitur, di setiap kelas (total 7 fitur × 3 kelas = 21 perhitungan).

Berikut hasil lengkap untuk seluruh 21 kombinasi fitur × kelas yang disusun ke dalam tabel collapsible:

2.7 & 2.8 Langkah 4 & 5 — Kalikan dengan Prior & Normalisasi

$$Posterior = Produk\,Likelihood \times Prior$$

Untuk normalisasi, tiap posterior dibagi dengan total ketiga posterior:

2.9 Kesimpulan Naive Bayes

Prediksi Naive Bayes: Berpotensi Stunting, dengan tingkat keyakinan yang sangat tinggi (praktis mendekati 100%). Ini terjadi karena nilai LiLA (22.3) dan Hb (10.7) pada data uji sangat pas dengan kurva Gaussian kelas Berpotensi Stunting (lihat likelihood LiLA=0.619 dan Hb=0.479 di Tabel 6b — jauh lebih besar dibanding likelihood fitur yang sama di dua kelas lain), sehingga kelas ini "menang telak" begitu semua fitur dikalikan.

3.1 Analogi Sederhana

Bayangkan dua kelompok anak sedang berbaris di lapangan — kelompok A di kiri, kelompok B di kanan — dan kamu diminta menarik satu garis lurus yang memisahkan keduanya. Ada banyak garis yang bisa memisahkan mereka, tapi SVM mencari garis yang paling "adil": garis yang jaraknya sama jauh dan semaksimal mungkin dari anak-anak terdekat di kedua kelompok.

Anak-anak yang posisinya paling dekat dengan garis pemisah itulah yang disebut support vector — merekalah yang benar-benar "menentukan" posisi garis. Anak-anak lain yang berdiri jauh di belakang tidak berpengaruh sama sekali terhadap posisi garis.

3.2 Konsep Hyperplane, Margin, dan Support Vector

• Hyperplane — garis (pada 2 dimensi) atau bidang pemisah (pada dimensi lebih tinggi) yang memisahkan dua kelas. Rumusnya: $f(x) = w \cdot x + b$, di mana data diklasifikasikan positif jika $f(x) \geq 0$ dan negatif jika $f(x) < 0$.
• Margin — "lorong kosong" di kiri-kanan hyperplane, dibatasi oleh titik-titik terdekat kedua kelas. SVM berusaha membuat margin ini selebar mungkin, karena semakin lebar marginnya, semakin percaya diri (robust) modelnya dalam mengklasifikasikan data baru.
• Support Vector — titik-titik data yang letaknya tepat di tepi margin (paling dekat ke hyperplane). Hanya titik-titik inilah yang menentukan posisi dan kemiringan hyperplane.

Karena SVM mencari margin maksimal, secara matematis untuk kasus linearly separable:

di mana $x^+$ = support vector kelas positif, $x^-$ = support vector kelas negatif. Lebar margin $= 2/\lVert w\rVert$.

3.3 Kernel Trick dan Hubungannya dengan Skripsi

Di dunia nyata, data jarang bisa dipisahkan sempurna dengan garis lurus. Untuk itu SVM punya trik disebut kernel trick — mengubah data ke ruang berdimensi lebih tinggi sehingga data yang tadinya tidak bisa dipisahkan garis lurus, jadi bisa dipisahkan.

Pada skripsi ini, kernel yang digunakan adalah RBF (Radial Basis Function), dengan parameter (C dan gamma) dicari otomatis lewat GridSearchCV dikombinasikan Stratified 10-Fold Cross Validation pada data latih — bukan ditebak manual.

3.4 Multi-Kelas dengan One-vs-One (OvO)

SVM aslinya dirancang untuk 2 kelas saja (biner). Karena pada skripsi ini ada 3 kelas (Sehat, Berpotensi Stunting, Stunting), dipakai strategi One-vs-One (OvO) — yaitu strategi default library scikit-learn (SVC) yang juga dipakai di skripsi:

Dibuat satu classifier biner untuk setiap pasangan kelas. Dengan 3 kelas, jumlah pasangannya $=\binom{3}{2}=3$:

1. Sehat vs Berpotensi Stunting
2. Sehat vs Stunting
3. Berpotensi Stunting vs Stunting

Data uji akan "diuji" ke ketiga classifier ini, tiap classifier memberi satu suara untuk kelas pemenang di pasangannya, lalu kelas dengan suara terbanyak menjadi prediksi akhir (majority vote).

3.5 Contoh Perhitungan Manual (Disederhanakan: Fitur LiLA & Hb)

3.6 Kesimpulan SVM

Melalui skema One-vs-One yang disederhanakan (2 fitur, kernel linear), SVM memprediksi data uji sebagai "Berpotensi Stunting", unggul 2 kemenangan berbanding 1. Perlu ingat, pada skripsi aslinya SVM memakai kernel RBF dengan parameter hasil tuning GridSearchCV dan seluruh 7 fitur — pendekatan manual di atas adalah versi sederhana untuk keperluan pemahaman konsep, bukan pengganti proses komputasi sesungguhnya.

4.1 Tabel Perbandingan Karakteristik

4.2 Hasil Akhir: Ketiga Metode Sepakat!

Untuk data uji yang sama persis (Usia 22, Paritas 1, Jarak 10, Tinggi 150, Berat 46, LiLA 22.3, Hb 10.7), ketiga algoritma yang cara berpikirnya sama sekali berbeda (jarak vs peluang vs margin) sama-sama menghasilkan prediksi yang identik:

4.3 Kaitan dengan Pipeline Skripsi Asli

Penting ditekankan bahwa contoh di atas adalah versi manual yang disederhanakan untuk keperluan pemahaman konsep. Pada skripsi aslinya, proses jauh lebih ketat:

• Data yang dipakai 671 baris (bukan 12), hasil pengambilan data rekam medik elektronik riil dari Poli KIA Puskesmas Kintamani I.
• Data dibagi 80:20 secara stratified (proporsi tiap kelas dijaga sama antara data latih dan data uji).
• StandardScaler dan SMOTE (untuk menyeimbangkan jumlah data antar kelas) diterapkan hanya pada data latih, di dalam satu pipeline, agar tidak terjadi kebocoran data (data leakage) ke data uji.
• Parameter K (untuk KNN) dan C/gamma (untuk SVM) tidak ditebak manual, melainkan dicari otomatis lewat GridSearchCV dikombinasikan Stratified 10-Fold Cross Validation pada data latih.
• Evaluasi akhir dilakukan pada data uji (20%) yang sama sekali belum pernah "dilihat" model selama proses pelatihan, memakai Confusion Matrix 3×3, Akurasi, Presisi, Recall, dan F1-Score.

Dokumen ini hanya membantu memahami logika inti di balik rumus-rumusnya — bukan menggantikan proses komputasi sesungguhnya yang dilakukan lewat Python/scikit-learn pada skripsi.

Tiga algoritma yang dibahas di sini — KNN, Naive Bayes, dan SVM — mewakili tiga pendekatan berbeda dalam dunia klasifikasi machine learning: berbasis jarak, berbasis peluang, dan berbasis margin/pemisah geometris. Ketiganya dipakai dalam skripsi ini justru untuk dibandingkan kinerjanya secara objektif (lewat metrik evaluasi seperti akurasi, presisi, recall, F1-score), sehingga bisa ditentukan algoritma mana yang paling cocok untuk kasus prediksi risiko stunting pada data Poli KIA Puskesmas Kintamani I — yang nantinya diimplementasikan ke purwarupa aplikasi Clinical Decision Support System (CDSS) sebagai alat bantu skrining bagi tenaga kesehatan.