Periksa desain eksperimenmu terhadap empat jenis ancaman validitas:
1. Internal Validity — apakah perubahan DV benar-benar karena IV?
Ancaman umum:
- Selection bias: subjek/data tidak diassign secara acak ke setiap kondisi
- History effect: ada perubahan eksternal selama eksperimen berlangsung
- Instrumentation: alat ukur berubah di tengah eksperimen
Mitigasi: randomisasi assignment, kontrol variabel ekstraneous, lock environment sebelum mulai.
2. External Validity — apakah hasil bisa digeneralisasi?
Ancaman umum:
- Dataset tidak representatif untuk konteks yang diklaim
- Skenario lab terlalu terkontrol dibanding kondisi nyata
Mitigasi: gunakan dataset yang sesuai klaim, nyatakan batasan generalisasi secara eksplisit.
3. Construct Validity — apakah metrik benar merepresentasikan konsep?
Ancaman umum: menggunakan akurasi untuk kelas tidak seimbang, SUS tanpa konteks tugas yang seragam
Mitigasi: justifikasi pilihan metrik, triangulasi dengan metrik tambahan jika perlu.
4. Conclusion Validity — apakah statistik cukup untuk menarik kesimpulan?
Ancaman umum: sample size terlalu kecil (underpowered), pelanggaran asumsi normalitas, multiple comparison tanpa koreksi
Mitigasi: hitung power analysis sebelum eksperimen, uji asumsi distribusi, gunakan Bonferroni jika ada banyak hipotesis.
Tidak perlu eliminasi semua ancaman — tapi identifikasi dan acknowledge yang tidak bisa dimitigasi sebagai limitasi studi.
