Evaluasi dan Optimisasi Performa Model AI
Kategori: Teknis AI
Tentang Kursus
Kursus “Evaluasi dan Optimisasi Performa Model AI” adalah program pembelajaran komprehensif bagi profesional AI yang ingin menguasai evaluasi, fine-tuning, dan optimisasi model tingkat lanjut untuk mencapai akurasi, efisiensi komputasi, dan reliabilitas optimal di lingkungan produksi. Kursus ini memadukan teori dan praktik dengan memanfaatkan tools serta framework industri terkemuka, sekaligus membahas pemantauan produksi, tata kelola model, deteksi bias, dan kepatuhan regulasi untuk deployment AI yang bertanggung jawab. Melalui pengalaman praktis dalam benchmarking, kompresi, kuantisasi, evaluasi generative AI, dan pembangunan pipeline MLOps, peserta akan meningkatkan kapabilitas mereka dari level menengah ke lanjut dalam AI engineering.
Apa yang akan kamu pelajari?
- Dasar-dasar evaluasi model AI mencakup perbedaan evaluasi ML tradisional vs LLM, metrik kuantitatif dan kualitatif, desain dataset evaluasi berkualitas tinggi
- Teknik evaluasi model AI generatif mencakup adaptive rubrics, LLM-as-judge, metrik ROUGE/BLEU/METEOR, deteksi halusinasi, evaluasi agentic AI
- Teknik optimisasi performa model mencakup kuantisasi (PTQ, QAT, INT8/INT4), kompresi model (distillation, pruning), akselerasi inference (speculative decoding, FlashAttention), strategi parallelism
- Fine-tuning model untuk performa mencakup LoRA, QLoRA, PEFT, evaluasi model fine-tuned, pemilihan framework optimisasi
- Benchmarking standar industri mencakup MLPerf Training & Inference, desain benchmark kustom, analisis komparatif model dan hardware
- Pemantauan produksi & tata kelola model mencakup real-time monitoring, deteksi drift, pemantauan keadilan & bias, compliance (EU AI Act), model factsheets
- Eksplainabilitas & interpretabilitas mencakup LIME, SHAP, visualisasi attention, analisis chain-of-thought reasoning
- Topik lanjutan & praktik terbaik produksi mencakup strategi deployment multi-model, red teaming, MLOps CI/CD, optimisasi biaya dan TCO
Course Content
1.1 Pengenalan Evaluasi Model
1.2 Metrik dan Kriteria Evaluasi Kunci
1.3 Desain Dataset Evaluasi
Module 1 Quiz
2.1 Adaptive Rubrics & LLM-as-a-Judge
2.2 Metode Evaluasi Mendalam
2.3 Metrik Evaluasi Khusus untuk Model AI Generatif
2.4 Evaluasi Agentic AI
Module 2 Quiz
3.1 Metode Kuantisasi
3.2 Teknik Kompresi Model
3.3 Teknik Akselerasi Inferensi
3.4 Strategi Optimisasi Lanjutan
Module 3 Quiz
4.1 Metodologi Fine-tuning
4.2 Evaluasi Fine-tuning
4.3 Pemilihan Framework untuk Optimisasi
Module 4 Quiz
5.1 Pengenalan Benchmark MLPerf
5.2 Menjalankan Benchmark Standar
5.3 Desain Benchmark Kustom
5.4 Analisis Komparatif
Module 5 Quiz
6.1 Dasar Pemantauan Produksi
6.2 Deteksi dan Manajemen Drift
6.3 Pemantauan Keadilan dan Bias dalam Model AI
6.4 Tata Kelola AI & Kepatuhan
Module 6 Quiz
7.1 Dasar-Dasar Eksplainabilitas
7.2 Teknik Eksplainabilitas dalam Kecerdasan Artifisial
7.3 Menjelaskan Output AI Generatif
Module 7 Quiz
8.1 Strategi Deployment Multi-Model
8.2 Red Teaming dan Pengujian Adversarial
8.3 Alur Kerja Evaluasi Berkelanjutan
8.4 Optimisasi Biaya dalam Deployment Model AI
Module 8 Quiz
Module 9 Quiz