Create Script Validation

Validation Script digunakan sebagai referensi dari Bot Parent untuk memeriksa respons dari Bot yang diinginkan. Jika hasil bot respons masih belum sesuai, maka Bot Parent harus mengoreksi FAQ dan Dialog secara manual hingga hasil Bot response sesuai yang diharapkan.

Di sudut kanan atas, klik tombol 'Evaluate Bot'. Kemudian, Anda akan melihat halaman evaluate bot, di sudut kanan atas klik tombol '+New Script'.

New Script

Anda akan melihat pop-up untuk membuat script baru. Isi kolom tersebut dan setelah Anda selesai, Anda dapat mengklik tombol 'Save' untuk menambahkan script baru.

Add New Script

Pilih script yang telah dibuat, kemudian klik tombol '+ Script' di bagian bawah dan masukkan script yang akan diujikan pada kolom User Say.

Added Script on User Say

Pilih Bot dan klik tombol 'Play' (). Tunggu evaluasi tes berhasil 100%. Hasil dari respon bot akan menjadi dasar untuk validasi selanjutnya, jika hasil dari respon bot masih kurang sesuai, maka perlu dilakukan penyesuaian pada FAQ atau Dialog yang diujikan.

Result Response

Penjelasan Komponen:

Nama	Deskripsi
M (Mark)	Untuk menandai script yang dipilih.
User Say	Merupakan script yang akan diujikan.
Intent Type	Anda dapat memilih tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.
Expected Intent	Anda dapat memilih title dari knowledge atau nama dialog yang diinginkan. Note: Field ini akan disesuaikan dengan pilihan dari intent type Anda.
Bot Response	Response yang dikeluarkan oleh bot sesuai script yang dimasukkan.
Valid/Invalid	Warna merah menunjukkan bahwa expected intent dengan intent name (result) tidak sesuai ketika user melakukan validate script. Sedangkan, Warna hijau menunjukkan bahwa expected intent sesuai dengan intent name (result).
Evaluation Result	Menampilkan hasil dari evaluasi script. Terdapat 3 jenis hasil evaluasi: TP (True Positive): Menunjukkan intent name (result) sesuai dengan expected intend. FP (False Positive): Menunjukkan intent name (result) tidak sesuai dengan expected intent tetapi confident level dari jawaban bot memiliki hasil yang tinggi. FN (False Negative): Menunjukkan intent name (result) tidak sesuai dengan expected intent.
Score	Menunjukkan confident level dari jawaban yang dikeluarkan oleh bot.
Intent Name (Result)	Menunjukkan hasil dari title knowledge atau nama dialog untuk response yang dikeluarkan oleh bot.
Intent Type (Result)	Menunjukkan hasil tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.
Bot Id	Menampilkan id bot yang dipilih.
Bot Name	Menampilkan nama bot yang dipilih.
Root Cause	Menampilkan detail informasi mengenai evaluation result yang dikeluarkan.