Create Script Validation

Validation Script digunakan sebagai referensi dari Bot Parent untuk memeriksa respons dari Bot yang diinginkan. Jika hasil bot respons masih belum sesuai, maka Bot Parent harus mengoreksi FAQ dan Dialog secara manual hingga hasil Bot response sesuai yang diharapkan.

Di sudut kanan atas, klik tombol 'Evaluate Bot'. Kemudian, Anda akan melihat halaman evaluate bot, di sudut kanan atas klik tombol '+New Script'.

Anda akan melihat pop-up untuk membuat script baru. Isi kolom tersebut dan setelah Anda selesai, Anda dapat mengklik tombol 'Save' untuk menambahkan script baru.

Pilih script yang telah dibuat, kemudian klik tombol '+ Script' di bagian bawah dan masukkan script yang akan diujikan pada kolom User Say.

Pilih Bot dan klik tombol 'Play' (). Tunggu evaluasi tes berhasil 100%. Hasil dari respon bot akan menjadi dasar untuk validasi selanjutnya, jika hasil dari respon bot masih kurang sesuai, maka perlu dilakukan penyesuaian pada FAQ atau Dialog yang diujikan.

Penjelasan Komponen:

Nama	Deskripsi
M (Mark)	Untuk menandai script yang dipilih.
User Say	Merupakan script yang akan diujikan.
Intent Type	Anda dapat memilih tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.
Expected Intent	Anda dapat memilih title dari knowledge atau nama dialog yang diinginkan. Note: Field ini akan disesuaikan dengan pilihan dari intent type Anda.
Bot Response	Response yang dikeluarkan oleh bot sesuai script yang dimasukkan.
Valid/Invalid	Warna merah menunjukkan bahwa expected intent dengan intent name (result) tidak sesuai ketika user melakukan validate script. Sedangkan, Warna hijau menunjukkan bahwa expected intent sesuai dengan intent name (result).
Evaluation Result	Menampilkan hasil dari evaluasi script. Terdapat 3 jenis hasil evaluasi: TP (True Positive): Menunjukkan intent name (result) sesuai dengan expected intend. FP (False Positive): Menunjukkan intent name (result) tidak sesuai dengan expected intent tetapi confident level dari jawaban bot memiliki hasil yang tinggi. FN (False Negative): Menunjukkan intent name (result) tidak sesuai dengan expected intent.
Score	Menunjukkan confident level dari jawaban yang dikeluarkan oleh bot.
Intent Name (Result)	Menunjukkan hasil dari title knowledge atau nama dialog untuk response yang dikeluarkan oleh bot.
Intent Type (Result)	Menunjukkan hasil tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.
Bot Id	Menampilkan id bot yang dipilih.
Bot Name	Menampilkan nama bot yang dipilih.
Root Cause	Menampilkan detail informasi mengenai evaluation result yang dikeluarkan.

Nama

Deskripsi

M (Mark)

Untuk menandai script yang dipilih.

User Say

Merupakan script yang akan diujikan.

Intent Type

Anda dapat memilih tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.

Expected Intent

Anda dapat memilih title dari knowledge atau nama dialog yang diinginkan. Note: Field ini akan disesuaikan dengan pilihan dari intent type Anda.

Bot Response

Response yang dikeluarkan oleh bot sesuai script yang dimasukkan.

Valid/Invalid

Warna merah menunjukkan bahwa expected intent dengan intent name (result) tidak sesuai ketika user melakukan validate script. Sedangkan, Warna hijau menunjukkan bahwa expected intent sesuai dengan intent name (result).

Evaluation Result

Menampilkan hasil dari evaluasi script. Terdapat 3 jenis hasil evaluasi:

TP (True Positive): Menunjukkan intent name (result) sesuai dengan expected intend.
FP (False Positive): Menunjukkan intent name (result) tidak sesuai dengan expected intent tetapi confident level dari jawaban bot memiliki hasil yang tinggi.
FN (False Negative): Menunjukkan intent name (result) tidak sesuai dengan expected intent.

Score

Menunjukkan confident level dari jawaban yang dikeluarkan oleh bot.

Intent Name (Result)

Menunjukkan hasil dari title knowledge atau nama dialog untuk response yang dikeluarkan oleh bot.

Intent Type (Result)

Menunjukkan hasil tipe intent dari script yang dimasukkan berupa Domain (FAQ) atau Dialog.

Bot Id

Menampilkan id bot yang dipilih.

Bot Name

Menampilkan nama bot yang dipilih.

Root Cause

Menampilkan detail informasi mengenai evaluation result yang dikeluarkan.