Astuti, Wistiani (2021) Analisis performa model bert, diet classifier, dan kombinasinya pada chatbot KKN / Wistiani Astuti. Masters thesis, Universitas Negeri Malang.
Full text not available from this repository.Abstract
Pandemi COVID-19 yang terjadi di awal tahun 2020 mengakibatkan seluruh aktivitas kehidupan manusia di dunia menjadi terganggu dan memiliki dampak yang sangat besar hampir di semua aspek khususnya dibidang Pendidikan. Permasalahan yang muncul pada Perguruan Tinggi dimasa pandemi COVID-19 saat ini banyak mengembangkan smart system dengan natural language understanding (NLU) untuk membantu berbagai tugas dosen dan karyawan kepada mahasiswa dalam memberikan informasi akademik yang akurat. Salah satu informasi akademik yang dibutuhkan mahasiswa adalah informasi tentang KKN. Kurangnya informasi tentang KKN kepada mahasiwa sehingga persiapan mahasiswa seperti berkas jadwal pelaksanaan biaya menjadi terhambat. Oleh karena itu maka dibutuhkan sebuah proses untuk menganalisis informasi tentang persyaratan KKN yang akan diterima oleh mahasiswa. Metode yang digunakan dalam melakukan analisis adalah Bidirectional Encoder Representations from Transformers (Bert) Dual Intent dan Entity Transformer (Diet) Classifier. Model Bert merupakan multibahasa terlatih untuk memecahkan tugas menjawab pertanyaan kompleks. Model Diet Classifier menggunakan embeddings terlatih dari model bahasa Bert didalam pipeline NLU Rasa untuk melakukan klasifikasi dan pengenalan entitas secara bersamaan. Penelitian ini bertujuan untuk melakukan analisis performa hasil dari kombinasi model Bert dan Diet Classifier Model Diet Classifier tanpa menggunakan Bert. Analisis tersebut dilakukan pada 27 intent dengan jumlah data yang berbeda-beda. Analisis dilakukan dengan mengkombinasi model Bert Diet Classifier dengan jumlah epoch 1000. Pada kombinasi model Bert dan Diet Classifier memiliki nilai akurasi pelatihan sekitar 0.916 sampai 0.961 dan untuk nilai akurasi pengujiannya sekitar 0.377 sampai 0.549 dengan respon chatbot yang sesuai pertanyaan sebanyak 25 dan 10 respon chatbot yang tidak sesuai dengan pertanyaan. Dalam penelitian ini jumlah data yang terdapat pada intent akan memiliki pengaruh yang cukup tinggi terhadap respon chatbot yang diberikan dan juga hasil akurasi dari masing-masing model baik model Bert Diet Classifier dimana jika jumlah data yang ada pada intent lebih sedikit maka akan menghasilkan nilai akurasi pelatihan dan pengujian lebih kecil.
| Item Type: | Thesis (Masters) |
|---|---|
| Subjects: | ?? ?? |
| Divisions: | Fakultas Teknik (FT) > Departemen Teknik Elektro (TE) > S2 Teknik Elektro |
| Depositing User: | library UM |
| Date Deposited: | 25 Mar 2021 04:29 |
| Last Modified: | 09 Sep 2021 03:00 |
| URI: | http://repository.um.ac.id/id/eprint/262893 |
Actions (login required)
 |
View Item |