Spark SQL merupakan modul Spark buat pemrosesan data terstruktur. Ini sudah dipakai secara luas pada industri namun sulit buat menyesuaikan kinerjanya.Metode penyetelan pembelajaran mesin yang ada sulit untuk diterapkan dalam praktik karena biaya waktu yang tinggi dan kegagalan untuk beradaptasi dengan perubahan jumlah data yang akan diproses.
Untuk mengatasi masalah ini, tim peneliti yang dipimpin oleh Prof. Yu Zhibin dari Institut Teknologi Lanjutan Shenzhen (SIAT) dari Akademi Ilmu Pengetahuan China mengusulkan metode pengoptimalan konfigurasi otomatis berbiaya rendah bernama Penyetelan Otomatis Konfigurasi Online Rendah Overhead (LOCAT), yang dapat mengurangi waktu pengoptimalan dan meningkatkan kinerja Spark SQL.
Hasilnya dipublikasikan di SIGMOD 2022, sebuah forum internasional untuk peneliti, praktisi, pengembang, dan pengguna basis data. Makalah terkait dapat ditemukan di Prosiding Konferensi Internasional 2022 tentang Manajemen Data.
Para peneliti pertama kali merancang teknik analisis sensitivitas parameter kueri dan konfigurasi untuk LOCAT. Kueri yang tidak sensitif terhadap parameter konfigurasi diidentifikasi dan dihapus dari beban kerja yang diberikan saat sampel pelatihan dikumpulkan.
“Untuk query yang tersisa, LOCAT menghitung koefisien hubungan buat mengidentifikasi parameter konfigurasi yang penting,” istilah Prof. Yu."Kemudian, itu menerapkan analisis komponen utama kernel untuk mengurangi dimensi pencarian parameter konfigurasi."
Terakhir, para peneliti merancang optimasi Bayesian untuk LOCAT, yang menyadari ukuran kumpulan data untuk mencari konfigurasi optimal sehingga kinerjanya dapat dioptimalkan secara otomatis berdasarkan ukuran kumpulan data.
Hasil eksperimen pada ARM cluster (cluster server untuk komputasi big data, di mana setiap server menggunakan CPU berdasarkan instruksi ARM) menunjukkan bahwa LOCAT mempercepat prosedur optimasi pendekatan state-of-the-art setidaknya 4,1x dan hingga 9,7x. Selain itu, LOCAT meningkatkan kinerja aplikasi setidaknya 1,9x dan hingga 2,4x. Pada kluster x86, LOCAT menunjukkan hasil yang serupa dengan yang ada di kluster ARM.
