(Dikirim pada 31 Jan 2023 (v1), terakhir direvisi 19 Des 2023 (versi ini, v2))
Lihat PDF makalah berjudul FLAME: Model bahasa kecil untuk rumus spreadsheet, oleh Harshit Joshi dan 7 penulis lainnya
Lihat PDF HTML (eksperimental)
Abstrak:Spreadsheet adalah alat penting untuk pengelolaan data pengguna akhir. Menggunakan model bahasa berukuran besar untuk bantuan pembuatan rumus di lingkungan ini bisa jadi sulit, karena model ini mahal untuk dilatih dan sulit diterapkan karena ukurannya (hingga miliaran parameter). Kami menghadirkan FLAME, model berbasis transformator yang dilatih secara eksklusif pada rumus Excel yang memanfaatkan wawasan domain untuk mencapai kinerja kompetitif sekaligus jauh lebih kecil (parameter 60 juta) dan melatih data dua kali lipat lebih sedikit. Kami menyusun kumpulan data pelatihan menggunakan deduplikasi sketsa, memperkenalkan tokenizer formula khusus Excel, dan menggunakan versi prediksi rentang bertopeng khusus domain dan pengkodean otomatis yang berisik sebagai tujuan pra-pelatihan. Kami mengevaluasi FLAME pada perbaikan formula, penyelesaian formula, dan pengambilan formula berbasis kesamaan. FLAME dapat mengungguli model yang jauh lebih besar, seperti varian Codex dan CodeT5 (220M) Davinci (175B) dan Cushman (12B), dalam 10 dari 14 pengaturan evaluasi untuk tugas perbaikan dan penyelesaian. Untuk pengambilan rumus, FLAME mengungguli CodeT5, CodeBERT, dan GraphCodeBERT.
Riwayat pengiriman
Dari: Harshit Joshi (lihat email)
(v1)
Sel, 31 Jan 2023 17:29:43 UTC (230 KB)
(v2)
Sel, 19 Des 2023 22:56:39 UTC (422 KB)
