Pelikan dengan sepeda. Saya memutuskan untuk meluncurkan tolok ukur LLM saya sendiri: seberapa baik berbagai model dapat menampilkan SVG seekor pelikan yang sedang mengendarai sepeda?
Saya memilih itu karena a) Saya suka pelikan dan b) Saya cukup yakin tidak ada file SVG pelikan di sepeda yang beredar (belum) yang mungkin sudah tersedot ke dalam data pelatihan.
Perintah saya:
Generate an SVG of a pelican riding a bicycle
Saya telah menjalankannya melalui 16 model sejauh ini – dari OpenAI, Anthropic, Google Gemini dan Meta (Llama berjalan di Cerebras), semuanya menggunakan saya LLM utilitas CLI. Ini milikku (Claude membantu) Skrip pesta: menghasilkan-svgs.sh
Berikut Claude 3.5 Soneta (20-06-2024) dan Claude 3.5 Soneta (22-10-2024):
Gemini 1.5 Flash 001 dan Gemini 1.5 Flash 002:
GPT-4o mini dan GPT-4o:
o1-mini dan o1-pratinjau:
Otak Llama 3.1 70B dan Llama 3.1 8B:
Dan perhatian khusus untuk Gemini 1.5 Flash 8B:
Sisanya adalah ditautkan dari README.
