Gemma 4 12B Cymraeg v6 pwysau agored
Gwerthusiad annibynnol o fodel Cymraeg EryriLabs ar RTX 4090.
Y model
| Datblygwr | EryriLabs |
|---|---|
| Sylfaen | google/gemma-4-12b-it |
| Maint | 12 biliwn o baramedrau |
| Hyfforddiant | Tua 307 miliwn o docynnau CPT Cymraeg mewn dau floc dilyniannol, yna mireinio ar sgyrsiau gyda data ailchwarae. |
| Trwydded a nodir gan y datblygwr | Apache-2.0 |
Mae GGUF cyfun ac addasydd SFT ar gael. Yn ôl y cerdyn cyfredol, nid yw’r pwysau BF16 cyfun na’r ddau addasydd CPT yn gyhoeddus; ni ellir ail-greu’r cyfuniad yn llawn o’r ffynonellau cyhoeddus.
Mae’r datblygwr yn rhybuddio y gall atebion hir gyda datgodio barus ailadrodd neu lithro i’r Saesneg. Mae’r protocol tymheredd-sero yma’n wahanol i’r gosodiadau sgwrsio a argymhellir.
Ein canlyniad CymraegBench
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 52.70 | 54.52 | 50.89 | 52.30 |
2,053 o achosion wedi’u sgorio; 0 allbwn annilys (0.0%), 0 gwrthodiad. Dim gwall seilwaith ar ôl.
Ailbrofwyd 6 o fethiannau’r rhediad cyntaf; cafwyd ateb cyflawn ym mhob achos.
Protocol a dibynadwyedd
CymraegBench v0.1: hyd at 100 o achosion ym mhob set graidd, hedyn 1, tymheredd 0, llawr allbwn 512 tocyn, meddwl wedi’i ddiffodd a thempled sgwrs y model. Mae 19 set graidd a 232 achos CCC; nid yw CCC na BLEU yn cyfrannu at y sgôr gyffredinol.
RTX 4090 ar b4090; GGUF Q8_0 drwy llama.cpp b12019; pedwar cais cyfochrog a 16,384 tocyn cyd-destun fesul slot. Cedwir copi cyn ailbrofi. Ailbrofir methiannau yn unig gyda llawr 2,048 tocyn a repeat_penalty 1.05 wedi’i orfodi ar y gweinydd. Mae methiant allbwn parhaol yn sgorio sero; mae gwall seilwaith yn atal cwblhau.
Adolygiad y pwysau: 748c37bb3b9d088befb17b7196ff9f2010e3df5d
Archwiliad Iaith CCC
| Crynhoi a dyfynnu | 81.08 |
|---|---|
| Cyfarwyddyd Cymraeg | 100.00 |
| Cyfarwyddyd Saesneg | 86.67 |
| Cyfeiriadau | 48.44 |
| Cywiro ac esbonio | 34.22 |
| Priod-ddulliau | 71.88 |
| Termau | 65.62 |
Cymedr y saith is-set: 69.70
Canlyniadau’r datblygwr — ar wahân
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 52.70 | 54.74 | 50.67 | 52.45 |
Dyma’r rhifau a gyflwynwyd yn issue #3, nid canlyniadau ein rhediad. Gall fersiwn yr harnais, maint cyd-destun fesul slot a’r gosodiad ailbrofi effeithiol newid y canlyniad.