Gemma 4 E4B Cymraeg v4 pwysau agored
Gwerthusiad annibynnol o fodel Cymraeg EryriLabs ar RTX 4090.
Y model
| Datblygwr | EryriLabs |
|---|---|
| Sylfaen | google/gemma-4-E4B-it |
| Maint | 6.9B i gyd; tua 4B effeithiol |
| Hyfforddiant | 43.8 miliwn o docynnau CPT Cymraeg, yna 19,443 o enghreifftiau cyfarwyddyd gyda data ailchwarae. |
| Trwydded a nodir gan y datblygwr | Apache-2.0 |
Mae pwysau BF16 cyfun, addaswyr CPT/SFT a fersiynau GGUF ar gael. Profwyd Q8_0 yma, nid BF16.
Mae’r datblygwr yn nodi risg o ailadrodd mewn atebion hir, ffeithiau anghywir a dyfynnu gormodol. Nid prawf o ddiogelwch na barn siaradwyr Cymraeg yw’r meincnod hwn.
Ein canlyniad CymraegBench
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 49.70 | 51.39 | 48.00 | 40.23 |
2,053 o achosion wedi’u sgorio; 0 allbwn annilys (0.0%), 0 gwrthodiad. Dim gwall seilwaith ar ôl.
Ailbrofwyd 9 o fethiannau’r rhediad cyntaf; cafwyd ateb cyflawn ym mhob achos.
Protocol a dibynadwyedd
CymraegBench v0.1: hyd at 100 o achosion ym mhob set graidd, hedyn 1, tymheredd 0, llawr allbwn 512 tocyn, meddwl wedi’i ddiffodd a thempled sgwrs y model. Mae 19 set graidd a 232 achos CCC; nid yw CCC na BLEU yn cyfrannu at y sgôr gyffredinol.
RTX 4090 ar b4090; GGUF Q8_0 drwy llama.cpp b12019; pedwar cais cyfochrog a 16,384 tocyn cyd-destun fesul slot. Cedwir copi cyn ailbrofi. Ailbrofir methiannau yn unig gyda llawr 2,048 tocyn a repeat_penalty 1.05 wedi’i orfodi ar y gweinydd. Mae methiant allbwn parhaol yn sgorio sero; mae gwall seilwaith yn atal cwblhau.
Adolygiad y pwysau: b415f5c752bb4bf91ede4bbaf9236d45cb948837
Archwiliad Iaith CCC
| Crynhoi a dyfynnu | 96.07 |
|---|---|
| Cyfarwyddyd Cymraeg | 93.33 |
| Cyfarwyddyd Saesneg | 100.00 |
| Cyfeiriadau | 69.06 |
| Cywiro ac esbonio | 27.81 |
| Priod-ddulliau | 56.25 |
| Termau | 50.00 |
Cymedr y saith is-set: 70.36
Canlyniadau’r datblygwr — ar wahân
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 49.64 | 51.39 | 47.89 | 39.80 |
Dyma’r rhifau a gyflwynwyd yn issue #3, nid canlyniadau ein rhediad. Gall fersiwn yr harnais, maint cyd-destun fesul slot a’r gosodiad ailbrofi effeithiol newid y canlyniad.