Grasmere E4B (Q8_0) pwysau agored
Cymhariaeth annibynnol o Grasmere E4B a Grasmere E4B FTPO gan jonpojonpo, ill dau yn Q8_0 ac yn seiliedig ar Gemma 4 E4B-it. Mae FTPO yn gam hyfforddi ychwanegol i leihau ailadrodd, nid dim ond meintioli gwahanol.
Ein canlyniad CymraegBench
| Model | Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU | Annilys |
|---|---|---|---|---|---|
| Grasmere E4B | 50.47 | 53.61 | 47.33 | 46.57 | 0.10% |
| Grasmere E4B FTPO | 50.54 | 53.30 | 47.78 | 41.99 | 0.00% |
Ar gyfer pob fersiwn, dewiswyd y rhediad â’r sgôr gyffredinol uchaf o dri rhediad annibynnol gyda’r un hedyn (1). Daw holl fesuriadau pob fersiwn o’r rhediad a ddewiswyd ar ei chyfer.
Sgoriwyd 2,053 o achosion ym mhob rhediad a ddewiswyd. Roedd gan y gwreiddiol ddau allbwn annilys (0.10%) a sgoriodd sero. Roedd gan FTPO un methiant cychwynnol a lwyddodd wrth ailbrofi: dim allbynnau annilys ar ôl. Nid oedd gwrthodiadau na gwallau seilwaith heb eu datrys yn y naill na’r llall.
Mae’r sgorau cyffredinol yn debyg iawn. Mae FTPO yn gwella’r sgôr Cymraeg ymarferol ac yn dileu’r allbynnau annilys yn y rhediad a ddewiswyd, ond mae BLEU cyfieithu yn gostwng o 46.57 i 41.99. Nid yw’r profion hyn yn sefydlu sefydlogrwydd mewn sgyrsiau hir.
Protocol a dibynadwyedd
CymraegBench v0.1: hyd at 100 o achosion ym mhob set graidd, hedyn 1, tymheredd 0, llawr allbwn 512 tocyn, meddwl wedi’i ddiffodd a thempled sgwrs y model. Mae 19 set graidd a 232 achos CCC; nid yw CCC na BLEU yn cyfrannu at y sgôr gyffredinol.
Cedwir copi cyn ailbrofi. Ailbrofir methiannau yn unig gyda llawr 2,048 tocyn a repeat_penalty 1.05 wedi’i orfodi ar y gweinydd. Mae methiant allbwn parhaol yn sgorio sero; mae gwall seilwaith yn atal cwblhau.
Mae’r datblygwr yn rhybuddio am ailadrodd mewn atebion hir ac yn argymell y fersiwn FTPO ar gyfer defnydd bob dydd. Nid yw sgôr meincnod yn cymryd lle gwerthusiad gan siaradwyr Cymraeg.
Archwiliad Iaith CCC
| Is-set | Grasmere E4B | Grasmere E4B FTPO |
|---|---|---|
| Crynhoi a dyfynnu | 89.76 | 88.30 |
| Cyfarwyddyd Cymraeg | 100.00 | 96.67 |
| Cyfarwyddyd Saesneg | 91.67 | 91.67 |
| Cyfeiriadau | 73.75 | 67.19 |
| Cywiro ac esbonio | 16.72 | 19.06 |
| Priod-ddulliau | 78.12 | 78.12 |
| Termau | 37.50 | 37.50 |
| Cymedr | 69.65 | 68.36 |