Mwydryn wedi'i fireinio wedi'i fesur
Arbrawf bach ac agored o Fangor sy'n dangos sut y gellir addasu model eithaf bach ar gyfer y Gymraeg.
Y ffeithiau
| Datblygwr | BangorAI, cyfrif arbrofol sy'n rhan o waith technoleg iaith Bangor |
|---|---|
| Modelau | BangorAI/phi2-mwydryn-1 a BangorAI/mwydryn-7b-fersiwn-2 |
| Dull | Phi-2 (2.7B, Microsoft) → cyn-hyfforddiant parhaus ar y Gymraeg (set BangorAI/phi2-cy-100k) → mireinio ar alpaca-cleaned wedi'i gyfieithu i'r Gymraeg |
| Statws datganedig | Arbrofol — mae'r cerdyn model yn nodi gwendidau o ran cywirdeb ffeithiol a chysondeb |
Pam ei gynnwys ar y sgorfwrdd?
Nid yw'n cystadlu â'r modelau mwyaf, ac nid yw ei grewyr yn honni hynny. Mae ar y sgorfwrdd am ddau reswm. Yn gyntaf, tryloywder: dyma brosiect Cymraeg ar raddfa fach sydd wedi'i ddogfennu'n agored, gam wrth gam, gan gynnwys y data, y dull a'r gwendidau. Yn ail, mae'n rhoi man cychwyn. Er mwyn mesur cynnydd AI yn y Gymraeg dros y blynyddoedd nesaf, mae angen gwybod beth y gall model bach ei wneud yn 2026, nid edrych ar y modelau mwyaf yn unig.
Mae BangorAI hefyd wedi cyhoeddi modelau 7B: Mistral-7B-Cymraeg-Welsh-v2 a Mwydryn 7B fersiwn 2. Cafodd y model sylfaen ei gyn-hyfforddi ymhellach ar ddata Cymraeg ac yna ei fireinio i ddilyn cyfarwyddiadau. Gyda'r modelau hyn, mae BangorAI wedi dangos y broses gyflawn — cyn-hyfforddiant parhaus ac yna mireinio dan oruchwyliaeth — ar raddfa y gall labordy prifysgol ei chynnal.
Canlyniadau CymraegBench v0.1
Profwyd y tri model ar yr un 19 o setiau craidd, gyda hyd at 100 o achosion ym mhob set, tymheredd 0 ac hedyn hap 1. Cafodd pob model hefyd y 232 o achosion yn Archwiliad Iaith CCC. Mae allbwn gwag neu allbwn sy'n cyrraedd y terfyn tocynnau yn sgorio sero.
| Model | Sgôr gyffredinol | Rhesymu | Cymraeg ymarferol | Cyfieithu BLEU | Annilys |
|---|---|---|---|---|---|
| Mwydryn 7B fersiwn 2 | 30.37 | 39.96 | 20.78 | 41.89 | 0.83% |
| Mistral-7B-Cymraeg-Welsh-v2 | 30.09 | 40.85 | 19.33 | 31.39 | 0.49% |
| Mwydryn Phi-2 | 26.90 | 36.47 | 17.33 | 9.11 | 2.83% |
Sgoriodd Mwydryn 7B v2 30.37 a Mistral Cymraeg v2 30.09. Cafodd Mistral 40.85 ar resymu, tra cafodd Mwydryn 7B 20.78 ar Gymraeg ymarferol a 41.89 ar gyfieithu. Sgoriodd Mwydryn Phi-2 26.90 yn gyffredinol a 9.11 ar gyfieithu.
Gweler dadansoddiad y saith model agored neu leol a'r data llawn ar GitHub.