Machynlleth 3B Instruct pwysau agored wedi'i fesur
Model Celtaidd bach 2.67B sy'n perfformio'n well ar Gymraeg ymarferol nag ar y profion rhesymu.
Y model
| Datblygwr | jonpojonpo |
|---|---|
| Model sylfaen | britllm/britllm-3b-v0.1 |
| Maint | 2.67 biliwn o baramedrau |
| Hyfforddiant ychwanegol | 22.4 miliwn o docynnau Celtaidd a Sgoteg, yna 41,025 o sgyrsiau cyfarwyddyd ChatML |
| Cyd-destun | 2,048 o docynnau |
| Trwydded | CC BY-NC 4.0 |
Ffynhonnell: cerdyn Machynlleth 3B Instruct ar Hugging Face.
Canlyniad CymraegBench
| Sgôr gyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | Cyfieithu BLEU |
|---|---|---|---|
| 16.44 | 8.44 | 24.44 | 41.03 |
Profwyd hyd at 100 o achosion o bob un o'r 19 o setiau craidd, gan ddefnyddio'r checkpoint BF16 gwreiddiol drwy vLLM 0.27.1 ar RTX 4090. Defnyddiwyd tymheredd sero, hedyn 1, templed ChatML y model a'i ffenestr gyd-destun frodorol o 2,048 o docynnau. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.
Cwblhaodd y model 2,016 o'r 2,053 o achosion; tarodd 37 o allbynnau y terfyn tocynnau a chawsant eu cofnodi'n annilys â sgôr sero. Ni fu unrhyw wall seilwaith heb ei ddatrys. Mae'r sgôr 16.44 yn ei osod yn bedwerydd ymhlith y modelau agored hyd at 7B ac yn safle 31 o'r 34 model cyfan.
Proffil anghytbwys. Cafodd Machynlleth 90.00 ar eirfa, 72.00 ar regfeydd a 47.00 ar PIQA, ond sero ar MGSM, XNLI, WNLI, CEFR, gramadeg a chofrestrau. Mae BLEU 41.03 yn gryf o'i gymharu â'i sgôr gyffredinol, tra bod y sgôr rhesymu 8.44 yn dangos cyfyngiad clir y model bach.
Archwiliad Iaith CCC
| Is-set | Sgôr |
|---|---|
| Cywiro ac esbonio | 0.00 |
| Priod-ddull | 0.00 |
| Termau | 40.63 |
| Crynhoi a dyfynnu | 4.79 |
| Cyfeiriadau | 25.00 |
| Cyfarwyddyd Cymraeg | 20.00 |
| Cyfarwyddyd Saesneg | 20.00 |
| Cymedr y saith is-set | 15.77 |
Ar yr archwiliad CCC, roedd y canlyniad cryfaf ar dermau. Ni lwyddodd y model i ddewis yr ateb cywir ar y dasg cywiro ac esbonio, er iddo beidio â dyfeisio cyfeiriad ffynhonnell ar yr holl achosion cyfeiriadau.