Caernarfon 3B Cymraeg Instruct v0.1 agored wedi'i fesur
Addasydd LoRA Cymraeg arbrofol Bangor AI sy'n troi model sylfaen Caernarfon yn fodel sy'n gallu dilyn cyfarwyddiadau.
Yr hyfforddiant
| Datblygwr yr addasydd | Bangor AI — arbrawf annibynnol, nid datganiad swyddogol gan BritLLM nac UCL |
|---|---|
| Model sylfaen | britllm/britllm-3b-v0.1: 3 biliwn o baramedrau, wedi'i gyn-hyfforddi ar Isambard-AI |
| Data cyfarwyddyd | BangorAI/alpaca-cy-1: 50,867 o enghreifftiau unigryw; 50,613 ar gyfer hyfforddi a 254 ar gyfer dilysu |
| Dull | Un cylch drwy’r data hyfforddi (epoch); LoRA r=32; cyfradd ddysgu 2×10⁻⁴; colled hyfforddi 0.7981 a cholled dilysu 0.7368 |
| Cyd-destun | 2,048 o docynnau — terfyn gwreiddiol y model sylfaen |
Canlyniad CymraegBench: pob un o'r 33,657 o achosion
Cwblhaodd y model 32,473 o achosion; cofnodwyd 1,184 (3.52%) yn annilys ac ni fu unrhyw wall seilwaith ar ddiwedd y profion. Y sgôr gyffredinol yw 10.83, sy'n gosod y model yn ail ar hugain ar y sgorfwrdd 23 model.
| Sgôr | Canlyniad |
|---|---|
| Sgôr gyffredinol | 10.83 |
| Rhesymu Cymraeg | 16.80 |
| Cymraeg ymarferol | 4.86 |
| Cyfieithu deddfwriaeth — BLEU | 22.00 |
Mae'r mireinio wedi gwella'r gallu i ymateb i gyfarwyddiadau'n sylweddol: sgoriodd y model 49.80 ar COPA a 47.84 ar PIQA. Fodd bynnag, mae llawer o'r profion Cymraeg ymarferol yn dal ar sero, ac mae'r bwlch rhwng sgôr rhesymu 16.80 a sgôr ymarferol 4.86 yn dangos mai dechrau'r gwaith yw hwn, nid model Cymraeg gorffenedig.
Roedd tri chyfarwyddyd CEFR yn rhy hir i ffenestr gyd-destun 2,048 o docynnau’r model hyd yn oed ar ôl lleihau'r terfyn allbwn i wyth tocyn. Cofnodwyd y rhain, ac unrhyw allbwn arall a darodd derfyn y model, fel rhai annilys â sgôr sero. Mae'r sgoriau fesul set, y dimensiynau CCC a'r metadata ar gael yn agored.
- Lawrlwytho sgoriau'r setiau (CSV)
- Lawrlwytho dimensiynau CCC (CSV)
- Lawrlwytho manylion y prawf (JSON)
Beth ddigwyddodd i'r hen sgôr sero? Canlyniad y prawf ar fodel sylfaenol Caernarfon 3B oedd hwnnw, cyn unrhyw fireinio i ddilyn cyfarwyddiadau. Mae ffeiliau'r prawf yn yr archif er mwyn tryloywder, ond mae'r model sylfaenol wedi'i dynnu o'r prif sgorfwrdd gan fod Caernarfon Cymraeg Instruct bellach yn fesur mwy defnyddiol.
Mae canlyniad BritEval 55.2 a gyhoeddwyd ar gyfer y model sylfaenol yn defnyddio protocol gwahanol ac nid oes modd ei gymharu'n uniongyrchol â sgôr gyffredinol CymraegBench. Gweler y gymhariaeth lawn o'r modelau agored.