BritLLM Caernarfon 3B pwysau agored wedi'i fesur
Model sylfaen amlieithog 3B sy'n gallu parhau testun Cymraeg, ond nad yw wedi'i fireinio i ddilyn cyfarwyddiadau.
Y model
| Datblygwr | BritLLM, dan arweiniad grŵp NLP University College London |
|---|---|
| Checkpoint | britllm/britllm-3b-v0.1, a elwir hefyd yn Caernarfon 3B |
| Math | Model sylfaen amrwd; nid model sgwrsio na chyfarwyddyd |
| Maint a manylder | 3 biliwn o baramedrau, FP16 |
| Rhag-hyfforddiant | Dros 1.4 triliwn o docynnau; Saesneg ynghyd â data Cymraeg, Gwyddeleg, Gaeleg yr Alban a Sgoteg |
| Cyd-destun | 2,048 o docynnau |
| Trwydded | Open Data Commons Attribution (ODC-By) 1.0 |
Ffynonellau: cerdyn y model a gwefan swyddogol BritLLM.
Canlyniad CymraegBench
| Sgôr gyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | Cyfieithu BLEU |
|---|---|---|---|
| 0.00 | 0.00 | 0.00 | 14.94 |
Profwyd hyd at 100 o achosion o bob un o'r 19 o setiau craidd, ynghyd â'r 232 o achosion CCC, gan ddefnyddio'r checkpoint FP16 gwreiddiol drwy vLLM 0.27.1 ar RTX 4090. Defnyddiwyd tymheredd sero, hedyn 1 a ffenestr gyd-destun frodorol o 2,048 o docynnau.
Nid oes gan y model dempled sgwrsio brodorol. Er mwyn gallu defnyddio'r un harnais, fformatiwyd pob cais fel testun plaen â'r labeli Defnyddiwr: a Cynorthwyydd:. Rhoddwyd o leiaf 512 o docynnau allbwn i bob achos cyn cofnodi ateb anghyflawn. Mae hwn yn fesur teg o ddilyn cyfarwyddiadau cyn fireinio, nid prawf tebygolrwydd dewisiadau lluosog.
Cwblhaodd y model 886 o'r 2,053 o achosion yn naturiol; cyrhaeddodd 1,167 y terfyn allbwn a chawsant eu cofnodi'n annilys â sgôr sero. Ni fu unrhyw wall seilwaith heb ei ddatrys. Ni chafodd yr un o'r atebion craidd sgôr, er bod BLEU y corpws cyfieithu yn 14.94.
Beth mae sero yn ei olygu yma? Mae'r model yn aml yn cynhyrchu neu'n ailadrodd testun Cymraeg a Saesneg, ond nid yw'n dychwelyd yr ateb byr a ofynnir amdano. Mae sgôr BritEval Cymraeg 55.2 a gyhoeddwyd gan BritLLM yn defnyddio protocol dewisiadau lluosog gwahanol ac nid yw'n gwrth-ddweud y canlyniad cynhyrchu hwn. Mae Machynlleth 3B Instruct, sy'n deillio o'r checkpoint hwn, yn codi i 16.44 ac yn gostwng y gyfradd annilys i 1.80% ar ôl rhag-hyfforddiant Celtaidd a mireinio cyfarwyddyd.
Archwiliad Iaith CCC
| Is-set | Sgôr |
|---|---|
| Cywiro ac esbonio | 0.00 |
| Priod-ddull | 0.00 |
| Termau | 0.00 |
| Crynhoi a dyfynnu | 0.00 |
| Cyfeiriadau | 7.19 |
| Cyfarwyddyd Cymraeg | 0.00 |
| Cyfarwyddyd Saesneg | 12.50 |
| Cymedr y saith is-set | 2.81 |
Mae'r sgoriau bach ar gyfeiriadau a chyfarwyddyd Saesneg yn deillio'n bennaf o beidio â dyfeisio ffynonellau annerbyniol, nid o gwblhau'r dasg. Ni chafodd y model bwynt am ateb, cywiro, esbonio, priod-ddull, term, crynodeb na dewis ffynhonnell.