Gwerthuso AI yn y Gymraeg

Pa mor dda y mae'r peiriannau'n defnyddio'r Gymraeg? Gan nad oes sgorfwrdd cyhoeddus arall, rydym yn cofnodi'r canlyniadau yma.

Dyma'r bwlch a'n sbardunodd i sefydlu'r AIsteddfod: nid oes yr un o'r prif labordai — OpenAI, Anthropic, Meta, xAI, Moonshot, Zhipu na DeepSeek — yn cyhoeddi canlyniadau meincnodi ar gyfer y Gymraeg. Dim ond tua 10–15 o ieithoedd sydd fel arfer yn eu tablau amlieithog, ac nid yw'r Gymraeg yn eu plith. Daw bron pob adnodd meintiol ar gyfer gwerthuso'r Gymraeg o waith academaidd ym Mhrydain: BritLLM/UK-LLM yn UCL, Techiaith ym Mhrifysgol Bangor, a Cardiff NLP. Ceir catalog llawn ar dudalen y setiau profion, a manylion y protocolau a'r dulliau sicrhau ansawdd yn ein methodoleg.

Mae maint y bwlch yn amlwg yn y data hyfforddi. Dim ond tua 0.065% o ddata PaLM oedd yn Gymraeg, a thua 0.00177% yn unig o ddata hyfforddi GPT-3, yn ôl ffigurau Prys a Jones drwy Techiaith. Ychydig iawn o ddeunydd Cymraeg, felly, sydd wrth wraidd y galluoedd a fesurir isod.

CymraegBench v0.1: yr un model ar bymtheg blaenllaw

Mae'r brif sampl bellach yn cynnwys 31,920 o ymatebion gan yr un model ar bymtheg uchaf ar 19 o setiau profion Cymraeg, ac mae pob gwall seilwaith wedi'i ddatrys. Defnyddiwyd hyd at 100 o achosion o bob set, wedi'u dewis drwy ddull sy'n rhoi'r un achosion bob tro, ag hedyn hap 1 lle'r oedd y darparwr yn ei gynnal, a'r un harnais ar gyfer pob model. Mae'r canlyniadau cyfanredol, sgoriau pob set a'r manylion sydd eu hangen i ailadrodd y profion ar gael yn agored yn BangorAI/cymraeg-bench.

Sut y cyfrifir y sgôr gyffredinol: Rhoddir pwysau o 50% i gyfartaledd y naw prawf rhesymu Cymraeg a 50% i gyfartaledd y naw prawf Cymraeg ymarferol. O fewn pob grŵp, mae pob prawf yn cyfrif cymaint â'i gilydd. Mae BLEU y prawf cyfieithu deddfwriaeth yn fesur corpws ar wahân ac nid yw'n rhan o'r sgôr gyffredinol. Cafodd pob model sgôr ar 100% o’r achosion; mae WNLI yn cynnwys 71 o achosion ac ARC-Easy mini 50. Sgoriodd gwrthodiad neu allbwn annilys sero. Rhedwyd GPT-6 Astra, Opus 5.5, Opus 5, Fable 5.1, Fable 5, Muse Spark 1.2, Muse Glimmer 30B, GLM-5.3 Flash a GLM-5.3 ag effort=low; hepgorwyd temperature ar gyfer GPT-6 gan nad yw'r API yn ei dderbyn. Ar y ddwy set ddeuaidd, derbynnir label Y/N clir ar ddechrau ateb hyd yn oed os oes esboniad ar ei ôl. Sgoriwyd yr ateb terfynol yn unig ar gyfer y modelau rhesymu.

Y sgorfwrdd estynedig: modelau Cymraeg agored

Mae'r sgorfwrdd estynedig bellach yn cynnwys 27 model a 117,015 o ymatebion. Profwyd Jupiter-N-120B a Chaernarfon 3B Cymraeg Instruct v0.1 ar y set gyhoeddus lawn — 33,657 o achosion yr un — a phrofwyd y 25 model arall ar samplau o hyd at 100 o achosion o bob set. Defnyddir yr un 19 o setiau craidd a'r un fformiwla ym mhob prawf; defnyddiwyd hedyn hap 1 lle'r oedd y darparwr yn ei gynnal. Adroddir ar y 232 o achosion Archwiliad Iaith CCC ar wahân.

Mae allbwn gwag, allbwn sy'n cyrraedd y terfyn tocynnau neu gyfarwyddyd sy’n hirach na ffenestr gyd-destun y model yn annilys ac yn sgorio sero. Mae'r ddau brawf ar y set lawn yn rhoi amcangyfrif mwy sefydlog na'r samplau blaenorol, felly dylid trin cymariaethau manwl â'r samplau fel rhai dangosol. Mae prawf ar yr hen fodel sylfaenol Caernarfon 3B yn yr archif o hyd, ond mae wedi'i dynnu o'r prif dabl gan fod y fersiwn sy’n dilyn cyfarwyddiadau bellach ar gael. Darllen y dadansoddiad a lawrlwytho'r data →

Archwiliad Iaith CCC: canlyniadau beta

Rydym hefyd wedi profi 23 model ar 232 o achosion sy'n troi canfyddiadau adroddiad y Coleg Cymraeg am AI, y Gymraeg ac addysg uwch yn brofion ailadroddadwy. Claude Opus 5.5 a gafodd y cymedr uchaf ar draws y saith is-set, sef 96.76; Claude Fable 5 sydd nesaf ar 95.60, ac yna Claude Fable 5.1 ar 93.88. Mae'r proffil fesul gallu, nid yr un cymedr, yn parhau'n brif ganlyniad yr archwiliad. Gweld y canlyniadau, y dimensiynau a'r data i'w lawrlwytho →

Mesuriadau cyfeirio hŷn BritEval Cymraeg (cymedr, o llm.org.uk): Caernarfon 3B 55.2; Mistral 7B 63.0; Llama 3 8B 62.7. Nid oes modd cymharu'r rhain yn uniongyrchol â sgôr gyffredinol CymraegBench, sy'n cyfuno 18 o setiau. Ar gyfer Jupiter-N, cyhoeddwyd gwelliant o +18 ar ARC-Easy Cymraeg a +5.25 ar MMLU-Lite Cymraeg yn hytrach na chymedr BritEval.

Sgorfwrdd y gynghanedd

Mae protocol Bangor AI yn cyfrannu mesur cyhoeddedig o allu modelau i lunio barddoniaeth gaeth Gymraeg. Mae'n defnyddio 40 o themâu na welwyd wrth hyfforddi, pum cynnig ar bob thema, ac un cyfle yn unig i ateb — heb gylch adborth nac awgrymiadau odli. Caiff pob llinell ei barnu gan beiriant rheolau'r gynghanedd, a storfa'r prosiect yw BangorAI/cynghanedd.

* Dychwelodd Sol 85 o'r 200 o linellau y gofynnwyd amdanynt, sef 42.5% o'r nifer y gofynnwyd amdano; unigryw oedd pob un o'r 85. Cafodd y 115 o linellau na ddychwelwyd sero yn y ddwy golofn ganran. Barnwyd perthnasedd y llinellau glân a dilys gan Claude Opus 4.8, yn annibynnol ar y model a'u cynhyrchodd. † Cyfrifwyd rhesi Opus a'r model 9B gyda fersiwn gynharach o'r gwiriwr ac maent yn aros am ail-sgorio o'r allbwn crai.

Modelau rydym yn eu holrhain

Modelau blaenllaw

Modelau agored

Modelau wedi’u hyfforddi ar y Gymraeg