Setiau profion Cymraeg
Y profion sydd ar gael i fesur Cymraeg y peiriannau — a'r meysydd lle nad oes data eto.
Prin yw'r meincnodau Cymraeg. Er bod cannoedd o brofion ar gael ar gyfer y Saesneg, gellir crynhoi'r prif adnoddau Cymraeg ar un dudalen. Tair ffynhonnell academaidd sy'n cynnal y maes: UCL (BritLLM/UK-LLM), Prifysgol Bangor (Techiaith), a Chaerdydd (Cardiff NLP). At y rhain ychwanegir protocol profi cynghanedd Bangor AI.
BritEval (BritLLM / UK-LLM, UCL)
Meincnodau safonol a addaswyd drwy gyfieithu peirianyddol i'r Gymraeg, y Wyddeleg, y Sgoteg a Gaeleg yr Alban. Dyma'r setiau Cymraeg:
| Set | Beth mae'n ei fesur | Maint | Dolen |
|---|---|---|---|
| arc_welsh | Cwestiynau gwyddoniaeth amlddewis (ARC-Easy + ARC-Challenge) | 7,722 rhes | HF |
| piqa_welsh | Synnwyr cyffredin ffisegol | — | HF |
| truthfulqa_welsh | Geirwiredd (fformat amlddewis mc1/mc2) | 750 rhes | HF |
| xnli_brit | Dod i gasgliadau ar sail testun yn ieithoedd Prydain | 9,690 rhes | HF |
Ymhlith y sgoriau cyhoeddedig sy'n cymharu modelau yn y Gymraeg mae cymedrau BritEval ar llm.org.uk: Caernarfon 3B 55.2, Mistral 7B 63.0, Llama 3 8B 62.7.
llm-evals-cy (techiaith, Prifysgol Bangor)
Harnais gwerthuso â deg prawf, wedi'i adeiladu ar DeepEval a LiteLLM ac yn cefnogi OpenAI, Anthropic ac Ollama. Mae ar gael ar GitHub. Dyma'r deg prawf:
welsh-lexicon · welsh-grammar · welsh-yes-no · welsh-obscenities · welsh-bilingual-placenames · welsh-legislation-translation (BLEU) · welsh-registers · welsh-mmlu-lite · welsh-toxigen · welsh-arc-easy-mini-cy
Mae dau o'r profion yn benodol iawn i'r Gymraeg: welsh-yes-no — gan nad oes un pâr syml o eiriau ar gyfer «yes» a «no», rhaid dewis rhwng ffurfiau fel ydy, oes, do a gwnaf — a welsh-bilingual-placenames. Nid oes sgorfwrdd cyhoeddus yn y storfa ar hyn o bryd, a bwriadwn lenwi'r bwlch hwnnw.
Setiau techiaith eraill
| Set | Beth mae'n ei fesur | Maint | Trwydded | Dolen |
|---|---|---|---|---|
| mgsm_cy | Problemau mathemateg ysgol ar ffurf cwestiynau geiriol, gyda chamau'r atebion wedi'u dangos | 258 rhes (8 hyfforddi / 250 prawf) | CC-BY-SA-4.0 | HF |
| COPA-cy | Rhesymu am achos ac effaith (dewis yr esboniad tebygol) | 1,500 rhes (1,000 / 500) | CC-BY-4.0 | HF |
| wnli-cy | Dod i gasgliadau ar sail testun Cymraeg | gweler y cerdyn | gweler y cerdyn | HF |
Mae'r catalog Techiaith a Dewi Bryn Jones hefyd yn rhestru data ToxiGen, Macsen a'r setiau gwerthuso lleferydd.
welsh-cefr (Cardiff NLP)
2,658 rhes o ddeunyddiau dysgu Cymraeg (deialogau, ymarferion, darnau darllen o learnwelsh.cymru) wedi'u labelu yn ôl lefelau hyfedredd CEFR, ynghyd â dau ddosbarthwr parod: WelshCEFR-BritLLM (3B) a WelshCEFR-EuroBert (0.2B). Ariannwyd drwy grant «CEFR Analyser» Llywodraeth Cymru. Dolen HF.
Protocol y gynghanedd (Bangor AI)
Un o gyfraniadau Bangor AI i'r maes yw mesur cyhoeddedig o farddoniaeth gaeth a gynhyrchir gan fodel. Storfa prosiect y gwiriwr yw BangorAI/cynghanedd, ac mae dwy ran i'r protocol:
- Y protocol set gudd: 40 o themâu na welwyd wrth hyfforddi, pum cynnig ar bob thema, ac un cyfle i ateb. Caiff pob llinell ei barnu gan beiriant rheolau'r gynghanedd — croes, traws, sain, llusg a'r beiau y mae'r gwiriwr wedi'i raglennu i'w canfod — ac wedyn gan fodel semantig sy'n mesur ei haddasrwydd i'r thema. Y mesurau yw dilys-am-7 crai, addas+dilys+newydd, a nifer y llinellau unigryw. Gwiriwn a yw'r llinellau'n newydd drwy eu cymharu â chiplun o'r data hyfforddi ar yr adeg y cafodd y model ei hyfforddi. Mae angen ail-sgorio pob model pan newidir rheolau'r gwiriwr, ac nid yw dyfarniad peiriant yn disodli adolygiad llenyddol dynol.
- Meincnod Barddas: 188 o gerddi caeth wedi'u labelu — englynion, cywyddau, gwawdodynnau, hir-a-thoddeidiau a mwy, 1,092 llinell — o naw rhifyn o gylchgrawn Barddas, gyda rhaniad hyfforddi/meincnod caeth fel na phrofir yr un model ar ddeunydd a welodd.
Y bylchau
Mae nifer o fylchau pwysig yn y profion sydd ar gael:
- Dim astudiaeth o effeithlonrwydd tocynnu ar gyfer y Gymraeg — faint yn fwy o docynnau sydd eu hangen ar destun Cymraeg na'i gyfieithiad Saesneg gyda thocyneiddwyr y prif labordai? Mae astudiaethau tebyg ar gael ar gyfer y Roeg, y Bwyleg a Thai, ond nid ar gyfer y Gymraeg.
- Dim gwerthusiad arholiad CBAC neu TGAU — nid oes astudiaeth gyhoeddus lle mae model yn sefyll papur Cymraeg go iawn.
- Prin yw'r sgorfyrddau cyhoeddus — mae'r AIsteddfod yn cyhoeddi un cyfraniad y gellir ei ailadrodd a'i gymharu.
Gweler y sgorfwrdd am ganlyniadau'r modelau, ac adran Ymchwil Bangor AI am y dulliau.