«Deallusrwydd Artiffisial (AI), y Gymraeg ac Addysg Uwch»
Yr astudiaeth fanylaf hyd yma o sut mae'r prif offer AI yn trin Cymraeg go iawn — o ramadeg a threigladau i arddull a chyfeiriadau.
Ym Mehefin 2026, cyhoeddodd Kara Lewis a thîm Canolfan Gwasanaethau Cymraeg Prifysgol Cymru Y Drindod Dewi Sant (PCYDDS), gyda nawdd y Coleg Cymraeg Cenedlaethol, adroddiad 70 tudalen a oedd yn gwneud rhywbeth newydd: rhoi testunau academaidd Cymraeg go iawn i ChatGPT, Copilot, Gemini, Claude a Perplexity, ac asesu'r canlyniadau fel y byddai tiwtor iaith yn eu hasesu.
I'r AIsteddfod, dyma'r meincnod ansoddol pwysicaf a gyhoeddwyd eleni. Mae ein gwerthusiadau meintiol yn mesur faint y mae modelau'n ei gael yn gywir; mae'r adroddiad hwn yn dangos sut maent yn methu.
Canlyniadau newydd: rydym wedi troi categorïau’r adroddiad yn 232 o achosion agored ac wedi profi pedwar model ar bymtheg. Ymhlith yr 17 model blaenllaw, roedd y sgôr cywiro rhwng 8.59 a 46.87 pwynt canran yn uwch na'r sgôr esbonio. Gweld canlyniadau beta Archwiliad Iaith CCC →
Y tri chwestiwn
Mae'r ymchwil yn mynd i'r afael â thri chwestiwn. Dyma grynodeb o atebion yr adroddiad:
1. Ymarferoldeb: A all offer AI ymdrin yn effeithiol â mewnbwn ac allbwn Cymraeg? «Gall. Ond, nid yw'r darlun yn wastad nac yn gyson.»
2. Cywirdeb: Beth yw lefel y cywirdeb ieithyddol? «Dengys yr enghreifftiau… fod safon yr iaith a allbynnir yn ddefnyddiol, ac nid yw'r anghysondebau'n rhwystr. Mae angen datblygiadau o ran priod-ddull y Gymraeg.»
3. Hygyrchedd: I ba raddau y gellir cyrchu cynnwys Cymraeg trwy AI? «Nid yw'r iaith bob amser yn ddibynadwy, yn gywir nac yn Gymreig ei naws. Bydd angen gwirio, a dibynnu ar wybodaeth ddynol.»
Yr hyn a brofwyd
Gosododd y tîm wallau bwriadol mewn traethodau enghreifftiol ym meysydd seicoleg, chwaraeon a llenyddiaeth Gymraeg: treigladau anghywir, cystrawen Seisnig, dryswch rhwng a ac ac, rhwng mewn ac yn, a gwallau yn y ffurfiau negyddol. Yna gofynnwyd i'r offer gywiro ac esbonio'r gwallau. Dyma'r prif ganfyddiadau:
- Mae'r cywiro'n dda; yr esbonio sy'n wan. Llwyddodd ChatGPT a Copilot i gywiro «nifer sylweddol o wallau iaith a gramadeg», ond «nid yw'r esboniadau a gynigir… yn ddigon manwl, cywir na chyson i fod yn ystyrlon». Er enghraifft, cywirodd y ddau declyn dreiglad yn gywir, ond dim ond un a lwyddodd i esbonio pam («treiglad meddal pan fydd ansoddair yn dilyn 'yn' traethiadol»).
- Mae'r offer eu hunain yn gwneud gwallau Cymraeg wrth esbonio. «"Apps" yw benthyciad o'r Saesneg» — cystrawen bwyslais lle nad oes angen pwyslais — a bathiadau fel «hunanganolig» (Claude), «theorïol» (Copilot) ac «ymddygiadoliaeth» (Copilot) yn lle'r termau safonol.
- Mae'r crynhoi'n dda, ond gellir colli gwybodaeth. Wrth geisio gwella darllenadwyedd, gall yr offer hepgor gwybodaeth wrth grynhoi, a gallant gywiro dyfyniadau «heb warant fod y cywiriadau'n seiliedig ar y ffynonellau gwreiddiol».
- Cyfeiriadau ffug. Pan ofynnwyd i ChatGPT gynnig ffynonellau ar gyfer yr adroddiad ei hun, roedd dwy o'r pum ffynhonnell naill ai'n ffug neu heb eu cadarnhau, a chyflwynwyd pob un ohonynt «mewn dull cwbl gredadwy».
Effaith iaith y cyfarwyddyd
Y rhan fwyaf defnyddiol yn ymarferol yw'r gyfres o arbrofion ar Gynorthwyydd Ymchwil Primo (PRA), rhyngwyneb chwilio AI sy'n defnyddio GPT-4.1 Mini ac a ddefnyddir gan bob llyfrgell brifysgol yng Nghymru drwy gonsortiwm WHELF:
- Ni chafodd iaith y rhyngwyneb fawr o effaith ar yr allbwn.
- Mae iaith y cyfarwyddyd yn cael effaith: mae rhoi cyfarwyddyd Cymraeg yn arwain at ddod o hyd i ffynonellau Cymraeg, ond gall ffynonellau Saesneg barhau i gael blaenoriaeth mewn meysydd lle mae mwy o ddeunydd Saesneg ar gael, oherwydd metadata, traffig gwe a theitlau «trymach eu pwysau» yn y catalog.
- Gall un frawddeg newid y canlyniad: ar ôl ychwanegu «Creu'r ymholiad gyda'r Gymraeg yn unig» at ddiwedd y cyfarwyddyd, diflannodd y Saesneg o'r ymholiad Boole, a rhoddwyd llawer mwy o flaenoriaeth i ffynonellau Cymraeg. Gweithiodd y dull beth bynnag oedd iaith y cyfarwyddyd gwreiddiol.
Mae hyn yn crynhoi un o wersi mawr y maes: nid yw'r Gymraeg o reidrwydd ar goll o'r systemau, ond mae angen gofyn yn benodol amdani.
Cymru wrth wraidd y dechnoleg
Mae Cymru wedi cyfrannu at greu'r dechnoleg sy'n ail-lunio'r byd, ond y dasg sydd o'n blaenau bellach yw sicrhau bod y Gymraeg yn gallu manteisio'n llawn ar ei buddion.
— yr adroddiad, wrth nodi mai Cymro, Llion Jones, oedd un o gyd-awduron pensaernïaeth y Transformer (Vaswani et al., 2017)
Mae'r adroddiad hefyd yn nodi bod gan Lywodraeth Cymru bartneriaeth ag OpenAI i rannu data, a'i bod yn cydweithio â Microsoft i alluogi cyfarwyddiadau Cymraeg yn Copilot — «cyn nifer o ieithoedd o faint mwy», yng ngeiriau Dr Jeremy Evas.
Goblygiadau i'r AIsteddfod
Ar ddiwedd yr adroddiad ceir brawddeg sy'n crynhoi'r rheswm dros sefydlu'r AIsteddfod:
Nid 'a ddylai addysg uwch ymgysylltu ag AI' yw'r cwestiwn — mae hynny eisoes yn realiti anochel. Y cwestiwn yw sut y gwneir hynny mewn ffordd sy'n… sicrhau nad yw'r Gymraeg ar ei cholled wrth i addysg symud ymhellach i'r oes ddigidol.
Dyna pam mae ein sgorfwrdd yn trin priod-ddull a naturioldeb ar wahân i ramadeg, a pham mae ein rheolau cystadlu yn mynnu datganiad llawn o'r cyfarwyddiadau a'r harnais. Dyma'r union fath o dryloywder y mae'r adroddiad yn galw amdano.
Manylion cyhoeddi
| Teitl | Deallusrwydd Artiffisial (AI), y Gymraeg ac Addysg Uwch |
|---|---|
| Awdur | Kara Lewis, Rhagoriaith, PCYDDS, gyda gweithgor traws-ddisgyblaethol |
| Noddwr | Y Coleg Cymraeg Cenedlaethol |
| Cyhoeddwyd | 1 Mehefin 2026, 70 tudalen |
| Gweler hefyd | Ein geirfa deallusrwydd artiffisial, sy'n mabwysiadu geiriau allweddol a thermau'r adroddiad |