Mae AIsteddfod.com yn fyw: lle i fesur Cymraeg y peiriannau

Safle newydd sy'n profi creadigrwydd modelau AI ac yn cofnodi eu cynnydd yn y Gymraeg.

Pedwar person yn rhannu syniadau mewn stiwdio newyddion liwgar

Yr wythnos hon, mae Eisteddfod Genedlaethol Sir Benfro yn dathlu creadigrwydd pobl ar faes Llantwd ger Llandudoch (1–8 Awst). Mae ei rheolau'n glir: yn ôl amodau cystadlu'r Brifwyl, ni chaniateir defnyddio meddalwedd deallusrwydd artiffisial i greu cyfansoddiadau nac i gynorthwyo'r broses, oni nodir yn wahanol.

Da o beth yw hynny. Ond mae'n gadael cwestiwn heb ei ateb: pa mor dda yw'r peiriannau yn y Gymraeg? Mae AIsteddfod.com yn mynd ati i ateb y cwestiwn drwy roi lle ar wahân i waith a gynhyrchwyd yn gyfan gwbl gan AI. Mae'r ffin yn syml: gwaith pobl i'r Eisteddfod; gwaith peiriannau i'r AIsteddfod.

Pam ei lansio nawr?

Mae'r dystiolaeth gyhoeddus am berfformiad AI yn y Gymraeg yn wasgaredig. Yn ein hadolygiad, ni ddaethom o hyd i feincnod Cymraeg gan OpenAI, Anthropic, xAI na'r labordai pwysau agored mawr o Tsieina. Tua 10–15 o ieithoedd a gynhwysir fel arfer yn nhablau amlieithog y modelau; nid yw'r Gymraeg yn eu plith. Mae gwaith gwerthuso gwerthfawr eisoes yn cael ei wneud yn UCL a phrifysgolion Bangor a Chaerdydd, ac mae'r AIsteddfod yn ceisio ychwanegu cofnod cyson ato.

Bwriad AIsteddfod yw creu cofnod cyhoeddus, o flwyddyn i flwyddyn, o allu deallusrwydd artiffisial yn y Gymraeg: pryd y bydd model yn llunio ei linell gynganeddol ddilys gyntaf, pryd y daw englyn cyflawn, a phryd — os byth — y daw awdl a fyddai'n peri i feirniad oedi.

Beth sydd ar y safle?

Newyddion — datblygiadau ym maes AI a'r Gymraeg, o adroddiadau polisi i fodelau agored.
Gwerthusiadau — proffiliau manwl o'r prif fodelau, modelau agored a modelau a fireiniwyd ar y Gymraeg, ynghyd â'r setiau profion sydd ar gael.
Iaith a chyfieithu — ansawdd y Gymraeg a gynhyrchir gan beiriannau, gan gynnwys dadansoddiad llawn o adroddiad y Coleg Cymraeg Cenedlaethol.
Llais — offer testun-i-leferydd ac adnabod lleferydd yn y porwr, a chynllun ar gyfer mesur eu hansawdd.
Cystadlaethau — y pedair prif wobr: y Gadair (awdl gynganeddol), y Goron (pryddest), y Fedal Ryddiaith a'r Fedal Ddrama — pob cais gyda cherdyn model, y cyfarwyddiadau llawn a manylion yr harnais.
Ymchwil Bangor AI — gwaith Bangor AI ar wirio a chynhyrchu cynghanedd â pheiriant, gan gynnwys storfa BangorAI/cynghanedd.

Y cylch ymchwil

Nid cadw sgôr yn unig yw diben AIsteddfod. Mae ymchwil Bangor AI yn dilyn proses awtomatig sy'n defnyddio canlyniadau pob arbrawf i gynllunio'r nesaf: mae model yn creu Cymraeg; mae ein setiau prawf a'n gwiryddion yn asesu'r allbwn; mae'r dystiolaeth yn llywio'r arbrawf neu'r cam hyfforddi nesaf; ac yna mae'r cylch yn ailddechrau.

Mae'r dull yn debyg i'r syniad o «archwilio parhaus» yn Discovery Loop: awtomeiddio'r cylch o gynnig, gweithredu, mesur a dysgu er mwyn profi rhagor o syniadau. Rydym yn ymchwilio i weld a yw ansawdd y data, y profion, y gwiryddion a'r adborth yr un mor bwysig â dewis y model, yn enwedig wrth i fodelau pwysau agored wella.

Gallai seilwaith agored yng Nghymru helpu ymchwilwyr a chymunedau i redeg, archwilio a gwella AI Cymraeg ar eu telerau eu hunain, a chyfrannu'r hyn a ddysgir at yr ymchwil ehangach.

Yr her

Nid cystadlu â'r Brifwyl yw'r nod. Rydym am barchu ei rheolau drwy roi lle ar wahân i waith y peiriannau a mesur eu cynnydd yn onest. Yn y systemau rydym wedi'u profi hyd yma, ni chafwyd gwaith sy'n cyrraedd safon deilyngdod yn y pedair cystadleuaeth. Mae dechrau'r cofnod nawr yn rhoi ffordd gyson o weld sut mae'r galluoedd yn newid dros amser.

Dyma ddechrau'r cofnod.