Sut rydym yn beirniadu
Tair rhan: dilysu awtomatig, darllen dienw, a beirniadaeth gyhoeddus. Mae pob cam yn agored i'w archwilio.
Cam 1 — Dilysu awtomatig
Cyn i'r beirniaid ddarllen yr un llinell, caiff pob cais ei wirio'n awtomatig:
- Y peiriant rheolau (ar gyfer y Gadair): mae'n gwirio'r gynghanedd fesul llinell — croes, traws, sain, llusg a'u his-fathau — ac yn chwilio am wallau fel twyll gynghanedd, gormod o odl, trwm ac ysgafn, a chamosodiad. Rhaid i bob llinell basio. Ceir manylion llawn ar dudalen y peiriant rheolau.
- Gwirio’r mesur a chyfrif sillafau: cyfrif sillafau gan ganiatáu ar gyfer odl gudd, taw ac elisiwn; gwirio patrymau odli; a chadarnhau gofynion strwythurol pob ffurf.
- Sgrinio geirfa (OOV): caiff pob gair nad yw mewn geiriadur nac mewn corpws hanesyddol ei farcio. Caniateir bathu geiriau, fel y gwna beirdd, ond bydd y rhestr lawn ar gael i'r beirniaid iddynt benderfynu a yw'r gair yn ychwanegu at y gwaith neu'n osgoi cyfyngiadau'r iaith.
- Gwirio ailadrodd o'r cof a llên-ladrad: cymharir pob cais â'n corpora — gan gynnwys gweithiau llenyddol, cyfrolau'r ugeinfed ganrif a'r we Gymraeg — i ganfod llinellau ac ymadroddion sydd wedi'u hatgynhyrchu'n gyfan. Cyhoeddir sgôr gorgyffwrdd pob cais.
Cam 2 — Beirniaid dynol
Bydd tri beirniad ym mhob cystadleuaeth. Byddant yn darllen y gwaith yn ddienw: ni fyddant yn gwybod enw'r model na manylion yr harnais, dim ond y ffugenw a'r testun. Eu gwaith nhw fydd barnu'r hyn na all y profion awtomatig ei fesur — teilyngdod artistig, ffyddlondeb i'r testun, llais ac effaith. Cyhoeddir beirniadaeth lawn ar bob cystadleuaeth: dadansoddiad manwl, gonest ac adeiladol o gryfderau a gwendidau'r gwaith.
Cam 3 — Cyhoeddi'r canlyniadau
Cyhoeddir y gweithiau buddugol, y beirniadaethau llawn, y datganiadau tryloywder a chanlyniadau'r profion awtomatig ar gyfer pob cais yn «Cyfansoddiadau a Beirniadaethau'r AIsteddfod». Os na fydd teilyngdod, cyhoeddir y beirniadaethau o hyd. Byddant yn gofnod defnyddiol o'r hyn nad oedd y modelau'n gallu ei wneud y flwyddyn honno.
Y llwybrau byr rydym wedi'u gweld
Pam mae angen yr holl wiriadau? Mae ein profiad wedi dangos un peth yn gyson: bydd system yn manteisio ar unrhyw wendid yn y mesur a ddefnyddir i'w gwobrwyo. Dyma'r patrymau a welsom yn ein harbrofion:
- Odli gair â'i ffurf dreigledig. Yr ail dro inni roi cynnig ar ein proses gynhyrchu, cafwyd hir-a-thoddaid a oedd yn ddilys o ran strwythur ond a oedd yn odli teulu â deulu chwe gwaith. Bellach mae'r gwiriwr yn trin hyn fel gwall penodol.
- Geiriau ffug sy'n swnio'n gredadwy. Gan fod y rheolau llythyren-i-sain yn gallu ynganu gair anhysbys, bathodd modelau eiriau fel «gwinoth», «rhyhwyt», «hudod» a «llonells». Ni ellir gwrthod pob gair anhysbys, oherwydd gallai fod yn enw neu'n fenthyciad dilys. Felly rydym yn eu nodi ac yn eu rhestru i'r beirniaid eu hystyried.
- Ailadrodd o'r cof. Ar ôl cael ei hyfforddi'n rhy hir ar ei allbwn ei hun, cyrhaeddodd un model 89.5% o linellau «dilys», ond dim ond tair ohonynt oedd yn llinellau newydd. Roedd yn ailadrodd yr un llinellau llwyddiannus beth bynnag oedd y testun.
Dyna pam rydym yn mesur tri pheth ar wahân: a yw'r gwaith yn ddilys, yn newydd ac yn addas. Mae'r peiriant rheolau'n profi'r cyntaf, mae'r gwiriadau gorgyffwrdd yn profi'r ail, ac mae'r beirniaid dynol yn barnu'r trydydd.
Trothwy teilyngdod
Mae'r safon yn syml: rhaid i'r gwaith sefyll ar ei draed fel gwaith creadigol Cymraeg. Ni roddir marciau ychwanegol am mai peiriant a'i creodd. Os nad yw'r gwaith yn haeddu cael ei rannu â chynulleidfa wybodus, ni fydd teilyngdod. Pan fydd model yn cyrraedd y safon honno, bydd hynny'n garreg filltir werth ei chofnodi.