Rheolau ac amodau cystadlu
Un egwyddor graidd, un datganiad tryloywder ac un ffugenw. Mae'r manylion isod yn berthnasol i bob cais.
1. Cymhwysedd
- Gwaith a gynhyrchwyd yn gyfan gwbl gan AI. Rhaid i bob gair o'r testun terfynol ddod o'r peiriant. Nid yw'r Eisteddfod Genedlaethol yn caniatáu AI; yn yr AIsteddfod, dim ond gwaith AI a ganiateir.
- Unrhyw fodel — boed ei bwysau'n agored neu'n gaeedig, yn fawr neu'n fach, yn fasnachol neu wedi'i ddatblygu'n lleol — ar yr amod bod y datganiad tryloywder yn gyflawn.
- Un cais i bob harnais ym mhob cystadleuaeth. Mae newid y model, y cyfarwyddiadau neu'r rheol ddewis yn creu harnais newydd; nid yw newid yr hedyn hap ar ei ben ei hun yn gwneud hynny.
- Caniateir i'r un tîm dynol gyflwyno mwy nag un harnais, ond rhaid i bob un fod yn wirioneddol wahanol ac wedi'i ddatgan ar wahân.
2. Cyfraniad pobl
Cyfyngir cyfraniad dynol i dri pheth, a thri pheth yn unig:
- Cynllunio'r harnais — dewis y model, ysgrifennu'r cyfarwyddiadau, ac adeiladu unrhyw gylch gwirio neu chwilio.
- Dechrau'r broses gynhyrchu.
- Dewis rhwng allbynnau — ond dim ond os yw'r rheol ddewis wedi'i datgan ymlaen llaw yn y datganiad tryloywder, er enghraifft «y cyntaf o 64 cais i basio'r gwiriwr» neu «yr un sy'n cael y sgôr uchaf gan y model beirniadu». Bydd dewis â llaw heb reol wedi'i datgan yn cael ei drin fel golygu cudd, a bydd y cais yn cael ei ddiarddel.
3. Y datganiad tryloywder
Rhaid cyflwyno'r datganiad hwn gyda phob cais. Mae'n dangos sut y crëwyd y gwaith ac yn darparu tystiolaeth ar gyfer ymchwil Bangor AI. Rhaid iddo gynnwys:
- Cerdyn model: enw ac union fersiwn y model, neu bob model mewn harnais aml-fodel; ffynhonnell y pwysau, ar ffurf URL neu enw'r API; unrhyw fireinio ychwanegol; ac addaswyr y mireinio os ydynt ar gael yn agored.
- Y cyfarwyddiadau llawn, air am air: pob cyfarwyddyd system, pob cyfarwyddyd defnyddiwr a phob templed, heb olygu na thalfyrru.
- Manylion yr harnais: paramedrau samplu (tymheredd, top-p, hadau hap), manylion unrhyw broses sy'n ailadrodd (sawl tro, a pha adborth a roddir), unrhyw ddefnydd o wiriwr neu offeryn allanol, sawl cynnig a gynhyrchwyd, a'r rheol a ddewisodd yr un terfynol.
- Cost a chyfrifiant: amcangyfrif gonest o gost API neu oriau-GPU. Mae «faint gostiodd y gerdd hon» yn ddata gwyddonol ynddo'i hun.
- Ffugenw — fel yr eglurir isod.
4. Defnyddio ffugenw
Cyflwynir pob cais dan ffugenw, a dim ond y testun a'r ffugenw y bydd y beirniaid dynol yn eu gweld. Ar ôl cyhoeddi'r canlyniad, datgelir pa fodel a harnais oedd y tu ôl i'r ffugenw, a chyhoeddir y datganiad tryloywder llawn. Mae hyn yn cadw'r beirniadu'n deg ac yn galluogi eraill i ailadrodd y broses.
5. Trwyddedu a chyhoeddi
- Cyhoeddir pob gwaith buddugol — a phob beirniadaeth — yn «Cyfansoddiadau a Beirniadaethau'r AIsteddfod», cyfrol we flynyddol, dan drwydded CC-BY-SA.
- Trwy gystadlu, cytuna'r cyflwynydd i gyhoeddi'r datganiad tryloywder llawn ochr yn ochr â'r gwaith. Dim eithriadau «cyfrinach fasnachol» — os na ellir datgan yr harnais, ni ellir cystadlu.
- Mae'r AIsteddfod yn cadw'r hawl i ailredeg unrhyw harnais â phwysau agored er mwyn gwirio bod modd cael yr un canlyniad eto.
6. Diarddel
Diarddelir cais, ar unrhyw adeg (gan gynnwys wedi'r cyhoeddi), am:
- Olygu dynol ar destun yr allbwn — gair, atalnod neu drefn;
- Ddewis heb ei ddatgan — dewis yr allbwn gorau â llaw heb reol;
- Ddatganiad harnais ffug neu anghyflawn;
- Lên-ladrad neu ailadrodd o'r cof — gwaith sy'n atgynhyrchu deunydd o'r corpws hyfforddi yn hytrach na chyfansoddi.
Nid rhagofalon damcaniaethol mo'r rheolau hyn. Yn ystod ein gwaith datblygu, gwelsom fodelau'n odli gair â'i ffurf dreigledig, yn bathu geiriau ffug y gallai'r rheolau eu hynganu, ac yn ailadrodd llinellau o'r data hyfforddi dro ar ôl tro. Mae'r peiriant rheolau bellach yn adnabod y patrymau hyn, a byddwn yn ychwanegu profion newydd wrth i ragor ddod i'r amlwg.