Y cylch gwella

Mae model yn cynnig llinellau, y gwiriwr yn eu labelu, a defnyddir yr enghreifftiau wedi'u labelu i hyfforddi'r model nesaf — a'r cyfan yn rhedeg ar GPUau CUDA.

Sut mae'r cylch yn gweithio

Unwaith y bydd gennych wiriwr cyson sy'n dilyn rheolau, mae creu data hyfforddi yn costio nesaf peth i ddim. Mae model lleol 9B yn cynhyrchu nifer fawr o linellau saith sillaf ar 215 o themâu, ac mae'r peiriant rheolau yn labelu pob un ar unwaith. Daw llinell ddilys yn enghraifft gadarnhaol, llinell annilys yn enghraifft anodd o'r hyn i'w osgoi, a phâr dilys ac annilys ar yr un thema yn bâr dewisiadau ar gyfer DPO. Gallwn greu tua 700 o linellau yr awr y mae'r gwiriwr yn eu derbyn, am ddim mwy na chost y trydan, a hyfforddi drwy QLoRA mewn tua 15 munud.

Y canlyniadau

Prif fesur Bangor AI yw dilys-am-7: llinell saith sillaf sy'n cynnwys cynghanedd ddilys, ar themâu na welwyd wrth hyfforddi. Gwahaniaethir rhwng pob llinell a gynhyrchir (crai), llinellau nad ydynt wedi'u cofio o'r data hyfforddi (newydd), a llinellau newydd nad ydynt yn cynnwys geiriau ffug (newydd a glân):

Cwblhawyd tair rownd mewn un diwrnod. Defnyddiodd pob un tua 30 munud o amser cyfrifiannu ar GPUau CUDA, ynghyd ag ychydig geiniogau o alwadau API ar gyfer y beirniadu. Wrth i'r model wella, cododd cyfran y llinellau dilys yn y data a gasglwyd o 20% i 43%.

Pedair ffordd y manteisiodd y model ar y mesurau

1. Ailadrodd o'r cof: ar themâu newydd, ailgylchodd y model linellau dilys o'r data hyfforddi. O'r 79 llinell a gafodd eu derbyn, roedd 48 wedi'u cofio yn hytrach na'u cyfansoddi o'r newydd. Yr ateb oedd gwirio a oedd y llinellau'n newydd drwy eu cymharu â chiplun o'r data hyfforddi ym mhob gwerthusiad.
2. Ystyr gwag: roedd rhai llinellau'n ddilys o ran ffurf ond heb berthyn i'r thema, gan ddychwelyd dro ar ôl tro at ymadroddion fel «hedd yr heddiw». Ychwanegwyd beirniad semantig i sgorio perthnasedd, a defnyddiwyd y sgôr honno wrth ddewis rhwng atebion.
3. Geiriau ffug: bathodd y model eiriau fel «gwinoth» a «hudod», ac roedd y gwiriwr yn eu derbyn. Felly ychwanegwyd mesur ar gyfer llinellau newydd a glân, ynghyd â chosb am eiriau anhysbys.
4. Gormod o ailadrodd: erbyn y bumed rownd DPO ar allbwn y model ei hun, roedd 89.5% o'r llinellau crai'n ddilys ond dim ond tair llinell unigryw newydd a gafwyd. Mae hyn yn awgrymu bod hunan-hyfforddi'n cyrraedd ei derfyn ar ôl tair neu bedair rownd, ac mai data allanol neu ddysgu atgyfnerthu sy'n cadw'r model yn agos at y model cychwynnol sydd ei angen wedyn.

Ffurf ac ystyr

Rhoesom y model lleol wedi'i fireinio a model masnachol (Claude Opus 4.8) drwy'r un protocol, un cynnig, heb ddolen adborth:

Mae'r canlyniadau'n dangos gwahaniaeth rhwng ffurf ac ystyr. Sgoriodd y model 9B wedi'i fireinio 65.0% ar ffurf, o gymharu ag 20.0% i Claude; ar linellau dilys, newydd ac addas i'r thema, sgoriodd Claude 13.5% a'r model lleol 1.0%. Mae hyn yn awgrymu bod system sy'n cyfuno'r ddau ddull yn werth ei phrofi: model cyffredinol i gynnig ystyr, a'r model lleol a'r gwiriwr i gynorthwyo â'r ffurf.

Man cychwyn ar gyfer gwella

Mae'r cylch cynnig a gwirio wedi rhoi man cychwyn defnyddiol i ni. Mewn un enghraifft gynnar, roedd model cyffredinol yn cynnig llinellau, y gwiriwr yn nodi'r beiau, a'r model yn rhoi cynnig arall arni. Roedd 23 o'r 32 cynnig yn ddilys, a daeth y broses i ben gyda chywydd dau gwpled heb wall ffurfiol yn ôl y gwiriwr. Nid yw hynny'n profi bod y system wedi meistroli'r grefft; ei brif werth yw rhoi man cychwyn clir i ni fesur a yw pob rownd ddilynol yn gwella'r ffurf, yr ystyr, yr amrywiaeth a'r cysondeb:

Storfa'r prosiect: BangorAI/cynghanedd → · Cefndir y dyfarnwr: y peiriant rheolau → · Sut mae hyn yn cyfrannu at y beirniadu: beirniadu'r cystadlaethau →