Mireinio Jupiter-N ar wyth DGX Spark
Beth sy'n digwydd wrth geisio dysgu cynghanedd i fodel 120 biliwn o baramedrau ar wyth cyfrifiadur bwrdd gwaith? Dyma adroddiad gonest ar y gwaith hyd yn hyn.
Mae arbrofion Bangor AI â'r cylch gwella yn awgrymu y gall mireinio wella ffurf y gynghanedd, ond nad yw o reidrwydd yn ychwanegu'r eirfa na'r ystyr sydd ar goll o'r model gwreiddiol. Un dull i'w brofi yw dechrau gyda model sydd eisoes wedi cael ôl-hyfforddiant Cymraeg. Dewiswyd Jupiter-N-120B i ymchwilio i'r dull hwn ar raddfa 120B.
Y caledwedd: digon o gof, ond lled band cyfyngedig
Mae clwstwr Bangor AI yn cynnwys wyth uned DGX Spark (GB10). Rhyngddynt mae tua therabeit o gof unedig a chysylltiad 200GbE rhwng y nodau, ond dim ond tua 273 GB/s o led band cof sydd gan bob un — tua chwarter lled band cerdyn gemau da. Yn ymarferol, mae gan y clwstwr lawer o gof ond gallu cyfrifo cymedrol. Gall hynny fod yn addas i fodel MoE fel Jupiter: gellir cadw pob un o'r 120 biliwn o baramedrau yn y cof, ond dim ond y tua 12 biliwn sy'n weithredol sydd angen eu cyfrifo. Mewn prawf cychwynnol, cyrhaeddodd all-reduce NCCL dros y rhwydwaith 93% o gyfradd ddamcaniaethol y cysylltiad, o ddau nod hyd at wyth.
Arbrawf 1 — LoRA wedi'i ddosbarthu dros wyth nod
Ni ellir cadw 240GB o bwysau bf16 ar un nod â 121GB o gof, felly ffrydiwyd y pwysau fesul tensor: roedd un nod yn darllen y data ac yn dosbarthu'r darn priodol i bob un o'r lleill. Defnyddiwyd addasydd LoRA pwrpasol (r=16, α=32) mewn 112 o safleoedd yn yr haenau sylw a thafluniadau MoE cudd. Hyfforddwyd ar ddata penodol am gynghanedd, gyda gwerthusiad bob 100 cam yn ystod yr hyfforddiant: gofynnwyd am linell saith sillaf, a'r peiriant rheolau oedd yn ei barnu.
Dyma'r canlyniad hyd yma: cyrhaeddodd yr hyfforddiant gam 245 o 363 cyn i'r seilwaith fethu. Sgoriodd 0/5 ar y mesur dilys-am-7 ym mhob gwerthusiad. Roedd y llinellau'n cynnwys llawer o gynghanedd wallus, er bod ambell un yn agos iawn: roedd «Nadoli'g, nadolig» yn draws ddilys, ond yn cynnwys chwe sillaf yn unig. Yn fwy dadlennol, er bod offeryn gwirio ar gael i'r model, ni ddefnyddiodd yr offeryn unwaith. Roedd yn sôn yn ei gadwyn resymu am ddefnyddio'r offeryn, ond nid oedd yn gwneud yr alwad. Mae trwsio fformat y galwadau offer — yn hytrach na'r gallu barddol — felly yn flaenoriaeth cyn ailgychwyn.
Arbrawf 2 — hyfforddi ar y pwysau 4-did eu hunain
Yr ail lwybr yw cywasgu Jupiter i NVFP4 — tua 63GB, digon bach i un DGX Spark — a hyfforddi LoRA yn uniongyrchol ar y pwysau 4-did, gan gynnwys yr 20,520 o dafluniadau arbenigol, heb eu trosi'n ôl i bf16. Mae'r offer ar gyfer hyn eisoes wedi'u profi ar deuluoedd eraill o fodelau. Ar Jupiter, daeth yr ymgais gyntaf i hyfforddi i ben ar gam 30 o 120, cyn y ciplun cyntaf. Roedd y trwybwn, sef un neu ddau docyn hyfforddi yr eiliad, yn awgrymu bod angen ymchwilio ymhellach i faint y swp, y drefn ciplunio a dichonoldeb y dull.
Beth nesaf
- Trwsio'r galwadau offer cyn defnyddio rhagor o amser y clwstwr — dyma'r nam rhataf i'w gywiro a'r un a allai wneud y gwahaniaeth mwyaf.
- Ailgychwyn yr hyfforddiant ar draws y clwstwr o giplun cam 200, gyda system fwy cadarn i adfer ar ôl methiant.
- Gwerthuso'r addaswyr sydd gennym yn erbyn y protocol llawn, fel bod pob cam — hyd yn oed y rhai siomedig — ar y sgorfwrdd.
- Yn y tymor hwy: cyn-hyfforddiant parhaus ar y Gymraeg ar y clwstwr. Mae'r corpws — rhwng tua 850 miliwn a biliwn o docynnau unigryw o Gymraeg fodern, cyn cynnwys papurau newydd y Llyfrgell Genedlaethol — eisoes wedi'i gasglu a'i docyneiddio.
Cyhoeddir y gwaith anghyflawn er mwyn cofnodi'r dull, y problemau a'r hyn a ddysgwyd, nid y canlyniadau cadarnhaol yn unig. Mae mireinio model 120 biliwn o baramedrau ar gyfer cynghanedd yn dasg anodd, a gall disgrifio natur yr anhawster fod o gymorth i ymchwil bellach.