Modelau pwysau agored: y canlyniadau Cymraeg
Pedwar model ar ddeg agored neu leol, wedi'u profi ar yr un setiau craidd â'r modelau blaenllaw.
Profwyd Muse Spark 1.2, y tri model Qwen3.8, GLM-5.3 Flash a GLM-5.3 drwy OpenRouter, DeepSeek V4.1 Flash yn lleol ar wyth GPU, Jupiter-N-120B ar glwstwr DGX Spark a'r modelau llai ar RTX 4090. Cafwyd 91,950 o ymatebion: 33,657 yr un gan Jupiter a Chaernarfon Cymraeg Instruct, a 2,053 yr un gan ddeuddeg model arall. Defnyddiwyd tymheredd 0 lle'r oedd yr API yn ei gynnal a fformat y cyfarwyddyd a nodir gan ddatblygwr pob model; defnyddiwyd hedyn hap 1 lle'r oedd yr API yn ei gynnal. Mae'r sgôr gyffredinol yn defnyddio'r un 19 o setiau craidd â phrif sgorfwrdd CymraegBench; nid yw'r 232 o achosion Archwiliad Iaith CCC yn cyfrannu at y sgôr hon.
| Safle estynedig | Model | Sgôr gyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | Cyfieithu BLEU | Annilys |
|---|---|---|---|---|---|---|
| 3 | Muse Spark 1.2 pwysau agored | 83.01 | 85.68 | 80.33 | 71.46 | 0.00% |
| 6 | Qwen3.8 2.4T-A95B pwysau agored | 81.09 | 86.28 | 75.89 | 60.84 | 0.00% |
| 7 | Qwen3.8 Flash API swyddogol | 79.81 | 84.06 | 75.56 | 58.79 | 0.05% |
| 10 | GLM-5.3 Flash pwysau agored | 74.38 | 76.21 | 72.56 | 58.41 | 0.00% |
| 11 | GLM-5.3 pwysau agored | 73.38 | 77.31 | 69.44 | 58.05 | 0.00% |
| 12 | Qwen3.8 27B pwysau agored | 70.47 | 79.83 | 61.11 | 46.03 | 0.00% |
| 13 | DeepSeek V4.1 Flash pwysau agored | 69.45 | 76.23 | 62.67 | 69.03 | 0.00% |
| 17 | Qwen3.5 9B pwysau agored | 55.10 | 57.98 | 52.22 | 37.06 | 0.00% |
| 18 | Jupiter-N-120B pwysau agored | 48.87 | 52.70 | 45.04 | 43.85 | 0.37% |
| 19 | Mwydryn 7B fersiwn 2 pwysau agored | 30.37 | 39.96 | 20.78 | 41.89 | 0.83% |
| 20 | Mistral-7B-Cymraeg-Welsh-v2 pwysau agored | 30.09 | 40.85 | 19.33 | 31.39 | 0.49% |
| 21 | Mwydryn Phi-2 pwysau agored | 26.90 | 36.47 | 17.33 | 9.11 | 2.83% |
| 22 | Caernarfon 3B Cymraeg Instruct v0.1 wedi'i fireinio | 10.83 | 16.80 | 4.86 | 22.00 | 3.52% |
| 23 | Techiaith Llama 3.2 1B Welsh SFT pwysau agored | 9.87 | 17.18 | 2.56 | 1.05 | 34.53% |
Annilys yw allbwn gwag, allbwn a gyrhaeddodd y terfyn tocynnau neu achos sy'n fwy na ffenestr gyd-destun y model; mae'n sgorio sero. Cyfrifir y ganran dros yr holl achosion yn y prawf, gan gynnwys CCC. Cafodd pob model sgôr ar 100% o’r achosion ac ni chafwyd gwall seilwaith heb ei ddatrys.
Beth mae'r canlyniadau'n ei ddweud?
Muse Spark 1.2 yw'r model pwysau agored uchaf, yn drydydd yn y tabl cyfan â 83.01. Qwen3.8 2.4T-A95B yw'r ail fodel agored uchaf, yn chweched â 81.09. Daeth gwasanaeth cyhoeddus Qwen3.8 Flash yn seithfed â 79.81; mae Qwen yn ei ddisgrifio fel fersiwn sy'n seiliedig ar y model pwysau agored Flash-Next, felly nid ydym yn honni bod y gwasanaeth yn defnyddio'r union fodel pwysau agored. Daeth GLM-5.3 Flash yn ddegfed â 74.38, GLM-5.3 yn unfed ar ddeg â 73.38, Qwen3.8 27B yn ddeuddegfed â 70.47, a DeepSeek V4.1 Flash yn drydydd ar ddeg â 69.45. Mae pwysau'r ddau fodel GLM a DeepSeek ar gael. Sgoriodd Qwen3.5 9B 55.10 ar un RTX 4090, Jupiter 48.87, Mwydryn 7B v2 30.37, a Mistral Cymraeg v2 30.09.
Mae canlyniad Techiaith 1B yn datgelu problem wahanol: nid gwybodaeth yn unig sy'n brin, ond y gallu i ddilyn cyfarwyddyd byr a gorffen yr ateb. Defnyddiwyd union fformat Alpaca arddangosiad swyddogol Techiaith a'i osodiad repetition_penalty = 1.15; serch hynny, aeth dros draean yr allbynnau at y terfyn. Mae hynny'n ganfyddiad defnyddiol ar gyfer y rownd fireinio nesaf.
Caernarfon: mae addasydd Cymraeg Instruct yn codi'r model uwchlaw Techiaith 1B, ond mae sgôr ymarferol o 4.86 yn dangos faint o waith sydd eto i'w wneud. Mae prawf ar yr hen fodel sylfaenol wedi'i gadw yn yr archif, ond nid yw bellach yn ymddangos yn y prif sgorfwrdd.