Qwen3.5 9B pwysau agored wedi'i fesur
Model 9B cryno a redwyd yn lleol mewn BF16 ar un RTX 4090: yn rhesymol gryf ar wybodaeth gyffredinol Gymraeg, ond â bylchau amlwg mewn enwau lleoedd, mathemateg a ffurfiau ie/na.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 55.10 |
| Rhesymu Cymraeg | 57.98 |
| Cymraeg ymarferol | 52.22 |
| Cyfieithu deddfwriaeth | 37.06 BLEU |
Daeth Qwen3.5 9B yn ail ar bymtheg yn y sgorfwrdd estynedig, rhwng Grok 4.20 a Jupiter-N-120B. Cwblhaodd bob un o'r 2,053 achos heb wrthodiad, allbwn annilys na gwall seilwaith.
Beth mae'r proffil yn ei ddangos?
Cryfderau
ARC-Easy Cymraeg 91, ARC-Challenge 73, COPA 78, geirfa 75 a ToxiGen Cymraeg 73.
Gwendidau mewn tasgau Cymraeg
Enwau lleoedd dwyieithog 12, MGSM Cymraeg 14, ffurfiau ie/na 31 a lefelau CEFR 32.
Archwiliad CCC
Cymedr 71.10: cryf ar gyfarwyddiadau a chrynhoi, ond gwannach ar gyfeiriadau, cywiro ac esbonio.
Sut cafodd y model ei brofi?
Profwyd y model yn lleol gan ddefnyddio’r pwysau BF16 drwy vLLM 0.26 ar un NVIDIA RTX 4090, â ffenestr weithredol 4,096 o docynnau a phedwar cais ar yr un pryd. Diffoddwyd y modd rhesymu yn y templed sgwrsio fel bod y prawf yn mesur yr ateb Cymraeg ei hun. Defnyddiwyd hedyn hap 1 a hyd at 100 o achosion ym mhob set, yn union fel y samplau eraill ar y sgorfwrdd. Roedd angen codi terfyn allbwn un achos CCC i 2,048 o docynnau a defnyddio cosb ailadrodd o 1.05; ni ailadroddwyd y profion a oedd eisoes wedi llwyddo.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad CCC (CSV)
- Manylion y prawf (JSON)
Model: Qwen/Qwen3.5-9B · prawf cymraegbench-qwen3-5-9b-local-bf16-v0.1 · 10 Awst 2026.