Llandudno-9B pwysau agored
Gwerthusiad annibynnol o fodel Cymraeg Jonathan Poole, wedi’i fireinio o Qwen3.5-9B.
Ein canlyniad CymraegBench
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 58.31 | 63.51 | 53.11 | 49.67 |
2,053 o achosion wedi’u sgorio. Allbynnau annilys: 0 (0.00%). Dim gwall seilwaith heb ei ddatrys.
Protocol
CymraegBench v0.1, pwysau BF16 heb feintioli didau isel, meddwl wedi’i ddiffodd, tymheredd 0 a hedyn 1. Un rhediad: hyd at 100 o achosion fesul set graidd, ynghyd â 232 achos CCC. Cymedr y sgorau rhesymu ac ymarferol yw’r sgôr gyffredinol; adroddir BLEU a CCC ar wahân.
Llawr allbwn cychwynnol o 512 tocyn; ailbrofwyd methiannau yn unig gyda llawr o 2,048 tocyn. Mae allbwn annilys parhaol yn sgorio sero. Nid asesiad gan siaradwyr Cymraeg na phrawf o ddiogelwch yw’r meincnod.
Archwiliad Iaith CCC
| Cywiro ac esbonio | 30.78 |
|---|---|
| Priod-ddulliau | 84.38 |
| Termau | 65.62 |
| Crynhoi a dyfynnu | 94.94 |
| Cyfeiriadau | 70.94 |
| Cyfarwyddyd Cymraeg | 100.00 |
| Cyfarwyddyd Saesneg | 93.33 |
Cymedr y saith is-set: 77.14. Cymharu holl ganlyniadau CCC
Cymhariaeth â’r datblygwr
Mae’r datblygwr yn adrodd sgôr gyffredinol o 58.07. Mae ein canlyniad annibynnol yn agos, ond mae’r gosodiadau rhedeg yn wahanol; nid prawf union yr un fath mohono.