Llandudno-4B pwysau agored
Gwerthusiad annibynnol o fodel Cymraeg Jonathan Poole, wedi’i fireinio o Qwen3.5-4B.
Ein canlyniad CymraegBench
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 55.64 | 54.39 | 56.89 | 47.70 |
2,053 o achosion wedi’u sgorio. Allbynnau annilys: 1 (0.05%). Dim gwall seilwaith heb ei ddatrys.
Protocol
CymraegBench v0.1, pwysau BF16 heb feintioli didau isel, meddwl wedi’i ddiffodd, tymheredd 0 a hedyn 1. Un rhediad: hyd at 100 o achosion fesul set graidd, ynghyd â 232 achos CCC. Cymedr y sgorau rhesymu ac ymarferol yw’r sgôr gyffredinol; adroddir BLEU a CCC ar wahân.
Llawr allbwn cychwynnol o 512 tocyn; ailbrofwyd methiannau yn unig gyda llawr o 2,048 tocyn. Mae allbwn annilys parhaol yn sgorio sero. Nid asesiad gan siaradwyr Cymraeg na phrawf o ddiogelwch yw’r meincnod.
Archwiliad Iaith CCC
| Cywiro ac esbonio | 24.45 |
|---|---|
| Priod-ddulliau | 68.75 |
| Termau | 71.88 |
| Crynhoi a dyfynnu | 93.81 |
| Cyfeiriadau | 55.94 |
| Cyfarwyddyd Cymraeg | 76.67 |
| Cyfarwyddyd Saesneg | 80.00 |
Cymedr y saith is-set: 67.36. Cymharu holl ganlyniadau CCC
Cymhariaeth â’r datblygwr
Mae’r datblygwr yn adrodd sgôr gyffredinol o 55.36. Mae ein canlyniad annibynnol yn agos, ond mae’r gosodiadau rhedeg yn wahanol; nid prawf union yr un fath mohono.