Claude Fable 5.2
CymraegBench v0.1 — ymdrech isel, meddwl addasol ymlaen.
| Cyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | BLEU |
|---|---|---|---|
| 89.45 | 88.34 | 90.56 | 74.64 |
2,053 o achosion; dim allbwn annilys na gwall seilwaith ar ôl ailbrofi un cais a ddaeth i ben oherwydd terfyn amser.
Protocol a sgorio
Sgorir Fable 5.2 gyda’r echdynnwr atebion deuaidd wedi’i gywiro: derbynnir Y/N eglur ar ddechrau’r ateb neu ar ei linell olaf. Nid yw pob canlyniad hŷn wedi’i ail-sgorio eto.
Cywirwyd sgoriau 85 ateb heb gynhyrchu atebion newydd: cododd y sgôr o 84.73 i 89.45. Cedwir y canlyniadau gwreiddiol a’r archwiliad.
Hyd at 100 achos fesul set, hedyn samplu 1, a 232 achos CCC. Llawr allbwn o 2,048 tocyn a rennir rhwng meddwl ac ateb. Mae meddwl bob amser ymlaen; nid yw’r model yn derbyn gosodiad tymheredd na hedyn cynhyrchu. Nid yw hyn yn brawf meddwl-i-ffwrdd.
Archwiliad Iaith CCC
96.21 — cymedr y saith is-set, ar wahân i’r sgôr gyffredinol.
| ccc-cywiro-esbonio | 95.47 |
|---|---|
| ccc-priod-ddull | 100.00 |
| ccc-termau | 100.00 |
| ccc-crynhoi-dyfynnu | 91.07 |
| ccc-cyfeiriadau | 91.09 |
| ccc-cyfarwyddyd-cymraeg | 95.83 |
| ccc-cyfarwyddyd-saesneg | 100.00 |