DeepSeek V4.1 Flash pwysau agored wedi'i fesur
Model pwysau agored DeepSeek, wedi'i redeg yn lleol ar y set graidd ac Archwiliad Iaith CCC.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 69.45 |
| Rhesymu Cymraeg | 76.23 |
| Cymraeg ymarferol | 62.67 |
| Cyfieithu deddfwriaeth | 69.03 BLEU |
DeepSeek V4.1 Flash sydd yn safle 13 yn y sgorfwrdd estynedig, rhwng Qwen3.8 27B a GLM-5.2. Cwblhaodd bob un o'r 2,053 achos ar y cynnig cyntaf, heb wrthodiad, allbwn annilys, ailgais na gwall seilwaith.
Beth mae'r proffil yn ei ddangos?
Rhesymu cryfach
Cafodd 97 ar ARC-Easy Cymraeg, 91 ar ARC-Challenge, 89 ar COPA ac 86 ar PIQA. Mae ei sgôr rhesymu o 76.23 yn 13.56 pwynt yn uwch na'i sgôr ymarferol.
Cyfieithu cryf
Ei BLEU o 69.03 yw'r seithfed uchaf yn y tabl cyfan, ac yn uwch na sgôr pob model islaw safle 8.
Gwelliant amlwg
O'i gymharu â DeepSeek V4-Flash-0731, cododd y sgôr gyffredinol 7.82 pwynt, rhesymu 13.09, Cymraeg ymarferol 2.56, BLEU 4.08 a'r cymedr CCC 6.56.
Archwiliad Iaith CCC
Cafodd y model gymedr beta o 82.06 ar draws y saith is-set, y deuddegfed canlyniad uchaf. Roedd yn gryf ar grynhoi a dyfynnu (96.25) a phriod-ddull (93.75), a chafodd 90.00 gyda chyfarwyddyd Saesneg o gymharu â 76.67 gyda chyfarwyddyd Cymraeg. O fewn y prawf cywiro, cafodd 79.69 am y cywiriad ond 48.44 am yr esboniad, bwlch o 31.25 pwynt.
Sut cafodd y model ei brofi?
Profwyd y model deepseek-v41-flash yn lleol drwy vLLM ar wyth GPU â pharalleleiddio tensorau. Defnyddiwyd tymheredd 0, hedyn hap 1, saith galwad ar yr un pryd a hyd at 100 o achosion ym mhob set graidd. Diffoddwyd modd meddwl y model. Parhaodd y rhediad cyfan tua 9 munud 41 eiliad.
Defnyddiodd y prawf 270,864 o docynnau mewnbwn a 23,761 o docynnau allbwn. Gan mai ein gwasanaeth lleol ein hunain a ddefnyddiwyd, nid oes cost API yn y cofnod.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad Iaith CCC (CSV)
- Manylion y prawf (JSON)
Model: DeepSeek V4.1 Flash · gwasanaeth: vLLM lleol · prawf cymraegbench-deepseek-v41-flash-local-v0.1 · 10 Medi 2026.