# Wi-Risk Bench 1.0

智元数据 World Insight 的首个保险风险评测集。100 道保险工作的题目：精算计算、条款理解、现场照片、数据查找。
每道题有参考答案和自动判分的规则，题目要用的公开数据一起提供。

- 版本：1.0，2026-11-14 发布
- 题目：100 道（`items.jsonl`，一行一题）
- 数据：`data/` 下 5 个 CSV 文件；照片：`images/` 下 9 张
- 网页：智元数据 World Insight 公开站的 `/wirisk/bench`

## 测什么

| 分组 | 档 | 题数 | 内容 |
|---|---|---|---|
| 精算计算 | 基础 | 18 | 题目给出全部数据：链梯法、BF 法、Mack 法、总损失分布、分位数、Gumbel 重现期、生命表、泊松 GLM |
| 精算计算 | 进阶 | 8 | 要用平台的精算底表：经验生命表、国债收益率曲线、县级暴雨重现期 |
| 条款理解 | 基础 | 18 | 题目给出条款原文，问责任、免除、释义、赔偿计算 |
| 条款理解 | 进阶 | 10 | 只给公司和条款名称，要先找到条文再回答 |
| 现场照片 | 基础 | 18 | 看一张水利工程现场的照片，问照片里看得到的东西 |
| 现场照片 | 进阶 | 8 | 先看照片判断工程状态，再查对应县的暴雨重现期 |
| 数据查找 | 基础 | 20 | 从公开的行业数据里查一个数：生命表、收益率曲线、重现期、台风登陆、损失三角形 |

基础题考方法和读材料的能力，题目里给出要用的数字或原文。进阶题考能不能找到并用对行业数据：题目只写数据的名称，参考答案按数据里的值算出。

## 题目的格式

`items.jsonl` 每一行是一个 JSON 对象：

| 字段 | 说明 |
|---|---|
| `id` | 题号，例如 `calc-01`、`clause-h03` |
| `category`、`category_key` | 分组：精算计算 `actuarial`、条款理解 `clause`、现场照片 `photo`、数据查找 `lookup` |
| `tier` | 基础或进阶 |
| `type` | `number`（数字题）或 `choice`（选择题） |
| `question` | 发给模型的原文，最后一行写明答案的格式 |
| `options` | 选择题的选项 |
| `answer` | 参考答案：数字题是数，选择题是字母 |
| `unit`、`tolerance` | 数字题的单位和允许的相对误差（0 表示要完全相等） |
| `images` | 要一起发给模型的照片 |
| `data` | 算参考答案用到的数据文件 |
| `reference_source` | 参考答案怎么得到的 |

## 判分规则

全部自动判分，不用评审模型。

1. 只看回答里最后一个"答案："后面的内容。没有"答案："的算错。
2. 选择题比较字母。
3. 数字题取出第一个数，和参考答案的相对误差不超过 `tolerance` 算对。`tolerance` 是 0 时要完全相等。
4. 回答被截断或为空时重试一次，还是这样记为未作答，算不对。

## 怎么运行

1. 把 `question` 原样发给被测的系统。有 `images` 时把照片一起发，文件名写成"照片1.jpg"。
2. 被测的系统可以自己查数据、运行代码。`data/` 里的文件用来核对参考答案，不要直接发给模型。
3. 按上面的规则判分，按分组统计答对的题数。

## 成绩

2026-11-14 的成绩。两个系统用同一个开源基座模型 `Qwen/Qwen3.8-Flash-Next-FP8`，题目和照片相同。

| 系统 | 答对 |
|---|---|
| 基座模型 | 57 / 100 |
| Wi-Risk 智能体 | 91 / 100 |

基座模型只用模型本身。Wi-Risk 智能体接上了平台的数据、精算算法和专业技能，作答前自己从官方技能里选一个。
每道题的答卷在网页的成绩单上看。

## 数据的出处和许可

| 文件 | 内容 | 出处 |
|---|---|---|
| `data/insured-life-mortality.csv` | 《中国人身保险业经验生命表（2010—2013）》6 张表的 qx | 中国精算师协会发布。表值取自美国精算师协会（SOA）生命表数据库 mort.soa.org 第 3375 至 3380 号表 |
| `data/treasury-yield-curve.csv` | 2026-11-12 的 9 个关键期限、2025-12-31 的 1 年期 | 财政部发布的中国国债收益率曲线（中央国债登记结算有限责任公司编制）。750 日移动平均由平台计算 |
| `data/county-rainstorm-return-period.csv` | 题目用到的 21 个县的 Gumbel 参数和重现期日降水 | 平台计算。降水来自 CHM_PRE 中国逐日格点降水数据集（Han 等，2022），1961—2022 年 |
| `data/loss-triangle-sample.csv` | RAA 和 Taylor-Ashe 损失三角形 | Python 库 chainladder 0.10.1（MPL-2.0）的样例数据，原始出处 Mack（1993）、Taylor 和 Ashe（1983） |
| `data/insurer-clause-article.csv` | 4 份工程险条款，按条拆开 | 保险公司官网信息披露的条款文件，`source_url` 是原文件地址 |

data-15、data-16 两题的参考答案来自平台的台风登陆数据集，数据不随评测集发布。

照片：

| 文件 | 作者 | 许可 | 原图 |
|---|---|---|---|
| `images/Cofferdam_construction_in_Brazil.jpg` | Sabino Freitas Correa | CC BY-SA 4.0 | https://commons.wikimedia.org/wiki/File:Cofferdam_construction_in_Brazil.jpg |
| `images/Corps_repairs_temporary_construction_cofferdam_leak_at_Folsom_Dam_spillway_(24400692742).jpg` | U.S. Army Corps of Engineers Sacramento District | Public domain | https://commons.wikimedia.org/wiki/File:Corps_repairs_temporary_construction_cofferdam_leak_at_Folsom_Dam_spillway_(24400692742).jpg |
| `images/Goldbergsee_(spillway).jpg` | ProfessorX | CC BY-SA 4.0 | https://commons.wikimedia.org/wiki/File:Goldbergsee_(spillway).jpg |
| `images/Llyn_Celyn_New_spillway_and_outlet_-_2026_06.jpg` | Llywelyn2000 | CC BY-SA 4.0 | https://commons.wikimedia.org/wiki/File:Llyn_Celyn_New_spillway_and_outlet_-_2026_06.jpg |
| `images/Progress_on_damaged_flood_embankment_at_Pensarn_-_geograph.org.uk_-_3850957.jpg` | Arthur C Harris | CC BY-SA 2.0 | https://commons.wikimedia.org/wiki/File:Progress_on_damaged_flood_embankment_at_Pensarn_-_geograph.org.uk_-_3850957.jpg |
| `images/Repairs_to_damaged_flood_embankment_at_Pensarn_-_geograph.org.uk_-_3843207.jpg` | Arthur C Harris | CC BY-SA 2.0 | https://commons.wikimedia.org/wiki/File:Repairs_to_damaged_flood_embankment_at_Pensarn_-_geograph.org.uk_-_3843207.jpg |
| `images/Shenzhen_Reservoir_Dam1.jpg` | Huangdan2060 | CC0 | https://commons.wikimedia.org/wiki/File:Shenzhen_Reservoir_Dam1.jpg |
| `images/Shenzhen_Reservoir_Dam2.jpg` | Huangdan2060 | CC0 | https://commons.wikimedia.org/wiki/File:Shenzhen_Reservoir_Dam2.jpg |
| `images/Shenzhen_Reservoir_Dam3.jpg` | Huangdan2060 | CC0 | https://commons.wikimedia.org/wiki/File:Shenzhen_Reservoir_Dam3.jpg |

照片缩小后发给模型，内容没有改动。按各自的许可使用，署名见上表。

## 使用

题目、参考答案和判分规则可以自由使用、修改和再发布，请注明出处"智元数据 World Insight，Wi-Risk Bench 1.0"。
数据文件和照片按上表各自的许可使用。条款原文的版权属于各保险公司。