Wi-Risk Bench

我们的首个保险风险评测集。100 道保险工作的题目，答案、数据和判分规则全部公开。

v1.0 · 2026-11-14 发布 · 100 题
下载评测集题目 JSONL看成绩单
题目
100
分组
4
数据文件
5
照片
9
Wi-Risk 智能体答对
91/100

01测什么

四组题，从读材料到查数据

基础题给出要用的数字或原文，考方法和读材料。进阶题只写数据的名称，考能不能找到并用对。

每组的题数和内容
分组基础进阶考什么
精算计算26188准备金、损失分布、重现期、生命表、费率因子。进阶题要用经验生命表、国债收益率曲线和县级暴雨重现期。
条款理解281810责任、免除、释义和赔偿计算。进阶题只给公司和条款名称，要先找到条文。
现场照片26188水利工程现场的照片。进阶题先判断工程状态，再查对应县的暴雨重现期。
数据查找2020—从公开的行业数据里查一个数：生命表、收益率曲线、重现期、台风登陆、损失三角形。
合计7426100

2026-11-14 的成绩：同一个开源基座模型，只用模型本身答对 57 题，接上平台的数据、算法和技能以后答对 91 题。看每道题的答卷

02格式

一行一题，答案能自动判

items.jsonl 每一行是一道题。题目原文最后一行写明答案的格式。

id
题号，例如 calc-01、clause-h03
category
分组：精算计算、条款理解、现场照片、数据查找
tier
基础或进阶
type
number（数字题）或 choice（选择题）
question
发给模型的原文
options
选择题的选项
answer
参考答案
unit、tolerance
数字题的单位和允许的相对误差
images
要一起发的照片
data
算参考答案用到的数据文件
items.jsonl 里的一行（clause-h02，排版成多行）
{
  "id": "clause-h02",
  "category": "条款理解",
  "category_key": "clause",
  "tier": "进阶",
  "type": "choice",
  "question": "按太平财产保险《建筑工程一切险(2020版)条款》的释义：某工地最大一小时降雨 18 毫米，连续 12 小时降雨 25 毫米，连续 24 小时降雨 42 毫米。这次降雨属于条款里的暴雨吗？\nA. 属于：每小时降雨量达到了 16 毫米以上\nB. 不属于：24 小时降雨量没有达到 50 毫米\nC. 不属于：12 小时降雨量没有达到 30 毫米\nD. 条款没有定义暴雨\n\n请在回答的最后单独一行写：答案：<选项字母>",
  "answer": "A",
  "options": {
    "A": "属于：每小时降雨量达到了 16 毫米以上",
    "B": "不属于：24 小时降雨量没有达到 50 毫米",
    "C": "不属于：12 小时降雨量没有达到 30 毫米",
    "D": "条款没有定义暴雨"
  },
  "data": [
    {
      "dataset": "insurer-clause-article",
      "file": "data/insurer-clause-article.csv"
    }
  ],
  "reference_source": "太平 建筑工程一切险(2020版) 第五十七条（暴雨）"
}

03判分

只看最后一行的答案

全部自动判分，不用评审模型。同一套规则用在每一个被测的系统上。

判分规则

  1. 1只看回答里最后一个“答案：”后面的内容。没有“答案：”的算错。
  2. 2选择题比较字母。
  3. 3数字题取出第一个数，和参考答案的相对误差不超过 tolerance 算对。tolerance 是 0 时要完全相等。
  4. 4回答被截断或为空时重试一次，还是这样记为未作答，算不对。

怎么运行

  1. 1把 question 原样发给被测的系统。有照片时一起发，文件名写成“照片1.jpg”。
  2. 2被测的系统可以自己查数据、运行代码。data 里的文件用来核对参考答案，不发给模型。
  3. 3按左边的规则判分，按分组数答对的题。

04出处

每份数据和照片，写清出处和许可

数据只收题目用到的部分。题目和判分规则可以自由使用，请注明出处。

  • data/insured-life-mortality.csv

    《中国人身保险业经验生命表（2010—2013）》6 张表

    中国精算师协会发布，表值取自美国精算师协会（SOA）生命表数据库

  • data/treasury-yield-curve.csv

    2026-11-12 的 9 个关键期限，2025-12-31 的 1 年期

    财政部发布的中国国债收益率曲线。750 日移动平均由平台计算

  • data/county-rainstorm-return-period.csv

    题目用到的县的 Gumbel 参数和重现期日降水

    平台计算。降水来自 CHM_PRE 中国逐日格点降水数据集（1961—2022 年）

  • data/loss-triangle-sample.csv

    RAA 和 Taylor-Ashe 损失三角形

    chainladder 库（MPL-2.0）的样例数据，原始出处 Mack（1993）、Taylor 和 Ashe（1983）

  • data/insurer-clause-article.csv

    4 份工程险条款，按条拆开

    保险公司官网信息披露的条款文件，每一条带原文件地址

data-15、data-16 两题的参考答案来自平台的台风登陆数据，数据不随评测集发布。照片缩小后发给模型，按各自的许可使用，作者和许可写在 README 里。条款原文的版权属于各保险公司。

引用时写：智元数据 World Insight，Wi-Risk Bench 1.0。README