数据查询

---
name: data-query
description: 在智元数据 World Insight 平台的全部数据集里找数据、取数据、连接数据、算数，回答用数据说话的问题。能做：按关键词找数据集，看字段、口径和覆盖年份，按条件取行，按区县、城市、省、股票代码、统一社会信用代码这些键把两个数据集连起来，区县汇总到城市或省，旧的区划代码和北交所旧代码换成现行代码，按行政区划取地图上的形状和中心点（经纬度、面积），要好几步的统计（排名、合计、比值、占比）。用户问"哪些数据集有县级降水""某市 2019 年的户籍人口是多少""把企业和处罚连起来""区县汇总到城市""上市公司的专利""北交所 920 开头的公司""在地图上标出每个县""各省排名"，或者问题要用平台的数据但不属于别的专门技能时使用。精算计算用 actuarial-pc、actuarial-life、actuarial-risk、actuarial-ds-pricing。通过 REST 接口取数，需要环境变量 WI_API_KEY。
---

数据查询

用平台的数据回答问题。平台有 600 多个数据集。你的工作是：找对数据集，看清口径，取对行，连对键，用代码算数，再说清楚数据从哪里来、怎么算的。

开始前

1. 所有命令都在本技能的目录里运行：python3 scripts/wi.py ...。一次一条命令。
2. 脚本从环境变量 WI_API_KEY 读取 API Key。没有设置时，请用户先设置，不要猜。
3. datasets、describe、links、plan 不扣点。query、join 扣点，脚本会打印扣了多少。
4. 查询的写法（过滤、连接、按地区取、地图）见 references/query.md。常用的参照数据集见 references/datasets.md。做过的例子见 references/examples.md。

步骤

1. 列计划。 把问题拆成几步，写下每一步要什么数据、哪一年、哪一级（区县、城市、省）、什么口径。一次回答最多 24 步，一步一次工具调用。计划先写出来，后面按计划做，不要反复试。
2. 找数据集。 用 python3 scripts/wi.py datasets --q <关键词> 找。关键词用短词，例如"台风""户籍人口""绿色专利""财产险"。找到几个候选时，看名称和说明里的覆盖年份、级别，选能回答问题的那个。
3. 看字段和口径。 用 python3 scripts/wi.py describe <数据集> 看字段。特别看这几类字段：
4. 口径字段：表里常常同时有合计行和明细行。例如"全省合计"和各城市，"集团公司合计"和母公司、子公司，"合计"和分险种。只取一种口径，否则会重复计算。不确定有哪些取值时，先取几行看一看（--limit 20）。
5. 单位：万元、百万元、亿元，万人、人，百分数。回答里的单位和数据的单位要对上。
6. 年份和级别：数据覆盖到哪一年，是区县、城市还是省。
7. 取数据。 用 query 加过滤条件，只取要的字段，加 --save data/<文件名>.json。一个条件写一个 --where，不能用 and 连起来，例如 --where "year >= 2010" --where "year <= 2019"。数据多时加 --limit 1000，还有下一页时按脚本提示加 --cursor。
8. 连接。 要用两个数据集时，先 plan <左> <右>，再 join。规则见 references/query.md 的"联合查询"。三条要点：
9. 右边一组键对上多行时，用 --right-agg 先汇总。
10. 两边的级别不同时，按粗的一级连，回答里说明。
11. 原来的数据有旧代码时，把参照数据集放在左边连接，不要按新代码直接筛选。
12. 算。 排序、分组、合计、比值都用 run_python 读保存的文件计算。一次回答最多运行 6 次 run_python，用完就不能再算了。所以：
13. 每次都用下面的写法读文件。它把每行变成字典，空值也能处理，不用先另外运行一次看结构。
14. 一次 run_python 里把要算的全算完：先打印口径字段的取值和行数，再算结果。不要一次只看一点。
15. 取完全部数据再算。几个文件可以在同一次里读。

``python import json from collections import defaultdict def load(path): d = json.load(open(path)) k = [c["key"] for c in d["columns"]] return [dict(zip(k, r)) for r in d["rows"]] def num(v): return float(v) if v not in (None, "") else 0.0 rows = load("data/x.json") print(len(rows), rows[0]) g = defaultdict(float) for r in rows: g[r["province"] or "（空）"] += num(r["amount"]) # 换成真实的字段名 for name, v in sorted(g.items(), key=lambda x: -x[1]): print(name, round(v, 2)) ``

1. 核对。 回答前逐项看：
2. 行数对吗？例如浙江省应该有 11 个地级市。少了要找原因（名称不同、代码变了、口径不同）。
3. 有没有重复计算（合计行和明细行一起加了）？
4. 单位换算对吗？
5. 回答。 见"怎么回答"。

常见的情况

怎么回答

1. 结论：先回答用户的问题，数字带单位。排名用表格。
2. 数据：用了哪些数据集（名称和标识）、哪一年、什么口径（例如"全省合计，含计划单列市"）。
3. 怎么算的：取了哪些行，怎么连接、汇总，一两句话。连接时把 join 输出的"连接方式"里的说明写进来。
4. 限制：对不上的行、缺的年份、近似的地方。
5. 最后写明这次一共扣了多少点。

不要做

1. 不要心算。排序、合计、比值都来自代码的输出。
2. 不要编造数据。查不到、没有授权、数据集没有这一年时，直接说明。
3. 不要把合计行和明细行加在一起。
4. 不要按名称连接区县。名称有重名，按代码连接。
5. 不要把演示数据（数据集说明里写着"演示数据"）当成真实数据。

出错时