法律实证研究近几年增长很快,但方法训练普遍不足。常见的情形是:作者花几个月手工编码了上千份判决,最后用几个百分比得出「某类案件裁判不统一」的结论,却没有说明抽样方式与编码信度。
一、五个错误与对应做法
| 错误 | 表现 | 正确做法 |
|---|---|---|
| 样本非概率 | 只用自己所在法院的判决 | 说明样本框,承认外部效度限制 |
| 编码无信度 | 单人编码,无复核 | 双人独立编码,报告一致性系数 |
| 变量操作化粗糙 | 「胜诉」未区分全部/部分支持 | 明确操作定义并举例 |
| 把相关当因果 | 政策出台后案件数上升即称政策导致 | 引入对照或时间序列分解 |
| 忽略选择偏差 | 只研究进入诉讼的纠纷 | 讨论庭外和解造成的样本截断 |
二、样本框要写清楚
至少要回答四个问题:从哪个数据库检索、检索式是什么、时间范围为何、为何剔除某些案件。如果样本来自某一地区,就要明确这是「某地区研究」,不能推广为全国结论。审稿人对「以偏概全」的容忍度极低。
三、编码手册比数据更重要
- 为每个变量写定义、取值与示例,形成编码手册。
- 抽取 10% 样本由第二位研究者独立编码,计算一致性。
- 分歧处集体讨论,修订手册后重编。
- 手册与原始数据一并作为附录或补充材料公开。
避坑
一致性系数低于 0.7 时,说明变量定义不清,应先修手册,而不是继续编码。硬着头皮编完,结论不可用。
四、描述性统计也能出好论文
不是所有实证研究都要跑回归。裁判结果的分布、援引法条的频次、审理周期的变化、说理长度的差异,这些描述性发现如果足够反常识,本身就构成贡献。关键是给出可比的基准(与往年比、与其他地区比、与其他案由比)。
五、结论的分寸
- 区分「描述」与「解释」:前者说是什么,后者说为什么。
- 区分「样本内」与「样本外」:不要用一地数据推断全国。
- 区分「统计显著」与「实践重要」:差异 3% 可能显著,但未必值得改规则。
- 主动写出替代解释,并说明为何你的解释更可信。
手工编码几千份判决,工作量太大怎么办?
缩小样本但提高深度,或采用分层抽样。也可以用文本工具做初筛,但必须人工复核,且说明工具与复核比例。
数据库判决不全,会影响结论吗?
会。要在方法部分说明覆盖率,并把「公开率偏差」列入局限。若某类案件公开率特别低,应单独讨论。