你坐下,我给你讲个事。12月8日那天晚上,我在老陈家的小饭馆吃饭,他掏出手机给我看一个截图,说某个资料库宣称"准确率98.6%"。我当时正夹着一块红烧肉,筷子停在半空。
我说:老陈,你给我看看原始记录。他愣了。他根本没有原始记录,只有一个截图和一个号称的百分比。那一刻我就决定,这个月的统计我要自己算一遍。
我把三周的记录一条一条抄进了表格
从12月9日开始,我每天记录。我把每天发布的内容、实际结果、判定口径全部写进三张Excel表,一张是原始条目,一张是判定结果,一张是对照表。
到12月28日晚上,一共记了214条。其中能被清晰判定的只有187条,剩下27条,我盯着看十分钟都不敢下结论。
你说这算什么?我告诉你,我拿着计算器按出第一个结果的时候,屏幕上的数字是78.1%。不是98.6%。
"你可以信一个公开的、能追溯的78.1%,也别信一个来路不明的98.6%。"——这句是我12月28日凌晨两点写在备忘录里的。
三个具体的坑,我一个一个指给你看
第一个坑:口径漂移。12月11日那批记录里,有9条在录入时算"命中",三天后复核又被悄悄改成"未命中"。谁改的?没人说。我在表格里用红字标了出来。
第二个坑:样本挑选。我翻到一个叫李成武的人在12月15日发的帖子,直接把某个连续命中的截图当成整体结论。他只截了7天,前面的11天呢?没了。
第三个坑:时间错位。12月22日有一组数据,标注的判定时间是当天下午四点,但原始记录显示内容发布于晚上八点二十。先有结果,后有内容。你品品。
这三个坑加在一起,所谓的"高准确率"就塌了。我不是针对谁,我是针对这种把数字当装饰品的做法。
说句有争议的话
说实话,我认为市面上绝大多数号称九成以上准确率的统计表,都经不起一次完整的回溯核对。这话会得罪人,但我认了。
真正靠谱的做法只有一个:公开原始条目,公开判定规则,公开复核记录。做不到这三点,那个百分比就是一张贴在墙上的年画,好看,不顶用。
我在做这个站的过程中,也参考过其他同行的整理方式,比如管家婆论坛网上有人提出过的条目登记模板,还有管家婆67722论坛资料查询功能里讲到的数据追溯思路,这些至少比截图体面。至于管家婆27792论坛资料查询优化建议里提到的复核机制,我觉得方向对了,但执行力度还差得远。
所以我这个站,只做一件事
管家婆精准资料库准确率统计,这十几个字我一个字一个字抠。统计不是喊口号,是把每条记录摊开在太阳底下数。
我的表格还在更新。12月29日早上七点,我又补了6条。数字会变,但追溯的规矩不能变。