苏迪亚(Sundial)联合创始人朱莉·朱(Julie Zhuo)对一款基于人工智能的数据分析工具进行了包含50个问题的准确性测试,初始准确率达到了80%。在补充了标准指标定义和业务背景信息后,准确率提升至98%。这一差距并非源于模型本身的智能水平,而是由于缺乏组织内部的知识积累,例如在存在多个指标定义时,如何判断哪个是官方标准;当收入出现下滑时,是系统故障还是定价策略调整所致;以及分析师如何从业务决策反向推导出数据逻辑。
这一发现的实践意义明确:需要建立权威的指标集合、可机器读取的变更日志、以及已文档化的调查操作手册。
在Airbnb、Stripe等数据密集型组织中,相关问题已存在多年。真正制约可信AI分析落地的瓶颈,并非模型能力,而是组织内部的文档化程度。