AI 项目怎样缩小第一轮实验
有一个很大的产品想法时,可以先找出它最依赖、又最不确定的假设。第一轮实验只负责验证这个假设,结果会决定下一步该继续做什么。
有一个很大的产品想法时,可以先找出它最依赖、又最不确定的假设。第一轮实验只负责验证这个假设,结果会决定下一步该继续做什么。
例如想做阅读助手,真正不确定的可能是摘要是否能帮助读者找到值得精读的文章。账号、支付和推荐社区还不是当前实验必须回答的问题。
写出可以被推翻的假设
“阅读助手很有市场”太宽泛。可以改成:“对一组指定文章,摘要能够保留读者需要的结论,并指出重要限制。”接下来就能讨论谁来判断、用什么材料、错误怎样记录。
把目标用户和输入范围写清楚。只测试过短新闻的结果,不能直接推广到长论文或专业报告。
先留一个比较对象
比较对象可以是目前的人工流程、已有工具,或不使用新功能时的结果。使用相同输入,记录完成时间、关键遗漏和修正量。
不要只展示最成功的一个样例。把明显失败的样例也留下,它可能比一次漂亮演示更能说明下一步应该改哪里。
给实验设置终点
要回答的问题:
本轮输入范围:
比较对象:
由谁检查、检查什么:
时间或成本上限:
继续条件:
修改方向或停止条件:
条件应按任务实际风险和成本选择,没有适用于所有项目的固定分数。小样本可以帮助发现问题,不能冒充已经证明商业需求。
将失败拆成可修的问题
摘要漏掉限制,可能是提示不清,也可能是材料获取不全或模型没有理解。先检查输入是否完整,再检查要求,最后比较生成行为。
如果读者根本不使用摘要,则需要重新检查问题选择。继续优化措辞未必能改善这个结果。
每轮只做足以回答问题的修改,保存前后版本和判断依据。若决定加入新功能,写出它服务哪个已经观察到的需求。这样项目会逐渐扩大,但每一步都能解释为什么值得做。