额度有限时,优先选能改变你下一步动作的样本,而不是覆盖面最广的样本。具体做法是:先明确这次查询要支持哪一个决策,再按“结果会推翻当前判断”的概率排序,把额度花在分歧最大、最可能出错的词或页面上;如果查询结果只会让你更安心,不会让你改动作,它就不该占用额度。
常见的第一反应是把额度摊平:一批核心词、一批长尾词、几个主要页面,每类都查一点。这样看起来风险分散,但结果往往是每类都只得到模糊印象,既不足以确认某个词的真实表现,也不足以否定原来的判断。
另一种做法是集中查少数几个对象,把额度压在分歧点上。它的问题也很明显:如果选错了对象,你会在一个无关紧要的方向上耗尽额度,剩下的词只能靠猜。两种做法都成立,差别在于你当前有没有一个明确的待验证判断。
把额度摊平的解释是:你还不知道问题出在哪,所以需要先建立整体印象,避免被个别异常带偏。这种选择成立的条件是,你手上没有任何可靠的先验信息,连哪些词属于同一类都说不清。
把额度集中的解释是:你已经有一个具体判断,比如某个词族的转化意图更强、某类页面更容易被忽略。此时样本的价值取决于它能否区分“判断对”和“判断错”,而不是它代表了多少对象。这种选择成立的条件是,你能事先说出什么结果会让你改变动作。
两者不是对错关系,而是阶段关系。没有先验信息时,摊平取样用于发现方向;有了候选判断后,集中取样用于验证方向。额度越少,越应该先问自己处在哪个阶段,而不是默认平均分配。
判断样本有没有信息量,可以看三条证据。
一个假设例子:假设你有二十个候选词,额度只够查五个。若你已判断“带规格描述的查询意图更明确”,就选五个规格描述程度不同的词,而不是每个词族各抽一个。前者能看出意图强弱是否随描述程度变化,后者只能得到五个互不相关的点。这个例子里,选样标准是“能否让判断产生可比较的差异”,不是“是否覆盖了所有词族”。
实际操作可以按下面的顺序走,每一步的结果都会影响下一步。
这个顺序的关键在于:每一轮查询的目的都是缩小下一轮的范围。如果一轮查完,你的候选判断没有减少也没有排序变化,说明这批样本的信息量偏低,下一轮应换选样标准,而不是简单增加数量。
上述方法依赖两个前提:你能事先写出候选判断,且同类对象之间可以比较。如果连对象分类都还没建立,先用少量额度做一次粗略摸底更合理。另外,不同工具对额度、数据来源和刷新方式的定义并不统一,具体能查什么、结果代表什么范围,需要以你实际使用的工具说明为准,不要按通用假设推断。样本只能减少不确定性,不能替代对数据口径的确认;当结果与预期冲突时,先核对口径,再调整策略。