在智能创意报告中,可以快速查看一段时间内的整体效果,包括: 1.模型整体质量评价 2.智能组和对照组的流量对比和转化率对比 3.智能组相对于对照组的转化率提升
通过整体效果数据,可以快速理解模型已经在多大范围内干预流量分配,以及带来的效果如何。
在分版本报告中,可以获得如下信息: 1.各个版本的流量分配比例 2.各个版本的转化率对比 3.模型对不同版本的提升效果
在右侧的示例图中,可以观察到:
- 【版本2】的整体转化率最好,提升幅度也不错,属于大众欢迎版。
- 【版本3】的流量占比适中,转化率适中,但是模型提升效果明显,属于偏小众精准版,模型对其分配的流量也比较精准。
- 【版本1】的总体转化率比较差,模型提升也很有限,说明该版本可能先天质量不佳。
对智能创意的人工干预,可以遵循以下原则:1. 如果各个版本流量分配还比较平均,说明模型还在试图学习各个版本的特性,建议继续观察,不要过早干预。 2. 如果各个版本流量分配发生倾斜,说明模型已经开始利用版本的先天质量来干预分配。如果此时整体转化率有上升但是模型带来的”提升率“不明显,建议继续观察,模型正在努力学习访客特征和版本之间的相关性。 3. 当各个版本的流量分配和提升率已经有了明显差别,说明模型已经逐渐进入了稳定期,此时可以观察并分析一个版本属于”大众欢迎版“、”小众精准版“、还是“表现欠佳版”。对于前两种类型,建议保持不变。对于“表现欠佳版”,经过一段时间模型会自动逐渐缩小对其的流量分配,您也可以选择进行手工干预,比如直接删除此版本,或者对创意内容进行改造之后,继续观察效果。
智能创意不但能为一次营销活动直接带来效果提升,也能为未来提供有指导性的经验总结: 1.整体上看来,您面向的受众对哪种类型的内容喜好程度比较高,从而可以进一步靠经验来反推用户的其他特征(例如消费特征、性别特征、等等) 2.从最佳提升率的版本上看,您的受众里有哪些高质量的细分,虽然流量不大,但是转化效率超高。未来可以更有针对性的为这类人群设计产品和创意
有一点需要注意的是,智能创意所采取的方法并不是像A/B测试那样采用严谨的统计学方法来评估结论的可信度,因此从报告中分析出的结果,更多的应该作为一个定性的参考,而非经过科学论证的结论。
Powered by BetterDocs
要发表评论,您必须先登录。