Property Finder修正评测偏差,模型准确率升成本降86%
热点事件持续更新
Property Finder修正评测偏差,模型准确率升成本降86%
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Property Finder与AWS生成式AI创新中心团队披露,其视觉AI评估标签中96.8%直接沿用了现有视觉语言模型的预测、未经人工核验,使替代模型在比较中结构性处于劣势。团队重新人工标注356张阿联酋图像并改用多标签分类,其中前256张构成调优开发集,最终模型比较的评估集使用全部356张(含开发运行后补标的100张)。 结合进化式提示词优化,团队在Amazon Bedrock上将提示迭代至v27,最终选出更优模型,实现准确率提升、成本降低86%。上述成本数字为截至2025年12月美国东部(俄亥俄)区域的估算;Llama 4 Maverick 17B Instruct的成本按每张图像9000输入token、200输出token计算。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 00:53
Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- AWS Machine Learning BlogProperty Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型
Property Finder 发现其评估标签中 96.8% 直接沿用了现有视觉语言模型的预测而非人工核验,导致替代模型在比较中结构性处于劣势。团队重新人工标注 356 张 UAE 图像并改用多标签分类,结合进化式提示词优化在 Amazon Bedrock 上迭代至 v27,最终实现准确率提升且成本降低 86%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。