谁是在线购物边界最深广模子？也有评测基准了欧洲杯体育。

基于信得过在线购物数据，电商巨头亚马逊终于"亮剑"——

汇注香港科技大学、圣母大学构建了一个大边界、多任务评测基准Shopping MMLU，用以评估大说话模子在在线购物边界的智力与后劲。

一直以来，念念要无缺建模在线购物很是复杂，主要痛点是：

多任务性：在线购物中存在种种的实体（举例商品、属性、驳斥、查询裂缝词等）、关系（举例裂缝字和商品的匹配度，商品和商品之间的兼容性、互补性）和用户动作（浏览、查询、和购买）。

对这些实体、关系和动作和汇注建模与贯穿组成一个复杂的多任务（multi-task）学习问题。

少样人道：在线购物平台会握住靠近新用户、新商品、新商品品类等带来的冷运行（cold-start）场景。在冷运行场景下，在线购物平台需要措置少样本（few-shot）学习问题。

不外，诸如 GPT，T5，LLaMA 等的大说话模子（LLM）仍是展现出了深广的多任务和少样本学习智力，因而有后劲在在线购物边界中得到庸俗运用。

而为了进一步找出最强、最具后劲的 LLM，测试基准 Shopping MMLU 应时而生——

与现存数据集比较，Shopping MMLU 遮蔽了更多的智力（四项）和任务（57 个）。

同期，基于 Shopping MMLU，亚马逊举办了 KDD Cup 2024 数据挖掘竞赛，劝诱了各人逾越 500 支军队参赛。

庸俗的智力和任务遮蔽

为了全面、充分评估大说话模子在在线购物边界中的智力，参谋伊始分析了在线购物边界的独到性：

特定边界的漫笔本：在线购物中存在普遍的特定边界名词，举例品牌、居品名、居品线等。此外，这些特定边界名词常常出现于漫笔本中，举例查询裂缝词、属性名 - 值平等。因此，在枯竭高下文的漫笔本中贯穿特定边界名词，是在线购物边界的一个独到挑战。

商品的隐含学问：大部分商品齐隐含特定的学问，举例 AirPods 使用蓝牙勾通，不需要转接线；碳纤维成品一般分量很轻等。若何准确贯穿不同商品隐含的学问况且进行推理，是在线购物边界的另一个独到挑战。

异质且隐式的用户动作：在线购物平台上存在多种种种的用户动作，举例浏览、查询、加购物车、购买等。这些动作大部分齐不以说话抒发，因此若何全面贯穿这些异质的用户动作，是在线购物所必须措置的问题。

多说话任务：在线购物平台常常在不啻一个地区运营，因此需要模子能同期贯穿多种说话描述下的商品和用户问题。

基于以上分析，参谋构造了 Shopping MMLU，遮蔽四项在线购物智力，筹算 57 个任务：

在线购物主张贯穿

在线购物学问推理

用户动作贯穿

多说话智力

下表可见，Shopping MMLU 比较现存数据集遮蔽了更多的智力和任务。

智力和任务组成如下图所示。

Shopping MMLU 大部分由信得过的亚马逊在线购物数据构造，况且经由东说念主工历练，尽可能摒除低质地数据，举例标注罪恶，枯竭必要信息等。

部分问题示举例下。

主流大说话模子获利单

参谋收用了共27 个主流大说话模子进行履行分析，其中包括：

闭源模子（Claude-3, Claude-2, GPT）

开源通用边界模子（LLaMA2、LLaMA3、QWen、Mistral）

开源特定边界模子（eCeLLM，经由在线购物边界数据进行微调）

履行遵守如下表所示。

参谋发现，固然闭源模子仍然处于伊始（举例 Claude-3 Sonnet 举座排名第一），但开源模子仍是八成赶上闭源模子的性能（举例 QWen 和 LLaMA3）。

此外，特定边界模子 eCeLLM 并未在同参数目级下获得最佳获利，讲解 Shopping MMLU 是一个有很是难度的评测基准，无法通过浅薄的微调获得好获利。

若何打造在线购物边界大模子

基于 Shopping MMLU，参谋分析常用的大模子增强时代，进一步探究若何打造深广的在线购物边界大模子。

伊始，如下图所示，模子在不同智力和任务上的得分高度正相关。这讲解了在线购物边界的不同任务之间存在共同的学问，不错使用大说话模子进行举座性的建模和智力擢升。

其次，如下图所示，模子的 Shopping MMLU 得分和模子在通用大模子基准测试的得分（Open LLM Leaderboard）通常高度相关。

另外，跟着统一个模子家眷内模子增大，其 Shopping MMLU 得分通常增多。

这标明大说话模子的通用智力不错很好地迁徙到在线购物边界中，构造特定边界大模子的基础是深广的通用智力。

随后，参谋分析了微调对模子在 Shopping MMLU 得分的影响。

通用边界的微调一般对模子在 Shopping MMLU 上有擢升。不外，这一论断也与基础模子的智力，微调的数据质地等成分存在关系。

举例，在 LLaMA2-70B 上，参谋不雅察到经由微调的 LLaMA2-70B-chat 得分低于 LLaMA2-70B，而在 LLaMA3-70B 上莫得不雅察到这一振作。

可能的原因是，相对较小的微调数据使得 LLaMA2-70B 过拟合，导致通用智力的部分丢失，进而导致 Shopping MMLU 上得分下落。

反之，LLaMA3 使用了更高质地的微调数据，是以八成保留通用智力，同期增强模子回答问题的智力，得到更高的分数。

特定边界微调（如 eCeLLM）并未能在 Shopping MMLU 上获得最高得分。

为了探究其华夏因，参谋测试了 eCeLLM 与其基础模子在通用智力上的对比。遵守标明，经由特定边界微调的 eCeLLM 比较其基础模子的通用智力一般有所下落。

这可能是导致 eCeLLM 未能获得最高得分的原因，也同期强调了通用智力关于对特定边界的伏击性。

回来

Shopping MMLU 是一个针对大说话模子和在线购物边界瞎想的评测决策。其包含庸俗的任务和智力遮蔽（4 项伏击智力，筹算 57 个任务），不错全面评估大说话模子在在线购物边界的智力和后劲。

Shopping MMLU 基于亚马逊的信得过购物数据打造，经由东说念主工筛选，保证数据质地。基于 Shopping MMLU，参谋张开了普遍履行分析，为这一边界后续的参谋和内容运用提供了有价值的论断。

当今，Shopping MMLU 以偏执对应的资源一说念开源并将捏续爱戴，便捷参谋东说念主员和开拓者进行深刻探索和运用。

Shopping MMLU 的数据以及对应评测代码仍是于 GitHub 公开。

同期，为了构造绽开、开源的评测体系，参谋基于 Shopping MMLU 缔造了一个排名榜。

官方示意，Shopping MMLU 接待新模子加入排名榜，若是有兴趣的话不错于 GitHub 上与 Shopping MMLU 爱戴者进行探究。

论文：

https://arxiv.org/pdf/2410.20745

数据及评测代码：

https://github.com/KL4805/ShoppingMMLU

KDD Cup 2024 Workshop 及获奖军队解法：

https://amazon-kddcup24.github.io/

评估榜单：

https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 情势主页贯串，以及探究神态哦

咱们会（尽量）实时修起你

点这里� � 温雅我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿施展日日相遇 ~