C2C电商龙头eBay近期揭露自家2024年AI技术发展与成果，以及2025年技术发展计画。eBay CEO Jamie Iannone表示，2024年是他们AI技术颠覆性的一年，大幅升级AI平台，以支援他们打造出相较去年百倍规模的LLM，并推出多种生成式AI买家与卖家功能。今年则要在持续发展AI技术同时，找出更低价、更快速、更有效率的GenAI应用方法。
投资硬件效能并改版AI开发平台
2024年，eBay为发展生成式AI，不只投资硬件设备，启用了一台自有的超级电脑，更大幅翻新AI开发平台，以从头自建并执行比2023年规模大上100倍的LLM，包括用3兆个Token训练而成的多模态、多语言模型。
eBay自家AI平台Kyrlov底层有4个小平台，特徵平台（Feature Store）、实验平台、训练平台及推论平台。2024年，他们锁定数个训练平台及推论平台的痛点，导入新技术与做法来解决。
首先是个别专案的硬件资源配给设定无法更改。过往在训练平台与推论平台开启新专案时，工程师须先设定配给专案开发环境的算力及记忆体。一旦设定，就无法更改。这种模式，使专案无法在资源不足时增加硬件，更无法于霸占过多硬件时释出资源。这使eBay硬件资源利用率非常低，有些专案甚至会出现不到10%利用率的情况。开始大规模发展硬件需求高的生成式AI专案后，此问题带来的冲击尤其显着。
eBay的解法是，先从专案环境设定开始做起，取消必须先设定专案环境硬件的模式，改用系统自动配给硬件资源。同时，设定标準GPU SKU规格，规定一个GPU可以使用的记忆体上限。
再来，导入新技术来进一步提升硬件调度弹性及使用效率。导入新技术框架，强化GPU多工能力，提升个别GPU使用效率。并且，导入优先级调度（Preemption）做法，让更高优先度的推论作业，可以抢占低优先度开发作业的硬件资源，来进一步提升调度弹性。另外，他们还导入新的资料串流技术，来增加数据传输效率。这一系列解法，提升了2至4倍GPU数据吞吐量。
第二个痛点也与硬件资源调度有关。过往，eBay使用GPU节点，只会配置固定数量CPU。也就是说，当eBay训练或推论作业中，所需CPU数量大于节点上的GPU，就会降低作业效能，或需要启用更多节点，但过程中浪费GPU资源。
他们的解法是，导入Ray框架的Remote CPU功能，调度更多外部CPU资源来支援，进而避免启用更多节点，而导致GPU闲置。导入后，相关作业的GPU利用率提升4倍、单位时间数据吞吐量更提升7倍。
第三个痛点是训练与推论作业所使用的开发语言不同，模型开发工程师使用Python，推论作业的工程师使用Java。这使他们需要花费高达一半的开发时间，进行来回沟通、语言间转换、逻辑改写等作业。导入Ray框架时，他们也使用了Ray的Unified Pythonic API，将两种开发流程使用的语言统一为Python，省去前述作业时间，更简化了运算资源调度及整体作业流程管理。
提升AI开发效率、硬件调度效率及整体可运用硬件数量，使eBay在2024年不只推出新模型，也用生成式AI提升平台上不同作业流程，更能上线了许多生成式AI应用。
eBay 2024到2025年怎么用生成式AI
2024年，eBay推出一系列卖家用的生成式AI应用，包括可以自动化根据图片来批量撰写商品描述并上架商品的功能、根据自然语言描述来生成商品背景图片的功能、商品图片去背功能、社群媒体贴文生成功能等。
Jamie Iannone表示，已经有超过1千万个卖家使用过这些新GenAI功能，用来上架上亿件商品，带来了数十亿美元的平台交易额。卖家对于这些工具的满意度也超过了90%。
他们也针对买家推出一系列GenAI和AI功能，以期提升购卖意愿。这些功能包括个人化服饰推荐及模拟试穿功能、更準确的预计到货时间估算，以及在搜寻中提升快速到货商品能见度等。Jamie Iannone说，这些功能，使最近的年底购物季买气超出eBay预期。
eBay也将生成式AI用于客服、工程、商品搜寻、支付、行销等，数十种场景的底层技术改善。一个例子是，他们利用Google Vertex AI及Vector Search功能，来强化自家推荐系统，用于多模态嵌入向量的快速生成、推论延迟降低，及开发效率速度提升。最后一项效果尤其显着，原本在推荐系统中测试并启用新模型的开发周期，从数月降低到两周。
不只自家开发，eBay也积极与外部合作开发电商GenAI功能，包括与OpenAI的代理人功能Operator合作，使其能推荐eBay商品，甚至直接代为购买商品。
2025年，Jamie Iannone揭露，他们将训练较前一年更加大型且成熟的模型。接着，将这些大型模型蒸馏成一个个较小的模型，根据专门用途微调，再投入实际应用。这样一来，才能在提升专门用途的精準度同时，降低推论延迟及成本。目前，他们已经在5个核心电商功能实验，投入了规模仅有原本模型1/8的小型模型，却提升30%精準度，且延迟时间只剩1/10。
至于将生成式AI投入哪些应用，eBay目前聚焦于顾客体验类应用、商品行销类应用、以及广告类应用。他们年报写到，目前公司一大目标是提升自家营运的广告营收，降低站内站外第三方广告占比。目前行销与广告类的一大重要应用是卖家用广告仪表板，呈现广告相关表现数据，并用生成式AI与AI来呈现相关分析、建议策略、趋势洞察等资讯。
