学术要闻

当前位置: 首页 -> 学术成果 -> 学术要闻 -> 正文

AFAC2023金融智能挑战赛揭榜,4728支队伍中是他们夺得桂冠!!!

信息来源: 发布日期:2023-09-22

以下内容摘自:蚂蚁技术AntTech)

近日,在中国计算机学会的指导下,蚂蚁集团旗下蚂蚁财富、蚂蚁保、网商银行联合浙江大学、上海交通大学、西安交通大学、中央财经大学、蚂蚁技术研究院、天池平台,以及众多国内顶尖高校联合举办的首届「AFAC2023 金融智能挑战赛」结果出炉。经过激烈的角逐比拼之后,挑战赛「六强」诞生:来自北京大学、同济大学、华南理工大学等高校及机构的团队分别摘得六个赛道的冠军。

9月8日,六大赛题冠军选手受邀参加2023 INCLUSION・外滩大会「智能涌现,大模型时代金融科技进化之路」论坛,并在颁奖仪式中上台领奖。颁奖嘉宾:(左一)中国计算机学会秘书长唐卫清教授、(右四)西安交通大学计算机国家实践教学示范中心主任、教育部大学计算机课程教学指导委员会秘书长桂小林教授、(右三)中央财经大学、中国互联网经济研究院院长孙宝文教授、(右一)蚂蚁集团财富事业群 CTO 邓宏、(右二)蚂蚁集团财富保险事业群首席架构师曹刚。

对于这场挑战赛,蚂蚁集团从多年的业务场景经验和当前的技术变革趋势出发,抽取了三个核心方向:「金融数据验真」、「金融数据理解」、「金融场景理解」,共设置六大赛题。与以往的金融科技类赛事相比,本次大赛更加注重 AI 技术在金融业务现实场景的落地,不管任务复杂度还是模型能力测评的严格程度方面都更上一层楼。

自6月份开赛以来,AFAC2023 金融智能挑战赛共吸引了 4728 支队伍参赛,包括来自清华大学、北京大学、上海交通大学、浙江大学、华中科技大学、复旦大学、中国人民大学、西安交通大学、武汉大学、中山大学、天津大学、中央财经大学、华东师范大学、同济大学、华南理工大学等高校的学生,以及招商银行、浦发银行、浙商银行、中和农信、美团、华为、中国联通、中国移动、汉仪字库等机构的同行从业人员参赛,涌现了众多创新方案。

经过近三个月的激烈角逐,36支队伍从4000多支参赛队伍中脱颖而出。这些队伍中,有刚刚考上研究生的零零后,有跨行参赛的博士生,有知名企业员工,还有刚刚步入职场的神仙眷侣。在评审研讨会上,他们分享了本次金融智能比赛方案和经验心得,并得到了专家评委的针对性反馈和建议。日前,六大赛题最终排名结果已在大赛官网公示,这些晋级队伍展现了金融科技领域的创新潜力,也为未来的金融科技发展注入了新的活力。

蚂蚁集团副总裁、AFAC2023 金融智能挑战赛 大赛主席王晓航表示:「数年来,蚂蚁集团打造出了余额宝、花呗、小微金融等一系列国民级产品,并在 AI 技术领域持续投入,布局了包括知识图谱、运筹优化、图学习、可信 AI、大模型等技术方向,支撑了蚂蚁普惠金融的全面智能化升级。我们这次的整个大赛的选择,就是面对直面产业的真命题,解决这个产业AI在产业落地中的真实问题,促成建立这样一个平台。让我们产学界的这些优秀的人才进入到这个产业里面,近距离的去解决这些问题。」

是什么让他们脱颖而出?

以「金融行情观点生成和合规检测」为例,赛题设置了金融场景下融合知识和市场信息的内容生成任务,需要参赛者探索创新的模型和算法,在保证内容的合规性基础上,实现精准专业的自动化话术生成。

这道赛题的难点在于同时满足准确性、多样性、合规性三方面的要求,准确性要求推荐的沟通话术同基金指标、事件与观点等输入内容保持一致,多样性要求针对同一输入的不同沟通话术内容尽可能多样,合规性要求满足平台的合规审核要求。此外,出于客户体验的考虑,还需要生成的沟通话术在具备专业风格的同时,让理财新手也能看得懂,不能感受到过多的营销感。

在完成这一挑战的过程中,来自同济大学的「WeLearnNLP」冠军团队设计了如下方案:选取 Chatglm2-6B 模型作为基座模型,使用 qlora 的方式对模型进行微调,并通过现有的多个对话类大模型产品构造不同的多样性 prompt,以实现话术生成的准确度和多样性。该方案对当下大模型技术细节的娴熟掌握和成功应用,不仅取得了赛道 TOP1 的好成绩,在评审研讨会中也获得了评委老师的高度评价。

图注:「WeLearnNLP」团队的解决方案(局部)

除了时下较热的生成类赛道和收益预测等深度学习类赛道,此次大赛也涵盖了创新业务,比如蚂蚁保平台上的宠物险,第一届曾在2022CVPR开展以「宠物鼻纹识别」为主题的算法赛道,今年在AFAC2023中,更进一步探讨全新的、更具挑战性的命题 --「宠物年龄识别」,为宠物险的定价、核保核赔提供更精准的技术支撑。「宠物年龄识别」赛题要求参赛者利用计算机视觉技术,通过宠物正脸图片,预估其年龄值(段)。该赛题的难点在于宠物幼老年数据少、年龄区分度差、数据噪声大等。因此,参赛者需要通过数据增强、特征提取、模型训练等手段,提高宠物年龄识别的准确率和鲁棒性。

来自浙江大学的「VIPA」亚军团队在完成宠物年龄识别挑战时,采用了多种实验方法来寻找最佳模型方案。他们发现TrivialAugment方法在数据增强方面表现最佳,并参考了ImageNet预训练分类模型在acc等指标上的表现,最终选择了convnextv2_huge作为backbone。在预测头predictor的选择上,他们对比了简单分类、简单回归和加入卷积层的改进回归方法,并发现加入卷积层的改进回归方法更有利于特征提取,从而提高了模型准确性。最后,VIPA团队选择了Adam优化器和CosineAnnealingLR学习率衰减策略,他们提出了基于模型权重平均的宠物年龄识别方案,并通过Model Soup和SWA提升了模型鲁棒性和准确率,最终在赛道中获得了TOP2的优秀成绩。

图注:「VIPA」团队的解决方案(局部)

赛事背后的打分手 金融专属任务评测集「Fin-Eval

这次大赛只是AI在金融领域迈出的一小步,随着新的开源模型、微调方法、开发工具不断涌现,AI在金融领域的应用前景将更加广阔。然而,针对金融领域的大规模模型评测工具仍然需要进一步开发和完善,基于种种需求,蚂蚁集团金融科技团队经过大半年的筹备,推出了金融专属任务评测集「Fin-Eval」,相当于出了一套面向金融大模型的「仿真模拟试题」。

蚂蚁金融大模型算法 Leader 于飞介绍:「Fin-Eval 由认知、生成、领域知识、金融逻辑、安全合规五大类共 28 个子任务组成,首期发布中包含超过 2 万条金融评测数据,是基于真实场景的的金融专业评测集,填补了高质量综合性智能评测集的行业空缺。」

Fin-Eval 在任务设计时充分考虑了金融大模型在各方面的特点,包括 In-Context Learning、工具调用、CoT 等。在这场赛事中,Fin-Eval 也在选手们的任务评测环节发挥了巨大的价值,为参赛团队之间的成果对比提供了一套公平客观的标准。未来Fin-Eval的前瞻版将最早开放于AFAC金融智能挑战赛,邀请来自业界和学界最强的团队参赛,成为Fin-Eval未来版本最好的试金石,也致力为金融科技行业最前沿的探索共同努力。

在近日召开的 2023 INCLUSION・外滩大会上,蚂蚁集团宣布正式对外开放 Fin-Eval,供金融科技领域的研究者与从业者体验、测评,希望促进行业技术共同进步。

Fin-Eval 开放地址:

https://github.com/alipay/financial_evaluation_dataset/

https://huggingface.co/datasets/Fin-Eval/Fin-Eval

浙江大学计算机科学与技术学院教授、之江实验室副主任 鲍虎军表示:「通过这样一个赛事,也是促进了学术界和产业界在金融领域智能化方向上的探讨交流,为行业培养出更多的具有创新思维和实践能力的人才。」

蚂蚁集团一直致力于推动前沿金融科技的发展和人才的培养。我们希望通过大赛,给热爱技术的年轻人一个平台,共同去探讨人工智能技术在金融领域的新发展,助力行业进步。未来,蚂蚁集团希望从数据体系建设、研发多模态大模型、建设高效的大模型评测标准和评测体系等方向入手,联合产学研各界持续探索金融大模型的落地,建设安全健康的大模型产业生态。而这些成果,最终将实际提升每一位用户的智能体验。