为了提高模型回答精準度，凯基人寿建立了三道提示工程的改进机制。 第一道机制是由内部技术部门和外部技术伙伴合作，以机器乱数产生500笔问题，和实际答案比对。第二道是透过跨部门小组以实务经验手动产生500笔题目，再进行测试和比对。最后一道机制，是藉由第一线业务员使用者提供回馈，交由技术团队修正提示。（图片来源：凯基人寿）

业务员是贩售保险商品的最大通路，也是保险业的重要战力。根据寿险公会截至今年二月的统计，凯基人寿（原为中国人寿）内部有超过一万5千名业务员，每年还会增加不少新进业务员。根据寿险公会统计，光是2022年，全台就有超过2万1千名新进业务员通过人身保险资格测验，正式成为保险业务员。如何将这批年龄、学经历各不同的新手，快速训练成保险专业人才，是每一家保险业的重要课题。凯基人寿用生成式AI找到了新的作法。

因为新人数量多又分散全台，传统保险业务员训练方式大多按北、中、南分区培训，不仅训练时间长，再加上讲师功力和教材不一，培训效果也有落差。为了解决这个痛点，凯基人寿早在去年就用NLP，开发出一套业务员训练系统，称为智能对练1.0版，可以在线上模拟业务人员与顾客的对话，来提供新手业务员进行对话演练，也能彙整多达700页的业务手册，协助业务员快速查找大量资讯，至少缩短了一半的新人训练时间。

不过，用NLP打造的对话形式较生硬，训练效果有限。随着生成式AI技术浪潮来袭，凯基人寿看中它模拟真人对话的能力，开始将这项技术应用在内部工具中。

今年二月初，凯基人寿开始在业务员训练系统中导入生成式AI，发表了智能对练2.0版，可以更拟真的模拟业务员与顾客的对话过程，协助业务员演练销售技巧，还能快速摘要700页业务手册的内容。在模拟客户功能中，他们除了使用提示工程和检索增强生成技术（RAG），也应用微调（Fine-Tuning）和虚拟人和情绪侦测等技术。而在业务手册摘要功能中，他们主要运用提示工程和RAG，限定LLM模型的回应範围，让模型尽可能根据业务手册或商品内容提供回应，协助新进业务员以问答方式，快速掌握手册资讯。

这是国内首家在业务员训练正式导入生成式AI的寿险业者，也是国内少数正式启用生成式AI应用的金融业者。

作为技术採用的先行者，没有太多先例可循，凯基人寿从技术验证，到实际落地并正式启用，不仅是技术面的挑战，更多的挑战来自非技术层面，像是如何降低模型回应错误率，抑或是因应指引原则，调整内部治理规範。

挑战一：提升模型回应精準度

导入生成式AI必定会面临的挑战，便是AI幻觉。凯基人寿网路数位部资深副总经理宋健荣说明，以GPT模型新版GPT 4 Turbo为例，约有3%的幻觉率，即便使用提示工程、检索增强生成技术（RAG），甚至是微调（Fine-Tuning），都不易做到百分之百精準。这是生成式AI目前的技术限制，也是受高度监管的金融业者谨慎看待这项技术的关键原因。

实际导入生成式AI的过程中，凯基人寿面临了许多困难。凯基人寿网路数位部专案副理王姿云以第一线实作经验举例说明，一本多达700页的业务手册中，有时使用者的提问较模糊，手册多处会有类似的内容，模型难以判断哪一处的叙述才是正确答案，需要借助提示工程，才能减少回应错误率。例如，有两至三处的描述相似，皆能回应提问，系统就要引导使用者提出更精準的问题，才能给予较精準的回覆。

为了进一步提高模型回答的精準度，凯基人寿还建立了三道提示工程的改进机制。

第一道机制是由内部技术部门和外部技术伙伴合作，以机器乱数产生500笔问题，得到回覆后再和实际答案比对。对内联合了网路数位部团队和IT部门的研究小组，对外则找来工研院和技术厂商来精进技术。第二道是透过跨部门小组根据实务经验，找来业务员代表，手动产生500笔题目，进行第二次测试和比对。最后一道机制，是藉由第一线业务员使用者提供回馈，再交由技术团队修正提示。宋健荣表示，这批使用者是业务员中的数位代表，负责对数位工具提供使用回馈。未来，他们预计建立200位业务员组成的数位部队，共同精进数位工具。

挑战二：蒐集模型训练资料

凯基人寿的业务员训练系统提供模拟客户的功能，让业务员能随时和AI模拟客户进行对话，学习销售技巧。这个功能在过去是利用NLP技术打造，团队透过聆听经验丰富的业务员演绎销售技巧，蒐集各种话术，萃取出精华，最后统整为模型训练资料。为了运用生成式AI提升模拟客户的拟真度，使用者需要蒐集实际场景的话术，作为模型训练资料，过程也是一大挑战。

王姿云解释，起初，只能将顾客类型分为感性和理性两种来进行对话角色的模拟，也仅需蒐集基础的知识话术，就能完成教材，统整资料的过程相对容易。但到了导入生成式AI的2.0版系统，模拟客户的功能升级，可以增加更多类型的顾客角色，团队需要蒐集更多达人式、接地气的话术，作为模型训练资料，「但达人不一定照着设定的步骤来唸，要萃取出精华是蛮辛苦的事。」另一方面，他们也要将教材缩减至20分内的训练时长，才有助学员快速吸收。这段话术萃取的过程考验团队能否掌握贩售技巧的关键，不仅需要和负责训练的单位密切合作，了解第一线的培训需求，也要掌握商品框架，才能制定系统化的萃取方式，釐清可作为模型训练的资料。

挑战三：AI监管环境尚未成形，金融业者尚需摸索内部控管机制

「这次经验是一个训练过程，让我们不断精进。」宋健荣坦言，作为导入生成式AI的先行者，多数情况没有参考解方，同仁也尚未熟悉新技术，需要长时间摸索，才能逐渐确立内部机制。另外，因应金管会去年年底发布的「金融业运用AI指引草案」，凯基人寿正根据指引内容研拟内部规範，摸索适当的管理机制。

不过，目前综观全球，仅有欧洲制定AI法案，全世界仍在摸索AI治理机制，没有人具备实质经验。宋健荣解释，以资安管理标準而言，从最早世界经济合作开发组织（OECD）在1990年草拟的「资讯系统安全指导方针」，到1995年，英国标準协会订定的「资讯安全管理实务準则」之BS7799。直到2000年，BS7799通过ISO审议，才成为较成熟的ISO/IEC 17799。反观AI，目前尚未发展相对成熟的认证标準，业者也较难掌握监理标準。

此外，无论是国内外，AI相关规範或指引皆强调了模型透明性和可解释性，但是，宋健荣指出，多数金融业者不易掌握模型，更难以自建LLM模型，较难符合这项监管要求。目前，多数金融业透过Azure OpenAI服务使用GPT模型，无法得到模型全部资料，「即便是开源模型，也只有部分资料揭露。」宋健荣解释，生成式AI模型掌握在大型科技公司手中，多数企业无法控制整体资料品质，也较难解释模型透明性。目前金融业者主要透过RAG或Findtune调教模型，「你可以控管自己的资料，但是基础模型的资料就做不到。」

凯基人寿的实作经验显示，金融业者导入生成式AI不仅需要面临技术挑战，背后更要面临包括合规、治理面等非技术的挑战，许多内部机制也得透过阶段性的试错，才能逐渐成形。

「希望透过这次应用，累积足够经验再发展。」宋健荣表示，当生成式AI技术足够成熟后，他们会进一步扩大应用範围。第一，使用大量业务手册、业务规则的部门，利用生成式AI辅助摘要大量资讯。第二是，针对核保和理赔等需要专业判断的场景，利用AI协助专员进行判断。「凯基人寿的终极目标，是利用AI打造一个业务员的副驾驶（Copilot），整合所有业务员工具，包括辅销、客户管理、日常业绩管控、报到、推播等工具，透过AI实现业务员超级助理。」宋健荣说。

凯基人寿网路数位部资深副总经理宋健荣认为，这次导入生成式AI的经验是一段训练过程，让他们不断精进。当生成式AI技术足够成熟后，他们会进一步扩大应用範围，终极目标是为业务员打造一个副驾驶(copilot)，实现业务员超级助理。（摄影：洪政伟）

?金融业者对生成式AI的观点?

「生成式AI的出现是一个拐点，它跟传统AI间已经有一道分水岭。」对于生成式AI技术对金融业的影响，凯基人寿网路数位部资深副总经理宋健荣明确给出这个回应。不过，他也认为，生成式AI技术目前尚在雏形阶段，综观现有的商业应用中，除了Chatbot形式较为成熟，其他的应用还尚在发展中，「类似苹果推出的iPod，但还没到iPhone。」

其实，早在2017年，凯基人寿就以AI作为转型策略核心，内部早已建立大数据资料库和标籤库，还能运用AI自动贴标快速分析客户行为，为日后发展AI奠定不少基础。不过，宋健荣认为：「目前的生成式AI离通用型AI还有一段路。」待技术成熟，凯基人寿期望能以过往AI基础，加值至生成式AI应用。「改变跟进步一直往前，你不知道最后会怎样。」