评估客服系统里的智能客服模块,常见做法是看后台那个应答率,数字不低就认为可以了。可换个场景就露馅:家长问「明天还能约试听吗」被归成课程介绍,换个说法再问一次才算解决;夜里留的言第二天没人认领。效果不在一个总数里,在这条咨询后来有没有被接着办完。下面按现场能核的动作拆开讲。
一、先把「效果」换成几条能数的动作
把效果拆成四问:当场答完的有多少、答完还被重问的有多少、答不了转出去的有没有带上下文、次日之前有没有人认领。四问都从自己的会话记录里数,口径写下来,别用演示里那套标准问法。同一位家长隔几天从另一个渠道回来,系统还认不认得,也顺手记一笔;认不出来,前面几问的数就被拆散了。
智能客服模块在这四问里只占前两问,后两问靠流程和字段。分开看才清楚该改哪儿:答得少是库的问题,留了言没人管是归属的问题,混在一个应答率里就都看不出来。
二、样本用自己两周的原话
拿两周真实会话,按渠道和时段各分一组,原话照抄,不做润色。官网窗口、公众号菜单、短视频私信的问法差别不小,把它们混在一起算一个比例,容易把某一渠道的问题盖住。分组时顺手标一下时段,下班后与工作日的问法并不一样,夜里更多是问有没有人、明天回不回。
评估智能客服模块时,当场抽十条自己记录里的问题试,其中特意放两条库里没有的、一条问了两遍的。看它是老实转出、还是绕着答一圈,比看后台一个百分比有用。
三、当场答完的比例,怎么算才不掺水
分母要写清:转人工的算不算、家长只点开没说话的算不算、同一人连着问三句算一条还是三条。口径一变,比例能差出一截,跨周比较前先把口径定死。机器人自己判定答完的会话,人工每周抽十条翻一翻,能看出有没有把答非所问算成解决。
还要单列重问率。家长把同一问题换个说法再问,说明上一轮没解决,这类会话若被记成两次独立解决,评估智能客服模块得出的结果就偏好看。螳螂科技在接入盘点时,一般要求报表能把重问单独筛出来。
四、答不了的时候落在哪
库里没有、涉及退费投诉、能不能保证效果,这几类固定转人工。要核的是转出去时家长的原话、已确认的信息、从哪页进来有没有一起带过去,顾问要不要从头问一遍。触发条件也写成明文,值班的人得知道什么情况该点转接,别只留一个按钮。
夜里与周末没人值班,转出去就等于挂起。默认收下联系方式还是生成工单、次日由谁清、超时怎么回收再分配,这些要落到具体人。螳螂系统在复盘接待记录时,把「转接后是否重问」和「次日认领时长」各列一项,两项一高,说明智能客服模块省下的功夫在交接处又还回去了。
五、来源与上下文带不带得住
从哪个活动页进来、点过哪门课、在公众号问过什么,顾问开口前能不能看到,决定首次触达要不要家长重讲一遍。评估时当场走一遍:官网留一次资、公众号再问一句,看会不会合并成一条客户、合并后原始来源和时间戳还在不在。
这一项不直接进应答率,却影响后面所有跟进。评估智能客服模块若只看窗口里那几句,字段缺失要等到回访时才发现。
六、改动之后效果会不会反复
活动一换,库里旧条目没下线,答的就是过期信息。要核条目能不能自己改、改完多久生效、每条有没有适用范围与更新时间、下线条目留不留历史。
每轮增改之后拿同一批固定问题重跑,看以前答对的还在不在。北京螳螂科技给机构的建议是把复测写进改动流程,别等家长反馈回来才查。智能客服模块的评估因此不是一次打分,是每轮改动后都能重做的一件事。
七、用一条真实咨询走闭环
挑一条上周的真实咨询,从点开窗口、识别意图、给出答案或收下留言、分配到顾问、首次联系,一路走到结果回填,由实际接待的人操作。哪一步要切到别的工具、哪一步要手工补录,就是往后每天重复的成本。
标准可以朴素些:这条走完,智能客服模块的记录里能不能只靠一次录入还原全过程,几天后还查得到当时的来源页与原话。多渠道咨询如何统一收进这套动作,可以看AI智能客服系统与多渠道咨询接待的说明。
