仅只有未实名的,新媒易不收取任何费用,公益非盈利机构
24小时服务热线: 4000-162-306
请扫码咨询

新媒易动态

NEWS CENTER

模型需求能够在合理的时刻内处理很多的请求,并坚持高效的性能和稳定的服务

2023-09-05

可解说性

可解说性是指模型的成果能否被了解。可解说性高的模型,其黑盒程度相对更低,更具有可控性。

对B端事务来说,模型的成果需求能够被解说和了解,以便用户和事务决策者能够了解模型的作业原理和成果依据。

5)稳定性

结合本身事务端量级判别评价模型的性能,包含响应时刻、吞吐量和并发处理才能。模型需求能够在合理的时刻内处理很多的请求,并坚持高效的性能和稳定的服务。

6)本钱

运用大模型是有本钱的,例如运用ChatGPT需求依照token进行收费。此外,不同版别的大模型收费规范也不同,例如ChatGPT4.0版别虽然作用更好,但本钱却是3.5版别的40倍到60倍。因而,在挑选大模型时,需求结合事务量级进行本钱评价,以保证AI需求真实能够完成”降本”的目标。

7)开展潜力

评价大模型提供方的潜力,后续是否有可能提供更好的服务才能。

根据上方目标进行多个大模型之间的比照,依照目标权重综合考虑,最终挑选最合适的大模型以接入。

3. 海王思想,两手预备

随着人工智能的快速开展,企业在挑选和运用大型模型时面临着不确定性。本来运用的大型模型可能随时被新呈现的更优秀模型所取代,以满意事务需求。这种替换可能会导致额外的本钱,对企业的B端系统建设进度产生不利影响。因而,在施行企业的人工智能需求时,需求具有一种“海王”思想:

1)做好随时“分手”的预备

保证根据大模型的需求完成计划不要过于定制和耦合,清晰好本身系统和第三代模型的鸿沟。把第三方大模型当作一个可随时替换的“插件”,做好随时替换的预备,当目前运用的大模型技术因为本钱或者才能问题需求替换的时分,能够随时抽身而退。

2)确定模型评价计划,定时勾搭市面上的其他模型

因为当前AI开展一日千里,为了不让企业落后,产品团队需求定时接入最新的模型进行测试和验证,运用前面搭建的“模型评价系统”判别最新的模型与原有模型的差异,以用于判别“是否替换”或是“坚持运用”。


4. 保证兜底逻辑,躲避AI的不可控危险

因为AI输出的答案存在不确定性问题,在涉及面向C端用户的事务场景中,直接运用AI输出成果可能导致无法操控的影响。因而,为躲避相关危险,咱们需求采纳以下办法:

1)建立自主AI成果检测程序,阻拦无效输出成果:咱们能够经过建立AI成果检测程序来识别可能对事务产生影响的内容。经过运用词库和正则匹配等方法,咱们能够鉴别并阻拦AI生成的过错成果。关于呈现过错的成果,咱们将从头履行AI生成逻辑,直至获得正确的输出内容。

2)引入人力兜底计划以应对影响用户的内容:关于不直接影响用户的内容,咱们能够直接采用AI的判别成果。

然而,关于可能对用户产生影响的内容,最好由人力进行兜底操控。例如,在审核环节中,咱们能够引入“机审”和“人审”的组合,运用“机审”对内容进行开始筛选,而“人审”则负责处理AI无法精确判别的内容。又例如,在智能对话客服环节,咱们能够引入“人工进口”,以保证在机器无法解决问题的情况下,引导用户寻求人工帮助,避免对用户体验形成影响。

四、总结

总体而言,运用第三方大模型可能会引发一系列问题,因为第三方技术的不可控性,这可能会影响中小企业在B端的施行。

相关推荐