首页科技快讯 Thoughtworks开发“检索增强生成”技术，能降低AI大模型的幻觉风险

Thoughtworks开发“检索增强生成”技术，能降低AI大模型的幻觉风险

来源：晰数塔互联网快讯时间：2024年04月15日 07:20

别惦记天网了，人工智能可能会给你的企业声誉带来更大的风险。这意味着，是时候把科幻灾难片放在一边，开始认真思考人工智能在日常工作中对我们的实际意义了。

这并不是只关心眼前利益的短视行为，而是敦促技术人员和商业领袖认识到，如果我们要作为一个行业，甚至是一个社会，来应对人工智能的风险，我们就需要具体考虑其直接影响和结果。如果我们不能做到这一点，就几乎不可能采取任何行动。

风险与所处环境有关

风险与企业所处的环境有关。事实上，最大的风险之一是你没有理解你所处的大环境、大背景。这就是为什么你在评估风险时需要从大环境开始。

这对企业声誉尤为重要。想想你的客户和他们的期望，他们对与人工智能聊天机器人互动有何感受？向他们提供虚假的或误导性信息会造成多大的损害？

也许你可以处理给客户造成的些许不便，但如果它对客户的健康或资产产生了重大（负面）影响，该怎么办？

即使部署人工智能技术是可行的，我们也要考虑一些可能存在的声誉风险。多年来，我们一直在谈论用户体验和以客户为中心的重要性，虽然人工智能可能会在这方面提供帮助，但它也可能破坏它们。

同样，你的团队也会遇到类似的问题。人工智能可能会提高效率，让人们的工作更轻松，但如果使用不当，它可能会严重扰乱现有的工作方式。

最近，人工智能行业谈论了很多关于软件开发者体验的话题，组织在人工智能方面的决策需要改善开发团队的体验，而不是破坏他们的体验。

最近，我们在出版刊物中讨论了这一点，其中提到的信息来自于我们在世界各地的软件行业客户。

我们发现，人工智能团队助理是软件工程领域最令人兴奋的新兴部分，但我们也注意到，重点必须放在赋能团队上，而不是个人。

我们在最新报告中表示：“你应该寻找创建人工智能团队助理的方法，帮助团队‘提升 10 倍效率’，而不是 10 倍独立的、由人工智能辅助的工程师。”

不在意团队状况可能会对企业声誉造成重大损害。一些乐观的组织可能会将其视为创新的一部分，但事实并非如此。

它向潜在员工，尤其是高级技术员工，传达出一个信号：你并未真正理解或关心他们所做的工作。

通过更智能的技术来应对风险

有很多工具可以帮助管理风险。Thoughtworks 帮助制定了负责任的技术行为手册，里面整合了许多工具和技术，组织可以使用这些工具和技术来对技术（而不仅仅是人工智能）做出更负责任的决策。

然而需要注意的是，管理风险尤其是声誉风险，需要真正关注技术实施的细节。这一点在我们与各种民间社会组织合作开发的社会福利聊天机器人中尤为明显。

这里的风险与之前讨论的风险没有什么不同：使用这些聊天机器人时，不准确的信息或“幻觉”可能会阻止人们获得他们赖以生存的资源。

这种意识为技术决策提供了依据。我们开发了一个名为“检索增强生成”的技术，可以降低模型产生幻觉的风险，并提高准确性。

这项功能可能成为该领域新兴技术和工具浪潮的一部分，还有很多技术和工具正在帮助开发人员应对人工智能带来的风险，包括保护性工具 NeMo Guardrails（限制聊天机器人以提高准确性的开源工具），本地化工具 Ollama（在本地运行大型语言模型以保护隐私，并避免与第三方共享数据的工具）和旨在提高模型透明度的工具 Langfuse。

然而，值得指出的是，这不仅仅是你应该开发什么的问题，也是你应该避免做什么的问题。这就是为什么我们一再强调，过度热情地使用大型语言模型和急于微调这些模型可能是危险的。