首页科技快讯直击痛点 NLP技术的价值和落地｜超级观点

直击痛点 NLP技术的价值和落地｜超级观点

来源：晰数塔互联网快讯时间：2021年10月09日 17:17

带着观点看商业。超级观点，来自新商业践行者的前沿观察。

文｜顾夏辉（子长科技CTO）

语言是人类思维的基础，当计算机具备了处理自然语言的能力，才具有真正智能的想象。自然语言处理（Natural Language Processing, NLP）作为人工智能（Artificial Intelligence, AI）的核心技术之一，是用计算机来处理、理解以及运用人类语言，属于计算机科学与语言学的交叉学科。目前，NLP乃至人工智能的落地情况如何？是举步维艰，还是已经获得广泛应用？

毫无疑问，已经有越来越多的企业认可NLP技术，并在相关项目上进行了大量投入，但NLP技术在具体商业落地中依然存在挑战。企业投入需要回报，无论是提升效率，提高输入，还是为企业各个业务赋能，归根结底，都是需要技术应用能够真正为企业带来价值。因此落地的重点不是使用NLP技术或者其他人工智能技术所完成一个企业应用，而是要看这些应用是否解决了客户的痛点，为企业带来真正的价值。

举例来说，1STEP.AI与金赋科技合作开发了一个“智能送策“项目，主要是把企业信息与各地政府的扶持政策进行匹配，帮助企业找到适用的政府扶持政策。这项工作之前依靠人工进行，困难重重，原因一是企业和政策的数据量都非常大，且数据持续更新；原因二是政策中的条件关系多样化（并列关系、选择关系等），匹配逻辑复杂。人工操作的局限在于处理的数量有限，时间长，匹配错误率高。

和通常人们的理解不同，在这个例子当中，利用技术进行准确的抽取并不能真正解决客户的痛点。比如，一个政策中对于企业的要求有20条，如果政策抽取的模型准确率比如是95%，但是正是由于有一条关于企业注册地点的特性没有抽取出来，直接导致匹配的公司会多出几十倍甚至上百倍，这样的政策抽取结果对于匹配公司的业务来说，其价值几乎为零。因为抽取的结果并不能提供准确的目标公司集。因此1STEP.AI和金赋科技并没有把政策抽取和逻辑关系抽取的准确度作为目标，而是把目标定为政策所匹配的公司的准确度。这个目标符合业务需求而不是简单的用人工智能完成一个应用，但是该目标的难度比简单的政策抽取复杂很多。其实，任何一个商业应用都是复杂的问题，而人工智能的模型更适合解决困难问题。什么是困难问题呢？什么是复杂问题？困难问题类似于围棋、图像识别这样的问题，规则简单，但是实际情况或者玩法困难。而复杂问题是指规则复杂，流程繁多的问题。所以，对于商业应用的复杂问题，最搞笑的方法是多个模型协作解决问题。

在“智能送策”项目中，这个复杂问题是什么呢？首先，政策往往包含了很多内容，所以需要在政策中找到包含政策要点的段落，再在段落中找到政策要点。要点和要点之间存在着逻辑关系，多个要点可以是“并列“的关系，也可以是”或者“的关系。一个政策文件中又有可能包含多个政策，这些政策之间也存在着逻辑关系。在“智能送策”系统中使用的模型包括：段落抽取（准确度0.99），政策实体抽取（准确度0.98），映射模型（准确度0.88），语义逻辑模型（累计准确度0.85）。把上述模型结合起来才能够提供具有商业价值的落地方案。

“智能送策”系统中使用的模型

通过以上模型的协作，“智能送策”通过人工智能技术，可以自动高效地解决企业实体信息抽取、属性映射、逻辑关系匹配等复杂问题，将匹配公司的结果准确度从人工操作的78%提升到89%；在一些政策条目下，覆盖的企业数量增加了11倍以上，大大推动了业务的快速拓展。

人工智能产业结构已经日趋成熟，它包括了三个层面：包括软硬件设施和数据服务的基础层、囊括了基础框架、算法模型以及通用技术的技术层以及辐射到各行业中的产品、服务和解决方案的应用层。NLP是技术层的重要组成部分之一，是认知智能时代的关键技术，可以说，NLP能力对行业应用的落地、企业的转型升级都具有决定性的作用。

NLP技术的价值在于海量数据处理，它的应用灵活且包罗万象，目前多体现在增进数据洞察、实现智能交互、提高运营效率和替代重复性劳动等方面。作为应用模块，落地范围非常广泛。基于不同行业客户的需求和业务痛点，在各种行业场景中都有渗透。在处理海量的结构化数据和非结构化数据上，具有人工无法企及的能力和效率，例如文本数据的识别、抽取、匹配与处理，广泛的网络数据获取和分析等。

我们已经发现有越来越多的可以使用人工智能技术进行优化和革新的场景。在这些场景中应用应用NLP技术是否能够解决痛点，为企业创造真正的价值才是落地场景的关键。