生成式人工智能的最大挑战是显示投资回报率 - 这就是原因

在假装自己做得正确的情况下实施如此糟糕的技术从未如此简单。

虽然高管和经理可能对将生成人工智能 (AI) 和大型语言模型 (LLM) 应用到手头工作中的方式感到兴奋，但现在是时候退后一步，考虑在哪里以及如何实现业务回报了。这仍然是一个混乱和被误解的领域，需要与过去的技术浪潮几乎没有相似之处的方法和技能。

凯捷执行副总裁 Steve Jones 在最近于旧金山举行的 Databricks 会议上发表演讲时表示，挑战在于：虽然人工智能经常提供令人瞠目结舌的概念证明，但将其货币化却很困难。 “证明投资回报率是将 20、30、40 个 GenAI 解决方案投入生产的最大挑战。”

需要进行的投资包括测试和监控投入生产的法学硕士。测试对于保持法学硕士的准确性和步入正轨尤为重要。 “你想要变得有点邪恶来测试这些模型，”琼斯建议道。例如，在测试阶段，开发人员、设计师或 QA 专家应该故意“毒害”他们的法学硕士，看看他们处理错误信息的能力如何。

为了测试负产出，琼斯举了一个例子，说明他如何推动一家公司“利用龙进行长途运输”的商业模式。模特给出了肯定的回应。然后，他提示模型提供有关长途运输的信息。

“它给出的答案是，‘这就是你需要做的长途运输工作，因为正如你已经告诉我的那样，你将与龙进行广泛的合作，然后你需要接受广泛的消防和安全培训，’”琼斯有关的。 “你还需要对公主进行礼仪培训，因为龙的工作涉及与公主一起工作。然后是一堆涉及运输和仓储的标准内容，这些内容是从解决方案的其余部分中取出的。”

琼斯继续说道，重点是，生成式人工智能“是一种技术，在现有应用程序中错误地添加一项技术并假装你做得正确是前所未有的容易。生成式人工智能是一项非凡的技术，只需添加一些铃声即可对应用程序来说，这是很糟糕的，但从生产中的安全和风险角度来看，这确实很糟糕。”
生成式人工智能还需要两到五年的时间才能成为主流采用的一部分，与其他技术相比，这一速度要快。 “你面临的挑战将是如何跟上，”琼斯说。目前有两种设想：“第一种是它将成为一个伟大的大模型，它会知道一切，并且不会有任何问题。这就是所谓的狂野乐观——而不是——即将发生的理论。”

琼斯说，正在发生的事情是“每个供应商、每个软件平台、每个云都希望积极主动地竞争，成为这个市场的一部分”。 “这意味着你将面临很多很多的竞争，以及很多很多的变化。你不必担心多云基础设施并必须支持它，但你必须考虑像护栏之类的东西。”

琼斯说，另一个风险是将法学硕士应用于需要较少能量和分析的任务，例如地址匹配。 “如果你在所有事情上都使用一个大模型，那么你基本上只是在烧钱。这相当于去找律师说，‘我想让你为我写一张生日贺卡。’ 他们会这么做，并且会向你收取律师费。”

他敦促说，关键是要警惕更便宜、更有效的方式来利用法学硕士。 “如果出现问题，您需要能够像调试解决方案一样快速地停用解决方案。并且您需要确保围绕该解决方案的所有相关工件都与模型同步调试。”

不存在部署单一模型这样的事情——人工智能用户应该针对多个模型应用查询来衡量响应的性能和质量。 “你应该有一个通用的方法来捕获所有指标，针对不同的模型重放查询，”琼斯继续说道。 “如果有人查询 GPT-4 Turbo，您希望了解相同的查询对 Llama 的执行情况。您应该能够拥有一种机制，通过该机制重放这些查询和响应并比较性能指标，这样您就可以了解是否你可以用更便宜的方式做到这一点，因为这些模型在不断更新。”

他补充说，生成式人工智能“在正常情况下不会出错”。 “GenAI 是你输入发票的地方，它会说，‘太棒了，这是一篇关于安德鲁·杰克逊总统的 4,000 字文章。因为我认为这就是你的意思。’你需要有护栏来防止它。”