[涡流]Menlo Ventures 对人工智能安全未来的愿景

正如云平台迅速扩展以提供企业计算基础设施一样，Menlo Ventures 认为现代人工智能堆栈遵循与公共云平台相同的增长轨迹和价值创造潜力。

这家风险投资公司表示，当今使用的基础人工智能模型与公共云服务的早期高度相似，正确地结合人工智能和安全对于使不断发展的市场发挥其市场潜力至关重要。

Menlo Ventures 的最新博客文章“第 1 部分：人工智能安全：新一波初创公司竞相保护人工智能堆栈”解释了该公司如何看待人工智能和安全相结合来帮助推动新的市场增长。

“我一直在做的一个类比是，这些基础模型非常类似于我们现在所熟悉的公共云，例如 AWS 和 Azure。

但在 12 到 15 年前，当基础设施即服务层刚刚起步时，你看到的是在新基础创建后产生的巨大价值创造。”Menlo Venture 专注于网络安全的新合作伙伴 Rama Sekhar 说道。人工智能和云基础设施投资告诉 VentureBeat。

“我们认为，基础模型提供商位于基础设施堆栈的底部，这里将会发生非常类似的情况，”Sekhar 说。

解决人工智能安全悖论，推动生成式人工智能更快增长

在 VentureBeat 对 Sekhar 和网络安全、SaaS、供应链和自动化负责人 Feyza Haskaraman 的采访中，我们讨论了将 AI 模型视为新的现代 AI 堆栈的核心的关键点，该堆栈依赖于实时、稳定的敏感信息流。企业数据自学习变得显而易见。

Sekhar 和 Haskaraman 解释说，人工智能的扩散正在导致威胁面的规模呈指数级增长，法学硕士是主要目标。

Sekhar 和 Haskaraman 表示，使用现有工具保护模型（包括法学硕士）的安全是不可能的，这会在企业中造成信任差距，并减缓生成式人工智能的采用。

他们将这种信任差距归因于企业对新一代人工智能的炒作与实际采用的程度。

攻击者利用基于人工智能的技术强化其间谍手段，从而扩大了信任差距，这进一步凸显了企业越来越担心输掉人工智能战争的原因。

新一代人工智能要发挥其市场潜力，还需要弥合巨大的信任差距。

Sekhar 和 Haskaraman 相信，解决提高人工智能安全性的挑战将有助于缩小差距。

Menlo Ventures 的调查发现，未经证实的投资回报率、数据隐私角落以及企业数据难以与人工智能一起使用的看法是更大程度地采用生成式人工智能的三大障碍。

Improving AI for security will directly help solve data privacy concerns. Getting AI for security integration, right can also contribute to solving the other two. Sekhar and Haskaraman pointed out that OpenAI’s AI models are increasingly becoming the target of cyber attacks. Just last November, They pointed out that OpenAI confirmed a DoS attack that impacted their API and ChatGPT traffic and caused multiple outages.

Governance, Observability and Security are table stakes

Menlo Venture has gone all-in on the belief that governance, observability, and security are the foundations that security for AI needs in place to scale. They are the table stakes their market map is based on.

Governance tools are seeing rapid growth today. VentureBeat has also seen exceptional growth of AI-based governance and compliance startups that are entirely cloud-based, giving them time-to-market and global scale advantages. Menlo Ventures is a governance tool including Credo and Cranium, helping businesses keep track of AI services, tools and owners, whether they were made in-house or by outside companies. They do risk assessments for safety and security measures, which help people figure out what the risks are for a business. Making sure everyone in an organization knows how AI is being used is the first and most important thing that needs to be done to protect and observe large language models (LLMs).

Menlo Ventures sees observability tools as critical for monitoring models while also providing enterprises the ability to aggregate logs on access, inputs and outputs. The goal of these tools is to detect misuse and also provide full auditability. Menlo Ventures says Helicone for security use-case-specific tools and CalypsoAI are examples of startups that are fulfilling these requirements as part of the solution stack.

安全解决方案的核心是建立信任边界或护栏。

Sekhar 和 Haskaraman 写道，例如，在模型消耗方面，严格的控制对于内部和外部模型都是必要的。

Menlo Ventures 对 AI 防火墙提供商尤其感兴趣

，包括 Robust Intelligence 和 Prompt Security，它们可以调节输入和输出的有效性、防止即时注入并检测个人身份信息 (PII)/敏感数据。

其他感兴趣的公司包括 Private AI 和 Nightfall，它们帮助组织识别和编辑来自输入和输出的 PII 数据。

其他感兴趣的公司包括 Lakera 和 Adversa，旨在自动化红队活动，以帮助组织调查其护栏的稳健性。

除此之外，Hiddenlayer 和 Lasso Security 等用于检测攻击 LLM 的异常和潜在恶意行为的威胁检测和响应解决方案也令人感兴趣。

用于联邦学习的 DynamoFL 和 FedML，用于生成合成数据的 Tonic 和 Gretel，以消除向 LLM 提供敏感数据的担忧，私人 AI 或 Kobalt Labs 帮助识别和编辑来自 LLM 数据存储的敏感信息，也是 AI 市场安全的一部分地图如下。

首先在 DevOps 中解决 AI 安全问题

开源在任何企业应用程序中都占很大比例，而确保软件供应链安全是 Menlo Ventures 继续寻找机会来缩小企业信任差距的另一个领域。

Sekhar 和 Haskaraman 认为，人工智能的安全性需要很好地嵌入到 DevOps 流程中，使其成为企业应用程序结构中固有的。

VentureBeat 对他们的采访表明，人工智能的安全性需要变得如此主导，以使其价值和防御措施有助于弥合阻碍新一代人工智能大规模采用的信任差距。