介绍全同态加密(FHE):探索其令人兴奋的应用、局限性和最近推动其流行的发展。
当我第一次听说“全同态加密”(FHE)时,我对区块链领域倾向于给时髦概念起长名称感到好奇。多年来,我们遇到了许多席卷整个行业的时髦词汇,最近的一个是“零知识证明”(ZKPs)。
经过一番调查和探索正在使用 FHE 构建产品的新公司,我注意到了一个充满了一套全新工具的前景。在未来的几个月和几年里,FHE 可能会像 ZKPs 一样成为席卷整个行业的下一个重大技术。公司正在利用密码学和云计算各个领域的最新进展,为通向一个强大的、保护数据隐私的未来铺平道路。问题不在于我们是否能实现这一点,而在于何时实现,我相信 FHE 可能是推动数据隐私和所有权进步的关键推动因素。
在接下来的几周里,我将深入学习更多关于 FHE 的知识,并研究其局限性、潜力和应用。我将在一系列文章中分享我的研究结果,探讨围绕 FHE 的对话的不同方面。本周,我将介绍这项技术,并讨论为何它最近引起了很多关注。许多行业内的人都在谈论它,包括来自 Multicoin Capital 的 Kyle Samani[4],他说:
“FHE 是密码学的圣杯。随着时间的推移,FHE 将重塑所有计算的结构,无论是在 web2 还是 web3 中。”
解决问题的关键是理解“同态”的含义。追溯其根源,同态性起源于数学,被定义[5]为两个相同类型的代数结构之间保留核心组件的映射。
如果你和我一样更喜欢一个更实际的定义,数学背后的一个基本原则是,两个群体不需要完全相同才能具有相同的核心属性。例如,想象两个水果盒:
盒子 A 包含小水果。
盒子 B 包含大水果。
尽管个别水果大小不同,但在盒子 A 中榨一个小苹果和一个小橙子会产生与在盒子 B 中榨一个大苹果和一个大橙子相同口味的混合果汁。榨果汁以产生相同口味类似于保留两个盒子之间的核心组件。假设我们的主要关注点是相同的口味,那么我们从哪个盒子榨果汁并不重要,因为果汁的数量大小不是我们关注的重点。在关注的地方(口味)两个盒子是等价的,因此它们之间的差异(大小和数量)对其主要功能(产生特定果汁口味)没有影响。
与同态性类比,我们捕捉到了它的两个主要特征:
映射: 我们建立了两个盒子之间的联系,盒子 A 中的每个小水果对应于盒子 B 中的一个大版本。因此,在盒子 A 中的小苹果对应于盒子 B 中的大苹果,依此类推。
操作的保留: 如果在盒子 A 中榨两个小水果会产生特定口味的果汁,那么在盒子 B 中榨它们对应的大版本应该产生相同的口味。尽管果汁的大小和数量有所不同,但“口味特征”是保留的。
将这一切与本文的中心主题联系起来, 全同态加密[6] (FHE)是一种特定的数据加密方法,使人们能够在加密数据上执行计算而不泄露原始数据。理论上,对加密数据执行的分析和计算应该产生与对原始数据执行的相同结果。通过 FHE,我们建立了加密数据集中的数据与原始数据集中的数据相对应的 1:1 关系。在这种情况下,核心组件的保留是能够在任一数据集上执行任何计算并产生相同结果的能力。
在这样的背景下,许多公司已经采取预防措施来保护用户数据并保持差异化隐私。公司很少以原始、未加密的形式在云端或其数据库中存储数据。因此,即使攻击者控制了公司的服务器,他们仍然必须绕过加密才能读取和访问数据。然而,当数据仅仅加密并闲置时,数据就不再有趣。当公司希望对数据进行分析以得出有价值的见解时,他们除了解密数据之外别无选择。一旦解密,数据就会变得脆弱。然而,通过端到端加密,FHE 变得非常有用,因为我们不再需要解密数据来进行分析;这只是揭示了可能性的冰山一角。
一个关键的考虑是公司是否应该被允许阅读和存储我们的个人信息。许多人对此的标准回应是,公司需要查看我们的数据才能为我们提供更好的服务。
如果 YouTube 不存储我的观看和搜索历史等数据,算法就无法充分发挥作用,向我展示我感兴趣的视频。因此,许多人认为在数据隐私和获得更好服务之间进行权衡是值得的。然而,通过 FHE,我们不再需要做出这种权衡。像 YouTube 这样的公司可以在加密数据上训练他们的算法,并为最终用户产生相同的结果,而不侵犯数据隐私。具体来说,他们可以对我的观看和搜索历史等信息进行同态加密,分析它而无需查看它,然后根据分析向我展示我感兴趣的视频。
FHE 是迈向一个未来的重要一步,其中我们的数据不再是我们自愿向组织免费提供的有价值商品。
正确应用全同态加密(FHE)是所有存储用户数据部门的突破。我们正在看一个技术,它可能改变我们对数据隐私的整体态度,以及公司可以接受的侵犯限度。
让我们从研究 FHE 如何重塑医疗保健行业[7]的数据实践开始。许多医院保存着存储在其数据库中的患者的私人记录,出于道德和法律原因,他们必须保持保密。然而,这些信息对于外部医学研究人员来说是有价值的,他们可以分析这些数据以推断疾病和潜在治疗方法的重要见解。一个拖慢研究进展的主要障碍是在将数据外包给研究人员时保持患者数据的绝对保密。有许多方法可以对患者记录进行匿名化或伪匿名化。但它们并不完美,可能会透露某人太多信息,使其可识别,或者不足以揭示有关他们病例的足够信息,使得难以获得有关疾病的准确见解。使用全同态加密(FHE),医院可以对患者数据进行加密,从而更轻松地保护云中的患者隐私。医学研究人员可以在加密数据上执行计算和运行分析功能,而不会损害患者的隐私。由于加密数据集与原始数据之间存在一对一映射,因此从加密数据集中获得的结果提供了可以应用于实际案例的真实见解。FHE 可以快速推动医疗保健行业的发展。
另一个 FHE 的激动人心的应用是人工智能(AI)训练。目前,人工智能领域面临隐私问题,这阻碍了公司访问许多用于完善 AI 算法的广泛数据集。训练 AI 的公司必须在使用有限的公共数据集、支付大量资金购买私人数据集或创建数据集之间做出选择,这对用户较少的小公司来说是具有挑战性的。FHE 应该解决阻止许多数据集提供者进入该市场的隐私问题。因此,FHE 的改进可能导致可用于训练 AI 的数据集数量增加。这将使 AI 训练更具财务可及性和精细化,因为可用数据集的多样化增加。
如果全同态加密(FHE)确实能改变现代大数据,为什么我们还没有看到更多实际应用呢?
尽管多年来人们一直在讨论和研究 FHE,但实际上,在实践中实现 FHE 非常困难。核心挑战在于执行 FHE 所需的计算能力。全同态安全数据集可以产生与其原始数据形式相同的分析结果。这是一个具有挑战性的壮举,需要大量计算速度和能力,其中许多对现有计算机实施起来是不切实际的。在原始数据上通常需要几秒钟的操作,在同态加密数据集上可能需要几小时甚至几天。这种计算挑战造成了一个自我延续的循环,许多工程师推迟了进行 FHE 项目,从而减缓了其发展并限制了其全部优势的实现。
工程师在 FHE 中面临的计算问题的一个具体例子是如何解决“ 噪声错误[8] ”。在对同态加密数据集进行计算时,许多工程师在每次进行计算时都会产生多余的噪声或错误。当只需要进行几次计算时,这是可以容忍的,但在多次分析之后,噪声可能变得如此明显,以至于原始数据变得难以理解。数据几乎丢失了。
就像生成式人工智能[9]曾被认为是有限和原始的,然后成为主流一样,全同态加密(FHE)正朝着类似的进展方向发展。许多行业领袖,甚至超越区块链领域的领导者,已经聚集起来,组织了大量的 FHE 研究和开发。这促进了最近几项行业发展,推动了这项技术的进步的引人注目的叙述。
2021 年 3 月,微软、英特尔和国防高级研究计划局(DARPA)同意启动一个多年计划[10] ,以加速全同态加密(FHE)的发展。名为虚拟环境中的数据保护(DPRIVE)的这个计划标志着 FHE 的重大进展。它展示了两个专门从事云计算和计算机硬件的行业巨头,联合起来解决数据隐私问题。他们发起了这个计划,建立了能够管理 FHE 计算速度的计算机和软件,并制定了准确实施 FHE 的指导方针,防范由于不正确使用而可能产生的数据泄霏。
作为 DPRIVE 计划的一部分,工程师们已经着手解决先前提到的“噪声错误”,探索降低噪声水平以保留原始数据的方法。一个有前途的解决方案是设计大算术字长[11] (LAWS)数据表示。虽然传统的计算机处理器(CPU)通常使用 64 位字长,但工程师们正在开发能够处理 1024 位或更多位字长的新型硬件,采用 LAWS。这种方法是有效的,因为研究表明,更长的字长直接影响信噪比。简单地说,更长的字长在 FHE 中的每一次附加计算中产生更少的噪声,允许在达到数据丢失阈值之前执行更多的计算。通过构建新的硬件来解决这些挑战,参与 DPRIVE 计划的工程师们大大减少了执行 FHE 所需的计算负载。
为了加快计算速度,接近使 FHE 快 100,000 倍的目标,DPRIVE 团队着手进行持续的旅程,设计新的数据处理系统,超越传统处理和图形单元的能力。他们开发了一个新的多指令多数据[12] (MIMD)系统,能够同时管理多个指令和数据集。MIMD 类似于建造一条新的高速公路,而不是使用现有设备不足的道路来容纳 FHE 的快速实时计算所需的交通量。
DPRIVE 计划的有趣之处在于在计算机数学计算中广泛使用“ 并行性[13] ” 。这使开发人员能够同时执行多个大数计算。你可以将并行性视为同时部署一群数学家来同时处理巨大数学问题的不同部分,而不是让他们一个接一个地完成各自的工作。尽管同时执行多个计算有助于快速解决问题,但计算机必须进行空气冷却以防止过热。
2022 年 9 月,在启动该计划一年半后,微软、英特尔和 DARPA 宣布[14]他们已成功完成 DPRIVE 计划的第一阶段。他们目前正在进行 DPRIVE 的第二阶段。Intel 还推出[15]了自己的全同态加密工具包,为开发人员提供工具,以促进云中更快的全同态加密。Intel 设计了这个工具包,确保与最新的数据处理和计算进展兼容。它包括专门为格密码定制的特殊功能,与 Microsoft Seal 无缝运行的集成,全同态加密方案的样本,以及指导用户的技术文档。
Google 的 Private Join and Compute[16] 开源库为开发人员提供了多方计算(MPC)工具。这种计算方法允许各方通过合并其不同的数据集获得共享见解,而不会将原始数据暴露给彼此。Private Join and Compute 将来自 FHE 的加密技术与私有集合交集(PSI)相结合,以优化数据保密性实践。PSI 是另一种加密方法,允许具有不同数据集的各方识别共同元素或数据点,而不会透露其数据。Google 在推进数据隐私方面的方法不仅仅集中于 FHE;它通过将 FHE 与其他有影响力的数据实践集成,优先考虑更广泛的 MPC 概念。
备受推崇的全同态加密开源库的日益可用性值得注意。然而,当观察到备受推崇的公司在其运营中尝试这些库时,情况变得更加引人注目。2021 年 4 月,纳斯达克,一家著名的股票交易所和全球资本市场技术实体, 将[17] FHE 纳入其运营。纳斯达克利用 Intel 的 FHE 工具和高速处理器,通过使用全同态加密来识别包含敏感信息的数据集中的有价值见解和潜在的非法活动,从而通过反洗钱工作和欺诈检测来应对金融犯罪。
除了前面提到的公司进行的研究和开发外,还有其他几家公司最近为专注于全同态加密(FHE)的倡议获得了大量资金支持。
Cornami[18],一家大型技术公司,因开创性地开发专为全同态加密设计的可扩展云计算技术而备受赞誉。他们从事众多努力,旨在创建支持 FHE 比传统 CPU 更有效的计算系统。他们还指导旨在保护加密数据免受量子计算威胁的倡议。2022 年 5 月,Cornami 宣布[19]成功进行了一轮 C 系列融资,由 Softbank 领投,筹集了 6800 万美元,使其总筹资达到 1.5 亿美元。
Zama[20]是区块链行业的另一家公司,正在构建开源全同态加密工具,开发人员可以利用这些工具构建使用 FHE、区块链和人工智能的令人兴奋的应用程序。Zama 已经开发了全同态以太坊虚拟机(fhEVM)作为其产品之一。这种智能合约协议使得在链上的交易数据在处理过程中保持加密。探索使用 Zama 库进行各种应用程序的开发人员对其性能印象深刻,即使在复杂的用例中也是如此。Zama 在 2022 年 2 月[21]成功完成了 4200 万美元的 A 轮融资,由 Protocol Labs 领投,使其总筹资达到 5000 万美元。
Fhenix[22]也是一个新兴项目,将 FHE 引入区块链。他们的目标是将 FHE 应用扩展到除保密支付之外的领域,为 FHE 在去中心化金融(DeFi)、桥接、治理投票和 Web3 游戏等领域的令人兴奋的用例[23]打开大门。2023 年 9 月,Fhenix 宣布[24]成功完成了 700 万美元的种子轮融资,由 Multicoin Capital 和 Collider Ventures 领投。
多年来,全同态加密(FHE)一直是一个承诺强大端到端加密的理念,预示着强大数据隐私的未来。最近的发展开始将 FHE 从理论梦想转变为实际现实。尽管各公司竞相成为首个实现强大、完全功能的 FHE 版本的先驱,但许多公司正在合作共同应对这项强大技术的复杂性。通过实施各种跨团队计划和开发与其他库集成的开源库,这种合作精神是显而易见的。
根据我的调查,围绕 FHE 的讨论似乎是深远的。在接下来的几周里,我很高兴深入研究,分享我在 FHE 研究中的更多见解。具体来说,我迫不及待地探索以下主题:
FHE 的新兴应用。
零知识证明(ZKPs)与 FHE 之间的相互作用。
将 FHE 与私有集合交集(PSI)集成以推进安全多方计算(MPC)。
像 Zama 和 Fhenix 这样的新公司,在 FHE 领域开创性发展。
Arampatzis, Anastasios. “全同态加密的最新发展。” Venafi, 2022 年 2 月 1 日, venafi.com/blog/what-are-latest-developments-homomorphic-encryption-ask-experts/.
Arampatzis, Anastasios. “全同态加密是什么,如何使用。” Venafi, 2023 年 4 月 28 日, venafi.com/blog/homomorphic-encryption-what-it-and-how-it-used/.
“构建硬件以实现持续数据保护。” DARPA, 2020 年 3 月 2 日, www.darpa.mil/news-events/2020-03-02.[25]
Cristobal, Samuel. “全同态加密:密码学的圣杯。” Datascience.Aero, 2021 年 1 月 7 日, datascience.aero/fully-homomorphic-encryption-the-holy-grail-of-cryptography/.
“全同态加密:它是什么,为什么重要?” 互联网协会, 2023 年 3 月 9 日, www.internetsociety.org/resources/doc/2023/homomorphic-encryption/.[26]
Hunt, James. “FHENIX 通过 Multicoin Capital 领投的种子轮融资筹集了 700 万美元。” The Block, The Block, 2023 年 9 月 26 日, www.theblock.co/post/252931/fhenix-seed-multicoin-capital.[27]
“Intel®全同态加密工具包。” Intel, www.intel.com/content/www/us/en/developer/tools/homomorphic-encryption/overview.html#gs.fu55im.[28] 访问日期为 2023 年 10 月 8 日。
“Intel 与微软合作参与 DARPA 项目。” Intel, 2021 年 3 月 8 日, www.intel.com/content/www/us/en/newsroom/news/intel-collaborate-microsoft-darpa-program.html#gs.ftusxq.[29]“英特尔至 NASDAQ 的同态加密研发带来了进步。” Intel, 2021 年 4 月 6 日, www.intel.com/content/www/us/en/newsroom/news/xeon-advances-nasdaqs-homomorphic-encryption-rd.html#gs.6mpgme.[30]
Johnson, Rick. “英特尔完成 DARPA DPRIVE 第一阶段里程碑,实现了全同态加密平台。” Intel, 2022 年 9 月 14 日, community.intel.com/t5/Blogs/Products-and-Solutions/HPC/Intel-Completes-DARPA-DPRIVE-Phase-One-Milestone-for-a-Fully/post/1411021.
“微软 Seal:快速且易于使用的同态加密库。” Microsoft Research, 2023 年 1 月 4 日, www.microsoft.com/en-us/research/project/microsoft-seal/.[31]
Paillier, Pascal 博士. “全同态加密:密码学的圣杯。” Business Age