近日，英特尔与第四范式联合实验室以及新加坡国立大学的最新联合研究成果——基于英特尔® 傲腾™持久内存的超高维特征工程内存数据库，被国际顶级数据库学术会议VLDB（Very Large Data Base）作为常规研究论文录取。该成果以解决在线预估系统的业务需求和痛点为目的，针对如何设计底层数据库组件来高效支撑超高维（万亿维）特征在线预估系统，以及如何基于英特尔®傲腾™持久内存进一步解决业务和系统设计的痛点等两方面进行创新性设计和全面优化。
如今，越来越多的企业意识到了AI在企业经营、决策中的重要作用，AI迎来了落地应用爆发期。作为AI落地的关键组件，超高维在线预估系统基于实时提取的超高维特征和预先训练的模型对业务数据进行实时评估，因而被广泛应用在欺诈交易识别、个性化推荐等在线实时推理业务场景中。为了支撑高性能的超高维实时特征存取需求，第四范式自主研发了超高维实时特征工程内存数据库FEDB（Feature Engineering Database）。作为面向AI硬实时场景的分布式特征数据库，FEDB所具备的高效计算、读写分离、高并发、高性能查询等特性，使得特征工程的效率和性能达到最大化。然而，伴随着业务的持续扩张和数据量的指数级增长，FEDB所消耗的硬件资源呈几何倍数增加，并且无法规避服务中断后恢复周期长、高延迟等潜在弊端与风险，难以高效、低成本的满足不断增长的业务硬实时需求：
-高性能超高维特征存取对计算资源消耗巨大：为了保障线上服务的性能，特征工程内存数据库对内存的容量要求极高，企业通常需要配备20-30台机器以满足高性能计算需求所需的内存容量，总体拥有成本（TCO）居高不下。
-服务中断恢复所需长周期严重影响企业线上服务质量：企业线上服务对服务质量的要求极高，然而通常情况下服务中断（软硬件错误宕机，例行维护等）往往需要几个小时的恢复时间，业务长时间掉线严重影响线上服务质量。
-长尾延迟：使用基于内存的特征工程数据库保障了线上服务的高性能，但是数据备份依然会落盘到性能较差的外存储设备上，其导致某些场景下的长尾延迟会严重影响服务质量。
为解决以上问题，第四范式在充分发挥超高维实时特征工程数据库FEDB价值的基础上，引入英特尔® 傲腾™持久内存技术，以及创新性的持久化数据结构，全面支撑AI硬实时、低成本、高计算性能等需求的实现。
双方基于英特尔® 傲腾™持久内存，使用App Direct Mode，开发优化持久化数据结构，完全摒弃了FEDB原有的基于外存储设备的数据持久化架构，不仅充分利用了持久内存大容量、持久性的特性，而且将持久化操作带来的性能损耗降至最小。
该工作主要的创新性优化技术包括“持久化智能指针”以及利用原子操作“持久化比较并交换”（Atomic Persistent Compare-And-Swap"）的解决方案。一方面，持久化智能指针巧妙地利用了64位操作系统中64位宽指针不被使用的低4位来标记目标地址的数据是否已持久化；另一方面，针对“比较并交换操作”（CAS），传统指令缺少持久化语义，因而无法在持久内存中直接作为带有持久化特性的原子操作来使用的难点，双方引入了新的“读前持久化”（flush-before-read）概念，利用持久化智能指针，保证“持久化比较并交换” （Persistent CAS）正确性的同时，最大化减少持久化带来的性能损耗。
此项工作的研究成果表明，基于持久内存的FEDB可有效满足企业超高维特征在线预估场景的需求，在保证线上推理服务超高性能的同时，大幅降低了企业AI整体投入成本，提升了线上服务的质量，进一步扫清了企业AI规模化应用的障碍。
-傲腾™持久内存的加持满足超高维特征工程数据库对大内存的需求。下图显示了在论文实验中使用的机器配置，在8 TB数据的业务场景中，基于持久内存的FEDB的硬件成本仅为基于纯内存版本的41.6%。
硬件成本比较
-在服务中断情况下实现数据快速恢复，服务恢复时间减少99.7%，全面降低对线上服务质量的影响。如在论文中描述的结果（见下图，D-FEDB为原来内存版本的FEDB，PA-FEDB为基于持久内存优化的FEDB版本），在实际业务场景中，其数据恢复时间大幅度的从原来的六个小时缩短到只有一分钟左右。
基于持久化内存的数据恢复时间比较 （PA-FEDB vs. D-FEDB）
-基于持久内存进行持久化数据结构设计的FEDB舍弃了原有纯内存方案以及基于外存储设备的备份机制，实现了长尾延迟（TP-9999）接近20%的改善（见下图，D-FEDB为原来的基于内存的FEDB ，PA-FEDB为基于持久内存优化的FEDB）。
基于持久化内存的长尾延迟比较（PA-FEDB vs. D-FEDB）
未来，英特尔与第四范式联合实验室还将在软硬一体技术、面向AI的高性能计算等方面展开深入合作，结合英特尔领先的软硬件产品以及第四范式在AI领域的深厚积累以及研发优势，推动AI技术的创新和落地，加速企业规模化AI应用进程，共同引领AI产业化发展。
