
开源搜寻与分析引擎OpenSearch释出3.0版本,这是AWS将专案移交至Linux基金会后第一个重大版本更新。OpenSearch 3.0强化查询效能、资料传输与向量查询功能,也导入多项针对生成式人工智慧应用的技术支援。
效能提升是OpenSearch 3.0的一大亮点,官方指出,与2.19版相比,3.0在多项查询操作上平均快20%,与1.3版相比则提升达9.5倍,这主要来自底层索引引擎升级至Apache Lucene 10,改善向量栏位索引、稀疏资料处理与压缩方式,提升查询与储存效率。
新版OpenSearch增加gRPC与protobuf支援改善资料传输效率,让OpenSearch能在处理大型或複杂查询时减少序列化成本,也更容易整合进现有gRPC架构。资料来源方面,OpenSearch 3.0引入基于拉取的撷取方式,可从Kafka与Kinesis等串流来源主动拉取资料,较传统推送方式更能控制流量与稳定性。
向量查询也是本次版本更新的重点之一,过去以实验功能释出的衍生来源(Derived Source)机制正式推出,允许在不储存原始向量的情况,于查询阶段动态取得向量值,藉此降低储存成本并提升冷启动查询效能,使冷启动查询延迟最多改善达30倍,且支援多种向量引擎。
OpenSearch也导入GPU加速索引建立,可使索引建立速度提升9倍以上,适合高频率向量资料场景,搭配新推出的Explain API,开发者可进一步了解向量查询计分逻辑,掌握相似度计算与排序依据。
观测性与日誌分析功能也有所扩充,PPL查询语言加入栏位对照查询(Lookup)、栏位关联(Join)与子查询(Subsearch)语法,可用来即时补足资料上下文或关联性,对安全分析与跨来源日誌处理特别实用。Query Insights功能则新增即时查询观测API与弹性栏位显示,可即时掌握资源密集型查询对系统的影响,提升监控效率。
OpenSearch自2021年由AWS主导成立,作为Elasticsearch更改授权后的开源替代方案。2024年AWS将专案正式移交给Linux基金会旗下的OpenSearch基金会,确立由社群主导的治理架构。转移后,技术决策由技术指导委员会负责,资源与专案方向由管理委员会统筹,降低对单一厂商依赖,并扩大外部贡献者参与。