概述官网使用RustPython开发、开源GitHub10.9K Star950 Fork检索库。AI原生多模态数据湖产品采用自研开源数据格式Lance以解决传统数据格式在大规模非结构化数据场景中的局限性已被多家AI公司采纳。在存储后端方面提供多种选择以满足用户在成本、延迟、可扩展性和可靠性方面的不同需求。官方文档构建生产就绪搜索和生成式AI应用程序的首选包括电子商务搜索、推荐系统、RAG和自主代理。作为向量数据库原生地将向量与多种数据模式文本、图像、视频、音频统一存储无需单独数据库来管理源数据。特点提供单机服务可直接嵌入到应用程序中支持多种向量索引算法包括Flat、HNSW、IVF等支持全文检索包括BM25、TF-IDF等支持多种向量相似度算法包括Cosine、L2等与Arrow生态系统紧密集成允许通过SIMD和GPU加速在共享内存中实现真正的零拷贝访问LanceDB生态示意图LanceDB主要服务于AI检索需求高性能ANN索引支持如IVF_PQ和IVF_HNSW_SQ等高性能的近似最近邻ANN索引确保在查询数十亿向量时仍能保持毫秒级的延迟混合搜索(Hybrid Search)允许同时进行向量相似性搜索语义匹配和基于SQL/FTS全文搜索的元数据过滤精确匹配。可用于RAG系统确保结果既相关又符合业务逻辑可通过数据库完成图片视频检索图片或视频帧首先通过多模态模型如CLIP转化为高维的嵌入向量。向量存储在Lance表的vector列中。LanceDB在vector列上构建ANN索引如IVF-PQ、HNSW来实现图片或视频检索。采用嵌入式Serverless/In-Process架构消除传统数据库服务器的运维成本与AI/ML开发者的工作流高度吻合本地优先数据库与应用在同一进程中运行安装简单使用方便无需单独部署和管理服务器。开发到生产的平滑过渡相同的代码可以在本地运行嵌入式或指向云端服务LanceDB Cloud方便开发者快速原型设计和扩展。与主流AI/ML工具链无缝集成LangChain或LlamaIndex作为向量存储后端直接支持RAG工作流Pandas或Polars或PyArrow基于Apache Arrow与数据科学中常用的数据帧库之间的数据交换是零拷贝的性能极高。部署方式嵌入式LanceDB OSS数据库是一个在您的应用程序中运行的库使其能够在多个远程存储选项如S3之上简单且廉价地实现。无服务器LanceDB Cloud是一个完全托管的无服务器矢量数据库可以根据您的存储或搜索需求自动扩展从而消除基础设施管理开销。托管LanceDB Enterprise提供专用的企业级部署具有高级安全性、合规性功能以及对关键任务AI应用程序的专门支持。原理向量搜索是一种基于向量表示称为嵌入来搜索相似项的技术也叫相似性搜索、最近邻搜索或近似最近邻搜索。支持距离l2欧氏距离默认度量cosine余弦相似度适用于非标准化向量dot点积用于已归一化的向量可获得最佳性能hamming汉明距离仅适用于以压缩uint8数组形式存储的二进制向量tbl.search(np.random.random((1536))).distance_type(cosine).limit(10).to_list()暴力搜索可保证100%召回率仅适用于较小数据集扫描表中的每个向量并计算精确的距离以找到精确的最近邻。tbl.search(np.random.random((1536))).limit(3).to_list()bypass_vector_indextable.search(embedding).bypass_vector_index().limit(5).to_pandas()。索引LanceDB使用基于磁盘的索引IVF PQInverted FileProduct Quantization是倒排索引的一种变体使用PQ来做压缩嵌入。PQ主要分为以下步骤对向量进行分桶将向量分为多个桶每个桶包含多个向量样本维度D1024桶数量M64每个桶的维度16对样本的每个段分别进行聚类聚成k 256 k256k256其中K KK可自定义修改个聚类中心这样整个样本被分为M ∗ K M*KM∗K个聚类中心每个聚类中心分配一个ID范围0-K-1通过上面的聚类和ID分配每个样本就会变成量化后的向量如[28, 100, 99, 255 ...]对于新加入样本按照第一步的分桶方式切分然后再聚类的分段里面找到最近的类中心然后将聚类中心的ID作为量化后的向量通过以上处理原来1024维度向量*float类型1024*4字节被压缩到64个字节大大减少存储空间和计算量量化是有损的对于数据量不大的情况可不使用索引直接暴力搜索。ANNApproximate Nearest Neighbor近似最近邻一种基于树的搜索方法使用树结构来存储向量通过树搜索来找到最相似向量。适用于速度比完美召回率更重要的大规模应用。只有手动创建ANN索引后LanceDB才会使用ANN算法进行搜索否则执行效率低但准确率100%的暴力搜索。索引创建依赖以下几种参数索引类型IVF_PQ默认索引类型针对高维向量进行优化IVF_HNSW_SQ将IVF聚类与HNSW图相结合以提高搜索质量metrics默认为l2其他可用为cosine或dot。当使用cosine相似性时距离范围从0相同向量到2最大不相似num_partitions索引IVF部分中的分区数。此数字通常用于确定每个分区的特定向量数量。num_sub_vectors乘积量化(PQ)期间将创建的子向量的数量通常根据所需的召回率和向量的维数来选择datapd.DataFrame({id:range(1000),text:[f关于产品{i}的描述。foriinrange(1000)],category:[fCategory{(i%3)1}foriinrange(1000)],vector:[np.random.rand(128).astype(np.float32).tolist()for_inrange(1000)]})tbldb.create_table(ann_table,datadata,modeoverwrite)tbl.create_index(metriccosine,# 设置距离度量如cosine、l2、dotindex_typeIVF_PQ,# 使用ANN索引类型num_partitions64,# 可选调整分区数影响召回率和速度num_sub_vectors16,# 可选调整子向量数影响压缩率replaceTrue,# 如果已经存在同名索引则替换它acceleratorcuda# 可选通过CUDA加速)query_vectornp.random.rand(128).astype(np.float32).tolist()tbl.search(query_vector).where(category Category 2).limit(5).to_pandas()警告输出DeprecationWarning: The create_index() API with metric/num_partitions parameters is deprecated and will be removed in a future version. Please migrate to the new unified API: # Old (deprecated): table.create_index(l2, vector_column_namemy_vector) # New (recommended): table.create_index(my_vector, configIvfPq(distance_typel2))LanceDB创建HNSW索引样例data[{vector:row,item:fitem{i}}fori,rowinenumerate(np.random.random((10_000,1536)).astype(float32))]tbldb.create_table(my_vectors,datadata)tbl.create_index(index_typeIVF_HNSW_SQ)搜索支持多种搜索方式kNN搜索不建立索引就会扫描全表计算每个向量的距离返回最相似的k kk个向量也可指定距离度量算法querynp.random.random(1536).astype(float32)resultstbl.search(query).limit(10).distance_type(cosine).to_pandas()ANN 搜索通过索引搜索支持2个参数nprobes数字越大搜索越准确但速度越慢refine_factor对召回的进行重排优化querynp.random.random(1536).astype(float32)tbl.search(query).limit(2).nprobes(20).refine_factor(10).to_pandas()基于距离范围主要用于不通过topk查询querynp.random.random(1536).astype(float32)tbl.search(query).distance_range(0.1,0.5).to_pandas()全文搜索需要对字符串进行索引并通过关键字搜索进行查询可通过创建FTS索引fromlancedb.indeximportFTS tbldb.create_table(my_vectors,data[{vector:np.rand.random(10),item:fthis item{i}}{vector:np.rand.random(10),item:fthis item{i100}}])tbl.create_fts_index(text,use_tantivyFalse)tbl.search(this item 10).limit(10).select([item]).to_pandas()过滤搜索通过SQL语法进行过滤搜索tbl.search(this item 10).limit(10).where(itemthis,prefilterTrue).to_pandas()SQL语法LanceDB支持SQL语法如下,,,AND,OR,NOTISNULL,ISNOTNULLISTRUE,ISFALSEINLIKE,NOTLIKECAST regexp_match(column,pattern)示例table.search(this item 10).where((item IN (item 0, item 2)) AND (id 10)).to_arrow()实战安装pip install lancedb安装预览版本pip install --pre --extra-index-url https://pypi.fury.io/lancedb/ lancedb示例importlancedbimportpandasaspd dblancedb.connect(data/test-lancedb)data[{vector:[0.1,0.2,0.3],name:Gandalf,level:99,role:Wizard},{vector:[0.4,0.5,0.6],name:Aragorn,level:85,role:Ranger},{vector:[0.8,0.9,0.7],name:Gimli,level:70,role:Dwarf},]dfpd.DataFrame(data)tabledb.create_table(my_table,datadf,modeoverwrite)table.create_index()# 创建空表schemapa.schema([pa.field(vector,pa.list_(pa.float32(),list_size2))])table2db.create_table(empty_table,schemaschema)print(db.table_names())tbldb.open_table(my_table)# 全量查看数据print(tbl.search().to_pandas())# 按条件筛选数据resulttbl.search().select([vector,name]).where(name Lisi).limit(5).to_pandas()tbl.add([{vector:[0.1,0.2,0.3],name:Lisi,level:99,role:Wizard}])tbl.delete(name Gandalf)db.drop_table(my_table)解读LanceDB不会自动创建索引数据量较大时建议手动创建否则会走全文检索速度会比较慢LanceDB插入数据支持多种方式Pandas DataFrame最常见方式参考上面的代码片段Arrow Tableimportpyarrowaspaimportlancedbimportnumpyasnp dblancedb.connect(./test)tabledb.create_table(my_table,data[],modeoverwrite)tabledb.create_table(my_table,datapa.Table.from_pandas(df),modeoverwrite)LanceModelimportlancedbfromlancedb.pydanticimportLanceModelclassMyModel(LanceModel):vector:list[float]text:strdblancedb.connect(./test)tabledb.create_table(my_table,schemaMyModel,modeoverwrite)modelMyModel(vector[1,2],texthello)table.add(model)迭代器importlancedbimportpyarrowaspadefmake_batches():foriinrange(1000):yieldpa.Table.from_pandas(pd.DataFrame({vector:[np.random.rand(100)for_inrange(100)],text:[fhello{i}foriinrange(100)],}))schemapa.schema([pa.field(vector,pa.list_(pa.float32(),4)),pa.field(item,pa.utf8()),])dblancedb.connect(./test)tabledb.create_table(my_table,make_batches(),schemaschema,modeoverwrite)集成嵌入embedding模型importlancedbfromlancedb.pydanticimportLanceModel,Vectorfromlancedb.embeddingsimportget_registry dblancedb.connect(./test)funcget_registry().get(openai).create(nametext-embedding-ada-002)classWords(LanceModel):text:strfunc.SourceField()vector:Vector(func.ndims())func.VectorField()tabledb.create_table(words,schemaWords,modeoverwrite)table.add([{text:hello world},{text:goodbye world}])querygreetingsactualtable.search(query).limit(1).to_pydantic(Words)[0]print(actual.text)通过get_registry()注册不同的模型参数get_registry().get(sentence-transformers).create(nameBAAI/bge-small-en-v1.5, devicecpu)get_registry().get(huggingface).create(namefacebook/bart-base)get_registry().get(ollama).create(namenomic-embed-text)get_registry().get(openai).create(nametext-embedding-ada-002)et_registry().get(instructor).create(source_instructionrepresent the docuement for retreival, query_instructionrepresent the document for retreiving the most similar documents)get_registry().get(gemini-text).create()get_registry().get(open-clip).create()get_registry().get(imagebind).create()…LanceDB是嵌入到各个应用中数据更新并不能保持一致可通过设置read_consistency_interval参数来保证数据更新的一致性单位是秒不设置数据库不检查其他进程对表所做的更新。这提供最佳查询性能但意味着客户端可能无法看到最新的数据此设置适用于在表引用的生命周期内数据不会发生变化的应用程序如果设置为 0数据库在每次读取时检查更新。提供最强的一致性保证确保所有客户端都看到最新提交的数据但开销也最大。适用于一致性比高QPS更重要的场景自定义间隔时间数据库以自定义间隔例如每 5 秒检查更新。这提供了最终一致性允许写入和读取操作之间有一些滞后从性能方面来看这是强一致性和无一致性检查之间的中间地带此设置适用于即时一致性并不重要但客户端最终应该看到更新数据的应用程序。fromdatetimeimporttimedelta# 保障数据最终一致性dblancedb.connect(data/sample-lancedb,read_consistency_intervaltimedelta(seconds5))tbldb.open_table(test_table)Lance官网LanceDB构建于Lance格式Apache Arrow生态里开源GitHub6.8K Star761 Fork的列式数据格式专门针对AI数据的特性进行优化。特点高性能随机访问比Parquet快100倍且不牺牲扫描性能向量搜索在几毫秒内找到最近的邻居并将OLAP查询与向量搜索相结合零拷贝、自动版本控制无需额外的基础设施即可管理数据版本生态系统集成Apache Arrow、Pandas、Polars、DuckDB、Ray、Spark等。安装pip install pylance示例importlance dslance.dataset(my_2_0_dataset)lance.write_dataset(ds,my_2_1_dataset,data_storage_version2.1)
