大模型应用开发LangChain4j RAG实战实现向量存储的两种方案

itbeien2025年3月3日大约 9 分钟

大模型应用开发LangChain4j RAG实战实现向量存储的两种方案

上一篇文章分享了大模型应用开发LangChain4j核心知识点和学习路线图今天这篇文章我来分享大模型应用开发LangChain4j RAG实战实现向量存储的两种方案。通过实际代码案例，逐步掌握Java生态下的AI大模型应用产品开发。

完整代码在文章最后，如果觉得本篇文章对你有用，记得点赞、关注、收藏哦。你的支持是我持续更新的动力!

文章最后可以加入免费的Java&AI技术和支付系统沟通社群，一起探讨Java/你的产品如何与AI结合，请按照要求加入。在群中可以聊开发、系统设计、架构、行业趋势、AI等等话题

LangChain4j 是一个用于构建和操作语言模型（LLM）应用的 Java 框架。通过实际的项目功能案例，看LangChain4j如何提高你开发AI应用的工程能力，帮助你逐步掌握该框架的核心概念和高级功能。

AI专栏软件环境

IntelliJ IDEA2024.3.4.1
JDK 17.0.13
LangChain4j1.0.0-beta1
Spring Boot 3.4.3
Spring 6.2.3
pgvector 0.8.0
postgresql 16.6
通义千问大模型
知识库文档

我们先看本篇文章对应的项目结构，请看下图

1 基于内存的向量存储

1.1 pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>cn.itbeien.ai</groupId>
        <artifactId>langchain4j-labs</artifactId>
        <version>1.0-SNAPSHOT</version>
    </parent>

    <artifactId>lab03</artifactId>

    <properties>
        <maven.compiler.source>17</maven.compiler.source>
        <maven.compiler.target>17</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <langchain4j.version>1.0.0-beta1</langchain4j.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId>
        </dependency>
       <!-- <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-community-zhipu-ai</artifactId>
        </dependency>-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j</artifactId>
            <version>${langchain4j.version}</version>
        </dependency>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-easy-rag</artifactId>
            <version>${langchain4j.version}</version>
        </dependency>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-pgvector</artifactId>
            <version>${langchain4j.version}</version>
        </dependency>
    </dependencies>
</project>

1.2 基于内存的嵌入存储配置

package cn.itbeien.lab03.config;

import cn.itbeien.lab03.service.Assistant;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.memory.chat.MessageWindowChatMemory;
import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.rag.content.retriever.EmbeddingStoreContentRetriever;
import dev.langchain4j.service.AiServices;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.inmemory.InMemoryEmbeddingStore;
import lombok.RequiredArgsConstructor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.time.Duration;

/**
 * @author itbeien
 * 项目网站：https://www.itbeien.cn
 * 公众号：贝恩聊架构
 * 全网同名，欢迎小伙伴们关注
 * Java/AI学习社群
 * Copyright© 2025 itbeien
 */
@Configuration
@RequiredArgsConstructor
public class InMemoryEmbeddingConfig {

    final ChatLanguageModel chatLanguageModel;


    @Bean
    public EmbeddingStore<TextSegment> initEmbeddingStore() {
        return new InMemoryEmbeddingStore<TextSegment>();
    }

    @Bean
    public Assistant init(EmbeddingStore<TextSegment> embeddingStore) {
        return AiServices.builder(Assistant.class)
                .chatMemoryProvider(memoryId-> MessageWindowChatMemory.withMaxMessages(10))
                .contentRetriever(EmbeddingStoreContentRetriever.from(embeddingStore))
                .chatLanguageModel(chatLanguageModel).build();
    }
}

1.3 AI助手API

package cn.itbeien.lab03.controller;

import cn.itbeien.lab03.service.Assistant;
import dev.langchain4j.data.document.Document;
import dev.langchain4j.data.document.loader.FileSystemDocumentLoader;
import dev.langchain4j.data.message.UserMessage;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.EmbeddingStoreIngestor;
import lombok.RequiredArgsConstructor;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/**
 * @author itbeien
 * 项目网站：https://www.itbeien.cn
 * 公众号：贝恩聊架构
 * 全网同名，欢迎小伙伴们关注
 * Java/AI学习社群
 * Copyright© 2025 itbeien
 */
@RestController
@RequestMapping("/chat")
@RequiredArgsConstructor
public class ChatAiAPI {

    final ChatLanguageModel chatLanguageModel;

    final Assistant assistant;

    /**
     * 低级别对话API
     * @param question
     * @return
     */
    @RequestMapping("/chat")
    public String chat(@RequestParam("question") String question) {
        return chatLanguageModel.chat(UserMessage.from(question)).aiMessage().text();
    }

    /**
     * 高级别API对话
     * @param question
     * @return
     */
    @RequestMapping("/assistant")
    public String assistant(@RequestParam("question")String question) {
        return assistant.chat(question);
    }

    final EmbeddingStore<TextSegment> embeddingStore;

    /**
     * 加载企业/个人知识库文档
     * @return
     */
    @RequestMapping("/load")
    public String load() {
        List<Document> documents = FileSystemDocumentLoader.loadDocuments("你的知识库文档目录");
        EmbeddingStoreIngestor.ingest(documents,embeddingStore);
        return "ok";
    }
}

1.4 测试RAG功能

向企业AI助手提问与企业相关的业务问题，看是否是想要的结果，下图为在未加载本地知识库大模型给出的答案

很明显下图中的结果不是我想要的关于我们公司SAAS-DB组件的定义

1.4.1 加载知识库到内存

当企业知识库加载成功后，向企业AI助手提问与企业相关的业务问题，看RAG是否生效。下面第一张图为加载企业知识库到内存，第二张图为大模型给出的答案，很明显这一次满足了RAG的功能。正确的回答了saas-db是什么

2 基于外部向量数据库存储

2.1 基于PgVector存储配置

package cn.itbeien.lab03.config;

import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.pgvector.PgVectorEmbeddingStore;
import lombok.RequiredArgsConstructor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author itbeien
 * 项目网站：https://www.itbeien.cn
 * 公众号：贝恩聊架构
 * 全网同名，欢迎小伙伴们关注
 * Java/AI学习社群
 * Copyright© 2025 itbeien
 */
@Configuration
@RequiredArgsConstructor
public class EmbeddingStoreConfig {

    final PgVectorConfig pgVectorConfig;
    @Bean
    public EmbeddingStore<TextSegment> embeddingStore() {
       return PgVectorEmbeddingStore.builder().table(pgVectorConfig.getTableName())
               .dropTableFirst(true)
               .createTable(true)
               .host(pgVectorConfig.getHost())
               .port(pgVectorConfig.getPort())
               .user(pgVectorConfig.getUserName())
               .password(pgVectorConfig.getPassword())
               .database(pgVectorConfig.getDatabase())
               .dimension(384)
               .build();
    }
}