项目经验整理

Hiknow知识分享平台

项目描述

Hiknow知识分享平台深度融合AI大模型与IM长连接集群，提供流畅实时对话。基于RAG技术，智能关联企业知识库，实现精准问答、文档摘要与知识推荐，并结合AI创作与自动标签功能，全链路提升知识获取与生产效率。

核心技术栈：

Spring、Spring Boot、Spring Cloud、Mybatis、Mybatis-Plus、Redis、Redisson、Spring AI Alibaba、Netty、ElasticSearch、Milvus、MySQL

主要职责：

1. 为满足平台海量用户实时交互需求，基于Netty+SpringBoot+Nacos搭建高并发WebSocket集群，实现单机承载连接数10万+且消息延迟稳定控制在100ms以内。
2. 针对分布式环境群聊消息同步挑战，通过Redis Pub/Sub消息总线与异步确认机制，实现2000人群聊消息端到端平均延迟稳定在15ms以内。
3. 为解决读扩散方案查询延迟高的问题，采用写扩散策略异步预生成未读消息，使消息列表查询延迟从200ms降至20ms。
4. 为提升知识库检索效率，引入ElasticSearch设计多字段索引与权重优化，实现搜索响应时间P99控制在100ms以内且召回率达95%。
5. 为提升用户问题解决效率，通过Spring AI Alibaba接入通义千问大模型，使问题单提交率下降60%且平均问答耗时<2秒。
6. 为增强大模型专业领域知识准确性，采用RAG技术结合Milvus向量检索，实现检索精度MRR@5达0.89，故障定位准确率提升至92%。

项目难点

⭐如何保证在大模型问答中响应时间在2秒以内？

关于这个问题我们主要有两点优化：

首先是用户体验上的更新，让用户降低对我们这个延迟的一个感知，这里我们主要使用SSE协议来将大模型输出的内容返回给客户端。虽然整体上的响应时间没有变化，但是对于用户而言可以更快的看到这个输出的内容，也能让用户得到更好的一个体验。

更小的模型

私有化部署模型

小模型微调

流式

前端有一些小的展示信息