返回列表

我给公司搭了个 AI 知识库:从 demo 到能用的四个月

AI实战 苏晚 2025-10-08 15869 次阅读 23 条评论 66 次点赞 编辑于 2025-10-17
第一版演示三天就做出来了,可真正能用花了四个月。中间卡住的地方全都不是技术问题。

凌乱的办公桌面

先给一个挫败感很强的对比:

  • 做出一个能回答问题的演示:三天
  • 让它变成一个同事真的会用的东西:四个月

差的那四个月,几乎没花在模型上。

一、第一个月:我们一直在解决「假问题」

一开始的思路很直线:把文档抓下来、切片、丢进向量库、接上模型。
演示那天确实很惊艳——问什么都能答,还带出处。

上线一周后,使用数据是这样的:

指标 现实
打开过的人 二十多人
第二周还在用的人 三个人
主要抱怨 「答得不对」「找不到我要的那份」

后来才明白,同事要的不是「问一个能聊天的库」,是「找到那份正确的文件」
这两件事长得像,其实完全不同。

二、第二个月:数据比模型重要得多

我们花了一个月干了一件很笨的事:盘清楚到底有哪些文档、谁在维护、什么时候过期。

结果发现同一份规范有三个版本,两个过期,最新的那份在一个离职同事的共享盘里。
这种问题再多模型也解决不了。

办公室里合作的同事

改动:给每个知识源定了责任人,并在回答里强制标出处和更新时间。
一旦答案带时间,用户自己就会判断可信度。

三、第三个月:权限是最麻烦的部分

这件事比想象中难:不是所有文档都对所有人开放
销售能看的东西,实习生不一定能看。

我们的做法是在检索阶段就过滤,而不是检索完再筛。
否则模型可能已经把不该看的内容写进答案里了。

四、第四个月:确定「什么算答对了」

最后一个坑最容易被忽略:没有验收标准的 AI 系统,永远会被说成「不好用」

我们最后定下来的规则很朴素:

  • 能回答的问题,必须给出来源链接;
  • 答不出来就直说「我没有找到依据」,不许编
  • 每周抽二十条真实提问人工复核,算一个通过率,公开贴出来。

五、四个月之后

现在的状态是:日活稳定在八十人左右,通过率八成出头,还在慢慢涨。

回头看,四个月里真正花在模型上的时间不到两周,其余都在做:
盘数据、定责任人、理权限、建验收。这些事看起来和 AI 无关,
但决定了它能不能真的被用起来。

下面是我们当时的选型对照表,包含几种方案的成本、门槛和适用场景,需要的可以下载。

登录后可收藏

资源下载

企业内部知识库选型对照表.zip 933 B · 已下载 17 次 25 积分 登录后下载
下载消耗的积分会按后台分成比例发给上传者;你已下载过的资源不会重复扣积分。

评论 (23)

当前按评论日期排序
昵称选填,不填显示「访客」; 游客评论需管理员审核通过后才公开。
正在回复
0/500

  • 阿桂 #21楼 2026-06-08
    认同,不过做起来真的难。
  • 小悦 #20楼 2026-05-25
    我更关心出错之后怎么兜底,有经验吗?
  • 半山 #19楼 2026-05-13
    有个疑问:数据量上来之后还撑得住吗?
  • 小桃 #18楼 2026-05-02
    把「代价」那部分讲明白很难得。
  • 阿岩 #17楼 2026-05-01
    有点被说中,尤其是中间那段。
  • 小雅 #16楼 2026-01-24
    这段我截下来存了,谢谢。
  • 贝壳 #15楼 2025-12-15
    看完想了想自己的情况,确实是这样。
  • 晚风 #14楼 2025-11-15
    工具换来换去,最后还是回到最朴素的那几个。
  • 高飞 #13楼 2025-11-09
    写得很实在,没有那种喊口号的感觉。
  • 老岑 #12楼 2025-11-07
    有点长,但值得从头读到尾。
  • 小庄 #11楼 2025-10-28
    先码住,周末慢慢读。
  • 沈青 #10楼 2025-10-15
    这段建议加进培训材料里。
  • 十三 #9楼 2025-10-11
    我们卡在第二个月一直没出去,现在知道问题在哪了。
  • 阿飞 #8楼 2025-10-10
    好文,转给团队看了。
  • 青柠 #7楼 2025-10-10
    看完最大的感触是:这活其实是个知识管理项目。
  • 阿蒙 #6楼 2025-10-09
    请问抽检二十条的通过率,是人工判「答对没答对」吗?这个标准怎么定?
    • 苏晚 2025-10-09
      回复 阿蒙 是人工判。标准写得很具体:结论正确、出处正确、没有多余编造,三条都满足才算通过。
  • 小七 #5楼 2025-10-09
    下载了对照表,正好在做方案。
  • 老吴 #4楼 2025-10-09
    文档责任人这个做法麻烦但有效,我们后来也是靠这个活下来的。
  • 阿柚 #3楼 2025-10-08
    权限在检索阶段过滤这点很关键,很多人是在生成之后过滤,等于已经泄了一次。
  • 沈青 #2楼 2025-10-08
    「不许编」这条必须写死。我们是医疗场景,宁可它说找不到,也不能给一个错的出处。