為了提供持續改善的方向,打造更優質的 AI 知識庫,
AI 小幫手在提供服務的同時,會紀錄以下資訊:
- 使用者提問
- AI 回應的內容及參考來源 (指定的資料夾內的文件或 FAQ)
- 使用者對 AI 生成內容的滿意度回饋
並提供以下統計資料:
- 不滿意的
情境:使用者對 AI 回覆結果表達了「不滿意」。
改善:調整 FAQ or 文件。
- 都找不到
情境:文件、FAQ 都沒有能回答問題的內容。
改善:補 FAQ or 文件。
- 找不到FAQ
情境:FAQ 中沒有找到,但在文件中有找到並成功回答。
改善:補 FAQ。
這相當於從文件中萃取重點,直接對症下藥,讓使用者能快速獲取關鍵資訊。也避免使用者不想看長篇大論的文件或看的時候抓不到重點的問題。
- 無法回答
情境:有找到 FAQ 或文件,但 AI 判斷無法依據現有內容回答。
改善:調整 FAQ or 文件。
透過這些具體數據與趨勢分析,
我們能更準確掌握使用者需求,並找出關鍵問題,
獲得持續改進的重要方向與資訊,進一步提升 AI 的品質與知識覆蓋度,打造更優質的 AI 服務。
例如,不滿意就是一個非常重要的指標,
因為 AI 回應出現偏差、歪樓,可能會對使用者造成困擾,我們就可以優先處理。
透過深入追蹤每個「不滿意」回饋的原因,
就可以針對問題點進行優化,避免類似情況再次發生,確保 AI 的回應更加精確可靠。
怎麼優化呢?
可以從以下幾個方向著手:
- 內容深度不足
可能是文件內容過於簡略,或是缺少情境化的解釋。就可以補充更多範例、圖解或詳細說明。
- 內容不夠精準
FAQ 或產品文件裡的敘述過於籠統,例如詞或寫法和 AI 判斷的不一樣,導致 AI 無法準確提取關鍵資訊。
這時候,我們就可以調整措辭,使語句更具結構性,或改寫內容,讓 AI 更容易識別與解析。
- 設計標籤 (關鍵字)
有時候 FAQ 或產品文件其實已經有答案,但可能因為用詞不同而找不到。這時候就可以使用標籤來補充關鍵字。
例如,「骨髓穿刺檢查」的內容,就可以加上標籤「抽龍骨水」。
做法很簡單,就 3 個重點:
建立制度
這是在公司內得以推動的關鍵基礎。
定期檢視
透過固定週期檢視統計的問題清單。建議每天在固定時段 (例如上班時) 花 10 分鐘就好,好處是負擔低到不會影響現有的工作,而且好執行 (每天都做)。
採取行動
對於需要新增或修改的 FAQ / 文件 (先挑重要的),指派負責單位與專業人員跟進。
操作流程也很簡單。
- 查看統計資料
找出 AI 無法回答、找不到 FAQ 或用戶不滿意的問題。
- 修改 or 新增內容
根據分析結果,補充 FAQ 或優化文件。
- 確認效果
透過「更新資料」以及「再問一次」,就能立即觀察 AI 回應是否改善。
以「找不到 FAQ」為例,以下是 xms+ 的操作步驟。