為了提供持續改善的方向,打造更優質的 AI 知識庫,
AI 小幫手在提供服務的同時,會紀錄以下資訊:
  1. 使用者提問
  2. AI 回應的內容及參考來源 (指定的資料夾內的文件或 FAQ)
  3. 使用者對 AI 生成內容的滿意度回饋

並提供以下統計資料:
  1. 不滿意的
    情境:使用者對 AI 回覆結果表達了「不滿意」。
    改善:調整 FAQ or 文件。

  2. 都找不到
    情境:文件、FAQ 都沒有能回答問題的內容。
    改善:補 FAQ or 文件。

  3. 找不到FAQ
    情境:FAQ 中沒有找到,但在文件中有找到並成功回答。
    改善:補 FAQ。
    這相當於從文件中萃取重點,直接對症下藥,讓使用者能快速獲取關鍵資訊。也避免使用者不想看長篇大論的文件或看的時候抓不到重點的問題。

  4. 無法回答
    情境:有找到 FAQ 或文件,但 AI 判斷無法依據現有內容回答。
    改善:調整 FAQ or 文件。

數據驅動,精準優化 AI 服務
透過這些具體數據與趨勢分析,
我們能更準確掌握使用者需求,並找出關鍵問題,
獲得持續改進的重要方向與資訊,進一步提升 AI 的品質與知識覆蓋度,打造更優質的 AI 服務。

例如,不滿意就是一個非常重要的指標,
因為 AI 回應出現偏差、歪樓,可能會對使用者造成困擾,我們就可以優先處理。

透過深入追蹤每個「不滿意」回饋的原因,
就可以針對問題點進行優化,避免類似情況再次發生,確保 AI 的回應更加精確可靠。

怎麼優化呢?
可以從以下幾個方向著手:
  1. 內容深度不足
    可能是文件內容過於簡略,或是缺少情境化的解釋。就可以補充更多範例、圖解或詳細說明。

  2. 內容不夠精準
    FAQ 或產品文件裡的敘述過於籠統,例如詞或寫法和 AI 判斷的不一樣,導致 AI 無法準確提取關鍵資訊。
    這時候,我們就可以調整措辭,使語句更具結構性,或改寫內容,讓 AI 更容易識別與解析。

  3. 設計標籤 (關鍵字)
    有時候 FAQ 或產品文件其實已經有答案,但可能因為用詞不同而找不到。這時候就可以使用標籤來補充關鍵字。
    例如,「骨髓穿刺檢查」的內容,就可以加上標籤「抽龍骨水」。

設計制度與流程,確保持續改善
做法很簡單,就 3 個重點:
  1. 建立制度
    這是在公司內得以推動的關鍵基礎。

  2. 定期檢視
    透過固定週期檢視統計的問題清單。建議每天在固定時段 (例如上班時) 花 10 分鐘就好,好處是負擔低到不會影響現有的工作,而且好執行 (每天都做)。

  3. 採取行動
    於需要新增或修改的 FAQ / 文件 (先挑重要的),指派負責單位與專業人員跟進。

操作流程也很簡單。
  1. 查看統計資料
    找出 AI 無法回答、找不到 FAQ 或用戶不滿意的問題。

  2. 修改 or 新增內容
    根據分析結果,補充 FAQ 或優化文件。

  3. 確認效果
    透過「更新資料」以及「再問一次」,就能立即觀察 AI 回應是否改善。

以「找不到 FAQ」為例,以下是 xms+ 的操作步驟。
操作步驟

  1. 查看統計資料
  2. 1.
    進入統計資料
    在「AI 小幫手管理」頁面,從主題的統計圖示 2a6950f8fc907a26bb4d617c64dc0b9f.png 進入。
  3. 2.
    過濾出「找不到 FAQ」的問題
    在「AI 小幫手管理 / 統計資料」點「找不到 FAQ」篩選出沒有對應 FAQ 的問題。


  4. 調整 / 優化內容
  5. 3.
    查看回應內容
    點「回應」欄位中的連結,就會顯示 AI 的回應。
    並依據提問與來源的線索,調整內容。

    補充說明:
    AI 回應分成兩種形式
    1. 系統
      AI 判斷使用者的提問系統已經有整理成 FAQ 的形式,就會直接回應 FAQ 的內容,好處是更完整 (含圖片、相關連結等) 也降低 AI 生成歪樓的機率。

    2. AI
      由 AI 依據文件 or FAQ 的內容生成回應。
  6. 4.
    查看來源資料
    在「來源」欄位,會列出 AI 參考的來源內容。
    並依據提問與來源的線索,調整內容。
  7. 5.
    建立 FAQ
    針對問題,在資料夾 or 文件下方建立 FAQ。

    附註:
    如果有類似、相同的問題,記得善用「整併」的技巧,進一步瞭解:


  8. 確認調整後的效果
  9. 6.
    執行「更新資料」
    修改完後, 回到「AI 小幫手 / 統計資料」頁面, 
    透過下拉工具執行 「更新資料」,更新 AI 知識庫 (註)  

    註:
    由於目前 AI 硬體大量缺貨且昂貴,目前 xms+ 是串接 openAI 的服務。
    基於成本的考量,並沒有在異動後立即自動更新,系統會於凌晨統一更新或允許透過人工更新。

  10. 7.
    執行「再問一次」
    接著,執行「再問一次」(註)
    系統會另開分頁,將該問題再次詢問 AI 小幫手。

  11. 8.
    查看統計資料
    再次到「AI 小幫手 / 統計資料」,
    確認剛剛詢問的問題,AI 已經可以正確回答系統的 FAQ 了。
  12. 9.
    標示「問題已解決」
    確認 AI 已經可以正確回答後,
    就可以透過列表的下拉工具,標示成「問題已解決」 (註)

    附註:
    1. 處理過程中會詢問多次相同的問題,標示最近期的一筆即可,相同問題的會一起被標示。
    2. 篩選條件有提供「待解決」的狀態,方便我們篩選出需要處理的問題,就不會遺漏囉。

    評語
    請登入後才可以評分
    位置
    資料夾名稱
    打造專屬的 AI 知識庫
    上傳者
    王大明
    單位
    台灣數位員工
    建立
    2024-12-24 08:24:22
    最近修訂
    2025-02-05 15:56:42
    版本
    v2.250203