隨著大型語言模型（llm）技術(shù)日漸成熟，各行各業(yè)加快了 llm 應(yīng)用落地的步伐。為了改進(jìn) llm 的實(shí)際應(yīng)用效果，業(yè)界做出了諸多努力。近期，領(lǐng)英（linkedin）團(tuán)隊(duì)分享了他們在構(gòu)建生成式 ai 產(chǎn)品的過程中總結(jié)的寶貴經(jīng)驗(yàn)。領(lǐng)英表示基于生成式人工智能構(gòu)建產(chǎn)品并非一帆風(fēng)順，他們在很多地方都遇到了困難。以下是領(lǐng)英博客原文。過去六個月，我們 linkedin 團(tuán)隊(duì)一直在努力開發(fā)一種新的人工智能體驗(yàn)，試圖重新構(gòu)想我們的會員如何進(jìn)行求職和瀏覽專業(yè)內(nèi)容。生成式人工智能的爆發(fā)式增長讓我們停下來思考，一年前不可能實(shí)現(xiàn)的事情現(xiàn)在有了哪些可能。我們嘗試了很多想法，但都沒有成功，最終發(fā)現(xiàn)產(chǎn)品需要如下關(guān)鍵點(diǎn)：更快地獲取信息，例如從帖子中獲取要點(diǎn)或了解公司最新動態(tài)。將信息點(diǎn)連接起來，例如評估您是否適合某個職位。獲取建議，例如改善您的個人資料或準(zhǔn)備面試。......
我們通過一個現(xiàn)實(shí)場景來展示新開發(fā)的系統(tǒng)是如何工作的。想象一下，您正在滾動瀏覽 LinkedIn 信息流，偶然發(fā)現(xiàn)了一篇關(guān)于設(shè)計(jì)中的可訪問性的有趣帖子。除了這篇文章之外，您還會刷到一些入門問題，以便更深入地研究該主題，您很好奇，例如點(diǎn)擊「科技公司中可訪問性推動商業(yè)價(jià)值的例子有哪些？」
系統(tǒng)后臺操作：
- 選擇合適的智能體：系統(tǒng)會接受您的問題并決定哪個 AI 智能體最適合處理它。在這種情況下，它會識別您對科技公司內(nèi)部可訪問性的興趣，并將您的查詢路由到專門執(zhí)行通用知識搜索的 AI 智能體。
- 收集信息：AI 智能體調(diào)用內(nèi)部 API 和 Bing 的組合，搜索具體示例和案例研究，突出設(shè)計(jì)的可訪問性如何為技術(shù)領(lǐng)域的商業(yè)價(jià)值做出貢獻(xiàn)。
- 制定回復(fù)：有了必要的信息，智能體現(xiàn)在可以撰寫回復(fù)。它將數(shù)據(jù)過濾并合成為連貫、信息豐富的答案，為您提供清晰的示例，說明可訪問性計(jì)劃如何為科技公司帶來商業(yè)價(jià)值。為了使體驗(yàn)更具交互性，系統(tǒng)會調(diào)用內(nèi)部 API 來使用文章鏈接或帖子中提到的人員簡介等附件。
交互性：
你可能會提問「我如何將我的職業(yè)生涯轉(zhuǎn)向這個領(lǐng)域」，那么系統(tǒng)會重復(fù)上述過程，但現(xiàn)在會將你轉(zhuǎn)給職業(yè)和工作（career and job）AI 智能體。只需點(diǎn)擊幾下，您就可以深入研究任何主題，獲得可行的見解或找到下一個工作機(jī)會。
技術(shù)基礎(chǔ)：
大部分新功能是借助 LLM 技術(shù)才成為可能。
總體設(shè)計(jì)：
系統(tǒng) pipeline 遵循檢索增強(qiáng)生成（RAG），這是生成式人工智能系統(tǒng)的常見設(shè)計(jì)模式。令人驚訝的是，建設(shè) pipeline 并沒有我們預(yù)期的那么令人頭疼。在短短幾天內(nèi)，我們就建立并運(yùn)行了基本框架：
- 路由：決定查詢是否在范圍內(nèi)，以及將其轉(zhuǎn)發(fā)給哪個 AI 智能體。
- 檢索：面向 recall 的步驟，AI 智能體決定調(diào)用哪些服務(wù)以及如何調(diào)用（例如 LinkedIn 人物搜索、Bing API 等）。
-
生成：面向精度的步驟，篩選檢索到的噪聲數(shù)據(jù)，對其進(jìn)行過濾并生成最終響應(yīng)。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 1：處理用戶查詢的簡化 pipeline。KSA 代表「知識共享智能體」，是數(shù)十種可以處理用戶查詢的智能體之一。
關(guān)鍵設(shè)計(jì)包括：
固定三步 pipeline；
用于路由 / 檢索的小型模型，用于生成的較大模型；
基于嵌入的檢索 (EBR)，由內(nèi)存數(shù)據(jù)庫提供支持，將響應(yīng)示例直接注入到提示（prompt）中；
每步特定的評估 pipeline，特別是對于路由 / 檢索。
開發(fā)速度
我們決定將開發(fā)任務(wù)拆分為由不同人員開發(fā)獨(dú)立智能體：常識、工作評估、職位要點(diǎn)等。
通過并行化開發(fā)任務(wù)，我們提高了開發(fā)速度，但這是以「碎片」為代價(jià)的。當(dāng)與通過不同的模型、提示或工具進(jìn)行管理的助手（assistant）進(jìn)行后續(xù)交互時，保持統(tǒng)一的用戶體驗(yàn)變得具有挑戰(zhàn)性。
為了解決這個問題，我們采用了一個簡單的組織結(jié)構(gòu)：
一個小型「水平（horizontal）」工程 pod，處理通用組件并專注于整體體驗(yàn)，其中包括：
托管產(chǎn)品的服務(wù)
評估 / 測試工具
所有垂直領(lǐng)域使用的全局提示模板（例如智能體的全局身份（identity）、對話歷史、越獄防御等）
為 iOS/Android/Web 客戶端共享 UX 組件
服務(wù)器驅(qū)動的 UI 框架，用于發(fā)布新的 UI 更改，而無需更改或發(fā)布客戶端代碼。
關(guān)鍵設(shè)計(jì)包括：
分而治之，但限制智能體數(shù)量；
具有多輪對話的集中式評估 pipeline；
共享提示模板（例如「身份（identity）」定義）、UX 模板、工具和檢測
評估
事實(shí)證明，評估響應(yīng)的質(zhì)量比預(yù)期的更加困難。這些挑戰(zhàn)可大致分為三個領(lǐng)域：制定指南（guideline）、擴(kuò)展注釋和自動評估。
制定 guideline 是第一個障礙。以工作評估為例：點(diǎn)擊「評估我是否適合這份工作」并得到「你非常適合」并沒有多大用處。我們希望響應(yīng)既真實(shí)又富有同理心。一些用戶可能正在考慮轉(zhuǎn)行到他們目前不太適合的領(lǐng)域，并需要幫助了解差距和后續(xù)步驟。確保這些細(xì)節(jié)一致對注釋器非常關(guān)鍵。
擴(kuò)展注釋是第二步。我們需要一致和多樣化的注釋器。我們內(nèi)部的語言學(xué)家團(tuán)隊(duì)構(gòu)建了工具和流程，以評估多達(dá) 500 個日常對話并獲取相關(guān)指標(biāo)：整體質(zhì)量得分、幻覺率、AI 違規(guī)、連貫性、風(fēng)格等。
自動評估工作目前仍在進(jìn)行中。如果沒有自動評估，工程師只能目測結(jié)果并在一組有限的示例上進(jìn)行測試，并且要延遲 1 天以上才能了解指標(biāo)。我們正在構(gòu)建基于模型的評估器來評估上述指標(biāo)，并努力在幻覺檢測方面取得一些成功，端到端自動評估 pipeline 將實(shí)現(xiàn)更快的迭代。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 2：評估步驟。
調(diào)用內(nèi)部 API
- LinkedIn 擁有大量有關(guān)人員、公司、技能、課程等的獨(dú)特?cái)?shù)據(jù)，這些數(shù)據(jù)對于構(gòu)建提供差異化價(jià)值的產(chǎn)品至關(guān)重要。
- 然而，LLM 尚未接受過這些信息的訓(xùn)練，因此無法使用它們進(jìn)行推理和生成響應(yīng)。
- 解決此問題的標(biāo)準(zhǔn)模式是設(shè)置檢索增強(qiáng)生成 (RAG) pipeline，通過該 pipeline 調(diào)用內(nèi)部 API，并將其響應(yīng)注入到后續(xù)的 LLM 提示中，以提供額外的上下文來支持響應(yīng)。
- 許多此類數(shù)據(jù)通過各種微服務(wù)中的 RPC API 在內(nèi)部公開。
- 我們通過圍繞這些 API 包裝「技能」來解決這個問題。每個技能都有以下組件：
- 關(guān)于 API 的功能以及何時使用的人類友好描述
- 調(diào)用 RPC API 的配置（端點(diǎn)、輸入模式、輸出模式等）
- LLM 友好的輸入和輸出模式
- 原始類型（字符串 / 布爾 / 數(shù)字）值
- JSON 模式的輸入和輸出模式描述
- LLM 友好模式和實(shí)際 RPC 模式之間映射的業(yè)務(wù)邏輯
- 這些技能旨在讓 LLM 能夠執(zhí)行與產(chǎn)品相關(guān)的各種操作，例如查看個人資料、搜索文章 / 人員 / 職位 / 公司，甚至查詢內(nèi)部分析系統(tǒng)。
- 同樣的技術(shù)也用于調(diào)用非 LinkedIn API，例如 Bing 搜索。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 3：使用技能調(diào)用內(nèi)部 API。
我們編寫提示，要求 LLM 決定使用什么技能來解決特定的工作（通過規(guī)劃選擇技能），然后輸出參數(shù)來調(diào)用技能（函數(shù)調(diào)用）。由于調(diào)用的參數(shù)必須與輸入模式匹配，因此我們要求 LLM 以結(jié)構(gòu)化方式輸出它們。大多數(shù) LLM 都接受過用于結(jié)構(gòu)化輸出的 YAML 和 JSON 訓(xùn)練。我們選擇 YAML 是因?yàn)樗惶唛L，因此比 JSON 消耗更少的 token。
我們遇到的挑戰(zhàn)之一是，雖然大約 90% 的情況下，LLM 響應(yīng)包含正確格式的參數(shù)，但大約 10% 的情況下，LLM 會出錯，并且經(jīng)常輸出格式無效的數(shù)據(jù)，或者更糟糕的是甚至不是有效的 YAML。
這些錯誤對人類來說是微不足道的，但卻會導(dǎo)致解析它們的代碼崩潰。10% 是一個足夠高的數(shù)字，我們不能輕易忽視，因此我們著手解決這個問題。
解決此問題的標(biāo)準(zhǔn)方法是檢測它，然后重新提示 LLM 要求其糾正錯誤并提供一些額外的指導(dǎo)。雖然這種方法有效，但它增加了相當(dāng)大的延遲，并且由于額外的 LLM 調(diào)用而消耗了寶貴的 GPU 容量。為了規(guī)避這些限制，我們最終編寫了一個內(nèi)部防御性 YAML 解析器。
通過對各種有效負(fù)載的分析，我們確定了 LLM 所犯的常見錯誤，并編寫了代碼以在解析之前適當(dāng)?shù)貦z測和修補(bǔ)（patch）這些錯誤。我們還修改了提示，針對其中一些常見錯誤注入提示，以提高修補(bǔ)的準(zhǔn)確率。我們最終能夠?qū)⑦@些錯誤的發(fā)生率減少到約 0.01%。
我們目前正在構(gòu)建一個統(tǒng)一的技能注冊表，用于在我們的生成式人工智能產(chǎn)品中，動態(tài)發(fā)現(xiàn)和調(diào)用打包為 LLM 友好技能的 API / 智能體。
容量和延遲
容量和延遲始終是首要考慮因素，這里提及一些考量維度：
- 質(zhì)量與延遲：思想鏈 (CoT) 等技術(shù)對于提高質(zhì)量和減少幻覺非常有效，但需要從未見過的 token，因此增加了延遲。
- 吞吐量與延遲：運(yùn)行大型生成模型時，通常會出現(xiàn) TimeToFirstToken (TTFT) 和 TimeBetweenTokens (TBT) 隨著利用率的增加而增加的情況。
- 成本：GPU 集群不易獲得且成本高昂。一開始我們甚至必須設(shè)定測試產(chǎn)品的時間表，因?yàn)闀奶?token。
- 端到端流式處理（streaming）：完整的答案可能需要幾分鐘才能完成，因此我們流式處理所有請求，以減少感知延遲。更重要的是，我們實(shí)際上在 pipeline 中端到端地進(jìn)行流式處理。例如，決定調(diào)用哪些 API 的 LLM 響應(yīng)是逐步解析的，一旦參數(shù)準(zhǔn)備好，就會觸發(fā) API 調(diào)用，而無需等待完整的 LLM 響應(yīng)。最終的綜合響應(yīng)也會使用實(shí)時消息傳遞基礎(chǔ)設(shè)施一路傳輸?shù)娇蛻舳耍⒏鶕?jù)「負(fù)責(zé)任的 AI」等進(jìn)行增量處理。
- 異步非阻塞 pipeline：由于 LLM 調(diào)用可能需要很長時間才能處理，因此我們通過構(gòu)建完全異步非阻塞 pipeline 來優(yōu)化服務(wù)吞吐量，該 pipeline 不會因 I/O 線程阻塞而浪費(fèi)資源。
感興趣的讀者可以閱讀博客原文，了解更多研究內(nèi)容。原文鏈接：https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product
以上就是錯誤率從10%降至0.01%，領(lǐng)英全面分享LLM應(yīng)用落地經(jīng)驗(yàn)的詳細(xì)內(nèi)容，更多請關(guān)注愛掏網(wǎng) - it200.com其它相關(guān)文章！