大模型應用開發之道圓滿舉辦

技術革新日新月異，大模型的興起更是顛覆了千行百業。自ChatGPT問世以來，大模型的應用前景充滿了無限的機遇與挑戰。

12月16日，在2023開放原子開發者大會的“大模型應用開發之道”分論壇上，眾多人工智慧領域的從業者和技術專家齊聚一堂，圍繞大模型應用開發的現狀和未來發展等相關話題，碰撞出了諸多思想的火花。

業內專家齊聚

探討大模型開發之路

論壇由開放原子開源基金會TOC主席譚中意擔任出品人，在CSDN內容生態總監董世曉的主持下，5位行業專家聚焦於開發者在大模型開發過程中所面臨的工程挑戰，共同探討大模型開發之路。通過分享成功的案例經驗，以及深入剖析大模型開發的多個方面，幫助開發者對大模型開發的全貌有更深入的理解，便於應對實際應用中的挑戰。

阿裏巴巴通義實驗室研發總監 周文猛

周文猛在《魔搭社區及其應用生態》的主題演講上，以魔搭社區為例，闡述了模型社區發展需要關注的五個方面，一是模型社區的生態是核心，需要持續更新和優化大模型，並分享最佳實踐，讓更多人了解和使用最新的模型和技術。二是數據集在AI應用生態中非常重要，魔搭的數據集覆蓋了不同領域的不同場景，便於大家更好地使用LIM和其他大模型。三是通過開源版GPTs AgentFabric，用戶可以輕鬆在魔搭上創建和分享自己的應用和想法，促進交流和碰撞。四是雲上算力支持，幫助用戶可以利用資源進行應用開發和相關體驗。五是為開發者提供ModelScope。六是在雲上的環境優化中，雲上Notebook開發的下載速度達到400兆以上，可以提高大模型的體驗。

Byzer社區PMC、Kyligence技術合夥人 祝海林

祝海林在《基於Ray和Byzer，快速構建以大模型為核心的生産級應用》的主題演講上，闡述了Ray是支持傳統語言分佈式編程的分佈式框架，基於 Ray 之上開源的一套幫助企業開發大模型應用開發套件，例如為大模型而生的檢索系統的Byzer-Retrieval、大模型全生命周期管理的Byzer-LLM、應用開發框架Byzer-Agent。其中，相較於缺點較多的傳統的基於大模型的開發模式，Byzer-Agent框架的開發模式呈現出諸多優勢，一是Agent可以充分激活大模型在各領域的潛力，從開發角度也可以更好地進行Prompt管理；二是提供了Agent之間的通訊和存儲，可以方便Agent之間的協作完成用戶需求，並且保留對話信息；三是相比其他Agent框架，Byzer-Agent支持以Agent或者Agent組為粒度實現分佈式，並且每個Agent可以支持不同的模型。

Zilliz開發者生態布道師 李成龍

李成龍在《走進向量數據庫，讓LLMs停止幻覺》的主題演講上表示，針對大語言模型在缺乏領域特定信息、容易産生幻覺、無法獲取最新信息、不變的預訓練數據上的局限性，李成龍提供了四個方面的改進思路，一是建立知識庫以拓展認知邊界，通過Fine-tuning針對專業領域進行訓練；二是使用提示詞工程規定限制，確保模型提供的信息準確可靠；三是利用向量數據庫為大模型建立記憶，及時更新，確保與現實世界保持同步；四是通過RLHF人工糾正再次微調，從知識庫中剔除無效信息，提高模型的準確性和可靠性。同時，李成龍還分享了Zilliz企業級産品Zilliz Cloud的功能架構，核心亮點以及典型應用案例。

中軟國際AIGC研究院平臺部總經理 黃偉聰

黃偉聰在《構建企業級AIGC應用的典型模式和實踐》的主題演講上表示，企業級AIGC應用的結果可信和應用可運營是其成功的關鍵。為了達成這一目標，黃偉聰以一個實際項目為例，闡述了其中的3個步驟，一是採用大模型+PBC這種新的AIGC應用生成範式，通過編排來構建堅實的可運營基礎，降低大模型的不穩定性；二是提升大模型在NL2SQL上的基礎能力，達到基本可用的狀態；三是通過AIGC應用的交互增強，實現用戶可以干預並追蹤整個過程以及生成過程可完整回溯，從而進一步提高應用的可信度。一切都旨在確保AIGC應用不僅高效可靠，還能在實際應用中贏得用戶的信任。

螞蟻集團AI Infra團隊負責人 張科

張科在《螞蟻AI工程實踐分享》的主題演講上表示，目前AI工程的現狀包括模型參數量大、智慧算力需求大以及開源框架多樣化。這些特點為AI工程帶來了巨大的潛力和機遇，同時帶來了新的挑戰，例如模型訓練實驗成本、訓練算力效率、訓練穩定性、推理成本、AI工程技術選型和人力投入等問題。對此，螞蟻AI在工程實踐上做出了四個舉措，一是通過開源大規模智慧分佈式訓練系統DLRover，優化整個訓練流程，提升了系統的效率。二是採用了分佈式推理技術，以應對大規模模型的推理需求。三是使用GLake對訓練推理過程中的顯存和傳輸進行了優化。四是推出了“優化器三部曲”系列，能夠實現AI訓練節約資源、提升泛化、加速收斂等目標。

圓桌對話：

大模型應用開發啟示錄

在圓桌環節，幾位業界翹楚就“大模型應用開發”這一議題，展開了深入而富有洞見的圓桌對話。

主持人：首先，請各位分享一下從自己的經歷或實踐中出發，感受到大模型為開發者帶來了哪些“變”與“不變”？

周文猛：我認為，用戶的根本需求和具體應用場景的問題是始終不變的。然而，變化的是大模型技術的發展速度正在不斷加快，應用開發和創建的節奏也在同步提升。這就要求我們必須具備更加敏捷的思維和行為方式，以適應這種變化。

祝海林：隨着大模型的引入，軟體開發模式經歷了革命性的轉變，從傳統的編程範式演進到與智慧體互動的編程，需要思維方式上的革新。儘管目前大模型的能力尚在成長之中，但我對其未來的發展前景持樂觀態度。在這一切變化之中，唯一不變的真理是軟體決定整個世界。

李成龍：在我看來，數據的核心地位是永恒不變的。無論是傳統軟體開發還是大模型開發，數據都扮演着至關重要的角色。變化主要體現在兩個方面：一是開發方式的轉變，相較於傳統軟體開發，大模型開發的時間周期顯著縮短；二是數據管理的變革，向量數據庫等工具可能變得越來越重要，因為需要提取和利用文本、圖片等更多信息。

黃偉聰：儘管技術不斷演進，但始終不變的是對客戶價值和實際應用場景的深刻理解，以及數據的重要性。變化的方面主要體現在軟體生成的方式上，新一代的軟體生成方式可能與傳統的編碼方法有顯著差異，這要求我們持續探索和創新。

張科：我觀察到三個關鍵方面的變化。一是數據驅動思維，在大模型的應用背景下，開發者必須更加專注於如何為應用産品持續提供高質量的數據，以實現更高級別的智慧化。二是智慧思維，開發者需要採用更智慧化的設計理念和方法，以創造出更加智慧和高效的産品或系統。三是合規性，在大模型使用大量數據的情況下，開發者需要更加注重合規性。

主持人：在“變化”之際，幾位老師有哪些建議？

祝海林：我們需要擁抱新鮮事物，無論AI、大數據浪潮或移動互聯網浪潮如何發展，保持擁抱新鮮事物的態度對開發者很重要。

周文猛：跟上時代變革，最核心的是需要保持較強的學習能力。其次，大模型可以提高工作效率，大家有更多精力關注工作之外的事情。

黃偉聰：首先，以開放的心態擁抱新鮮事物，並整合到日常工作流程中。其次，還需要面向客戶實際需求場景，利用新技術幫助工作。

李成龍：我堅信，大模型具備重塑業務流程的潛力，能夠在提升工作效率和精確度方面發揮關鍵作用。展望未來，我們應該探索如何將傳統工作與大模型相結合，利用大模型來增強業務成效。

主持人：在各位所在的企業中，使用或重新設計基於大模型的應用是否是為主流情況？對於直接在大模型上開發AI原生應用，未來何時可能出現有代表性的突破？

周文猛：魔搭社區採用了基於大模型的Agent技術，這一創新技術已經轉變了人機交互的方式，允許用戶通過自然語言與機器進行溝通，並執行相應的任務。我們已經嘗試將這一技術與商業應用及阿裏雲産品結合，並在Demo中展示了如何通過對話來管理、檢索和分享文件，極大地簡化了人機交互過程，並提供了卓越的用戶體驗。我認為這項技術的成熟度已經達到了80%，而剩餘的20%問題，包括提高大模型的準確度和推理能力，有望在未來一年內得到解決。

祝海林：開發一個AI應用是一個複雜且龐大的工程，目前我們仍有許多改進空間。我們正在積極研究Agent技術，這一領域未來有望得到更廣泛的應用，儘管目前還處於起步階段。我對於大模型技術的突破抱有高度期待，這將極大地減少對人工定義流程的依賴。我相信智慧體代表了技術發展的未來趨勢，因此在技術路線的選擇上，我們應保持獨立思考，不應完全依賴OpenAI的理念。

黃偉聰：儘管我們嘗試了包括GPT-4在內的多種模型，我們依然認為OpenAI的模型在技術上處於領先地位。模型能力的提升對於上層應用的發展潛力有着深遠的影響。在討論Agent的應用時，我們必須從實際落地的角度出發。如果模型的能力足夠強大，那麼産品和工程所需的工作量可以相應減少；反之，我們就必須投入更多的工作來彌補這一差距。

主持人：各位對於正進行或未來計劃從事大模型相關工作的開發者，有什麼經驗分享？

張科：我鼓勵大家敢於想象、創新，共同建立AI和AI Infra的開源生態。

黃偉聰：我覺得可以從三方面出發，一是開發者應勇於嘗試最新技術，積極擁抱GPT等先進模型。二是不斷探索模型能力的邊界，以開放心態適應技術變革。三是提升自身技能，以適應不斷變化的開發環境。

李成龍：我鼓勵大家走出技術舒適區，勇敢地探索和嘗試大模型等前沿技術。同時，我們應當擁抱創新精神，淘汰那些已經過時的技術，積極發掘和利用大模型所帶來的巨大潛力。最後，我希望開發者們能夠勇於實驗新技術，不斷拓寬我們的技術視野和認知邊界。

祝海林：在大模型領域，競爭異常激烈，開發者必須尋找獨特的差異化路徑以脫穎而出。Meta和Google已經通過差異化策略取得了顯著的成功，開發者可以從中吸取寶貴的經驗。例如，開發者可以在開源社區中尋求合作夥伴，共同推動技術創新。在大模型領域，合作與差異化是開發者成功的關鍵。

周文猛：我熱切希望更多的年輕開發者能夠加入魔搭社區，親身體驗最新技術和創意的魅力。中國的開源社區應當堅持合作共贏和差異化的發展理念，我誠摯呼籲開發者們保持開放的心態，與其他開發者攜手合作，共同為技術創新貢獻力量。

大模型應用開發的未來

值得翹首以盼

如今，大模型時代已悄然來臨，其顛覆傳統開發範式的趨勢日益明顯。雖然應用前景廣闊，但尚未完全挖掘其潛力。要真正實現大模型應用開發落地，還需要大量的實踐和探索。

展望未來，2024年將是大模型應用開發繼續嶄露頭角的一年。我們翹首以盼它在各個領域中不斷推陳出新，開拓進取，為人工智慧領域注入新的活力和動力。在這個充滿變革的時代，我們將攜手見證大模型應用開發的輝煌成就，共同開創人工智慧的新篇章。