全球首個(gè)完全開源的指令跟隨大模型；T5到GPT-4最全盤點(diǎn)

520jefferson 2023-04-13 發(fā)布于中國(guó)臺(tái)灣

展開全文

1. Dolly 2.0：世界上第一個(gè)完全開源的指令跟隨LLM

兩周前，Databricks發(fā)布了類ChatGPT的大型語(yǔ)言模型 (LLM)Dolly，其訓(xùn)練成本不到 30 美元。今天，他們發(fā)布了 Dolly 2.0，這是業(yè)內(nèi)第一個(gè)開源的指令跟隨LLM，并根據(jù)高質(zhì)量的人類生成的指令數(shù)據(jù)集（15000個(gè)prompt/response pairs）進(jìn)行了微調(diào)。Dolly 2.0 基于EleutherAI pythia模型系列，是一個(gè)具有12B參數(shù)的語(yǔ)言模型。

他們正在完全開源 Dolly 2.0，包括訓(xùn)練代碼、數(shù)據(jù)集和模型權(quán)重，這些都可以商用。這意味著，任何組織都可以創(chuàng)建、擁有和定制強(qiáng)大的 LLM，并且無(wú)需支付 API 訪問(wèn)費(fèi)用或與第三方共享數(shù)據(jù)。

鏈接：
1. https:///databricks；
2. https://www./blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

2. 大型語(yǔ)言模型綜述全新出爐：從T5到GPT-4最全盤點(diǎn)

考慮到 LLMs 的快速技術(shù)進(jìn)步，中國(guó)人民大學(xué)的二十幾位研究者通過(guò)背景知識(shí)、關(guān)鍵發(fā)現(xiàn)和主流技術(shù)等三方面回顧了 LLMs 的最新進(jìn)展，尤其關(guān)注 LLMs 的預(yù)訓(xùn)練、自適應(yīng)調(diào)優(yōu)、使用和能力評(píng)估。此外他們還總結(jié)和開發(fā) LLMs 的可用資源，討論了未來(lái)發(fā)展方向等問(wèn)題。對(duì)于領(lǐng)域內(nèi)研究人員和工程師而言，這份綜述是一份極其有用的學(xué)習(xí)資源。

鏈接：

https://mp.weixin.qq.com/s/7HRr55Md2Wl6EHQMGioumw

3. OpenAI創(chuàng)始人：GPT-4的研究起源和構(gòu)建心法

GPT模型所取得的成就令人艷羨，不過(guò)這建立在OpenAI數(shù)年的技術(shù)探索和堅(jiān)定信念上。作為深度參與了GPT模型從0到1生產(chǎn)過(guò)程，以及推動(dòng)GPT研究和工程落地的主要“幕后推手”，Brockman對(duì)此深有體會(huì)，“它并非試圖像快速致富那樣曇花一現(xiàn)，而是一直在緩慢積累價(jià)值，才有了指數(shù)級(jí)增長(zhǎng)帶來(lái)的巨大回報(bào)。”

鏈接：

https://mp.weixin.qq.com/s/hO1ZdqgOjpA328luobQ9eg

4. ChatGPT作者John Schulman：我們成功的秘密武器

新增的對(duì)話數(shù)據(jù)固然重要，不過(guò)，讓ChatGPT更容易推斷出用戶的意圖，產(chǎn)生質(zhì)變的根本原因是已在InstructGPT使用的“人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）”技術(shù)，OpenAI聯(lián)合創(chuàng)始人、研究科學(xué)家John Schulman認(rèn)為，RLHF才是ChatGPT的秘密武器（secret sauce）。本文中，我們可以看到ChatGPT技術(shù)演進(jìn)的脈絡(luò)和不曾在論文中被描述的細(xì)節(jié)，以及OpenAI團(tuán)隊(duì)的下一步研究方向。

鏈接：

https://mp.weixin.qq.com/s/sDeBYMvAwbJr5_tj7Q20-w

5. 千億參數(shù)開源大模型BLOOM背后的技術(shù)

近年來(lái)，語(yǔ)言模型越訓(xùn)越大已成為常態(tài)。大家通常會(huì)詬病這些大模型本身的信息未被公開以供研究，但很少關(guān)注大模型訓(xùn)練技術(shù)這種背后的知識(shí)。本文旨在以 1760 億參數(shù)的語(yǔ)言模型 BLOOM 為例，闡明訓(xùn)練此類模型背后的軟硬件工程和技術(shù)要點(diǎn)，以促進(jìn)大家對(duì)大模型訓(xùn)練技術(shù)的討論。

鏈接：

https://zhuanlan.zhihu.com/p/615839149

6. 分布式訓(xùn)練的十大常見錯(cuò)誤和解決方案

大型語(yǔ)言模型（LLM）時(shí)代，分布式訓(xùn)練勢(shì)在必行，因?yàn)閿?shù)據(jù)和模型權(quán)重很少能同時(shí)放到一張卡上。然而，ML 中的分布式訓(xùn)練非常復(fù)雜且容易出錯(cuò)，其中隱藏著許多陷阱，可能會(huì)在模型訓(xùn)練過(guò)程中引發(fā)巨大問(wèn)題。本文將介紹分布式模型訓(xùn)練中十個(gè)最常見的錯(cuò)誤，并將針對(duì)每個(gè)錯(cuò)誤提出解決方案。

鏈接：
https:///blog/distributed-training-errors

6.5. AutoGPT太火了，無(wú)需人類插手自主完成任務(wù)

近日，AI 界貌似出現(xiàn)了一種新的趨勢(shì)：自主人工智能。這不是空穴來(lái)風(fēng)，最近一個(gè)名為 AutoGPT 的研究開始走進(jìn)大眾視野。特斯拉前 AI 總監(jiān)、剛剛回歸 OpenAI 的 Andrej Karpathy 也為其大力宣傳，并在推特贊揚(yáng)：「AutoGPT 是 prompt 工程的下一個(gè)前沿?！?br>

鏈接：

https://mp.weixin.qq.com/s/bV1tPc7hNn2z06YOpzyanw

7. 理解大型語(yǔ)言模型（入門閱讀清單）

由于Transformer對(duì)每個(gè)人的研究工作產(chǎn)生了如此大的影響，作者羅列了一個(gè)閱讀清單供機(jī)器學(xué)習(xí)研究人員和從業(yè)者入門LLM。

鏈接：
https:///blog/2023/llm-reading-list.html?

8. 大模型匯總（10億級(jí)參數(shù)規(guī)模以上）

大模型（大型語(yǔ)言模型，LLMs）是當(dāng)下AI和NLP研究與產(chǎn)業(yè)中最重要的方向之一。本文將對(duì)當(dāng)下的主流大模型進(jìn)行總結(jié)。參數(shù)規(guī)模在1B以上的模型視為大模型。

鏈接：
https://zhuanlan.zhihu.com/p/611403556

9. ML系統(tǒng)入門資料整理（tvm&mlir&llvm）

對(duì)于想入門mlsys或者想深入學(xué)習(xí)某種編譯器的開發(fā)者來(lái)說(shuō)，希望這個(gè)資料可以成為不錯(cuò)的起點(diǎn)。

鏈接：
https://zhuanlan.zhihu.com/p/618229430

10. 談?wù)剬?duì)OpenAI Triton的一些理解

Triton應(yīng)該算是筆者看到的基于MLIR編譯技術(shù)路徑實(shí)現(xiàn)，性能和功能均可滿足一部分實(shí)際需求且得到了生產(chǎn)檢驗(yàn)，并且在主流AI加速器上解決了計(jì)算密集算子開發(fā)需求的第一個(gè)開源工作。

鏈接：
https://zhuanlan.zhihu.com/p/613244988

11. mperf：移動(dòng)/嵌入式平臺(tái)算子性能調(diào)優(yōu)利器

在移動(dòng)/嵌入式平臺(tái)，為了最大程度發(fā)揮硬件算力，對(duì)算子極致性能的追求變成必然，不同于桌面/服務(wù)器平臺(tái)，移動(dòng)/嵌入式平臺(tái)在算子性能調(diào)優(yōu)方面可選擇的工具很少。mperf 是一個(gè)微架構(gòu)層次的算子性能調(diào)優(yōu)工具箱，主要面向移動(dòng)/嵌入式平臺(tái)的 CPU/GPU 核心，目標(biāo)是“為構(gòu)建一個(gè)更接近閉環(huán)的算子調(diào)優(yōu)反饋回路”提供系列基礎(chǔ)工具。

鏈接：
https://zhuanlan.zhihu.com/p/610346564

12. 小型Python編譯器項(xiàng)目入門

適合對(duì)編譯優(yōu)化、高性能計(jì)算、GPU編程感興趣，完全零基礎(chǔ)的同學(xué)也沒(méi)問(wèn)題，但是需要熟悉Python編程。

編譯器和測(cè)試部分代碼完全用Python編寫，算子的部分使用cupy的rawKernel功能將cuda代碼編譯成一個(gè)Python函數(shù)。目前已完成了第一個(gè)模塊的代碼部分，共分為5天，每一天的所有代碼加起來(lái)不超過(guò)100行，簡(jiǎn)單易懂。

鏈接：
https://zhuanlan.zhihu.com/p/603352525

13. CUDA編程：常用技巧/方法

不管你是在學(xué)習(xí)CUDA，還是在優(yōu)化算子，掌握一些CUDA編程技巧，能夠提升你的工作效率，甚至找到更優(yōu)解。本文主要是介紹一些常用的技巧/方法，并配上實(shí)踐code，希望對(duì)讀者有所幫助。

鏈接：
https://zhuanlan.zhihu.com/p/584501634

14. NCCL源碼解析①：初始化及ncclUniqueId的產(chǎn)生

NCCL是英偉達(dá)開源的GPU通信庫(kù)，支持集合通信和點(diǎn)對(duì)點(diǎn)通信。

鏈接：

https://mp.weixin.qq.com/s/_SOmkGoo9DblXb8ddyEeaQ

15. 適配PyTorch FX，OneFlow讓量化感知訓(xùn)練更簡(jiǎn)單

OneFlow緊隨其后添加了針對(duì)OneFlow的fx，即One-fx，在安裝One-fx之后，用戶可以直接調(diào)用oneflow.fx，也可以直接通過(guò)import onefx as fx進(jìn)行使用。

鏈接：

https://mp.weixin.qq.com/s/O8yGUuTL-o_gHQV4xez_nQ

16. One-YOLOv5 v1.2.0發(fā)布：支持分類、檢測(cè)、實(shí)例分割

新版本同步了Ultralytics YOLOv5的上游分支v7.0，同時(shí)支持分類、目標(biāo)檢測(cè)、實(shí)例分割任務(wù)；支持flask_rest_api；支持使用 wandb 對(duì)實(shí)驗(yàn)跟蹤和可視化功能；oneflow_hub_support_pilimage；為每個(gè)batch的compute_loss部分減少一次h2d和cpu slice_update操作；優(yōu)化 bbox_iou 函數(shù)和模型滑動(dòng)平均部分，大幅提升訓(xùn)練性能；

兼容FlowFlops，訓(xùn)練時(shí)可以展示模型的FLOPs

鏈接：

https://mp.weixin.qq.com/s/bkEkInaF7Ht7KsdXUFkw-Q

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來(lái)自： 520jefferson > 《機(jī)器學(xué)習(xí)/深度學(xué)習(xí)/tensorflow》

舉報(bào)/認(rèn)領(lǐng)