過去幾年里,Keras 和 PyTorch 日益成為廣受用戶歡迎的兩種深度學習庫,因為它們使用起來比 TensorFlow 簡單多了。 本文將分別對 Keras 和 PyTorch 的四個方面進行比較,你可以根據(jù)兩種框架的優(yōu)劣勢以及自身的需要選擇其中一種。 Keras 于 2015 年 3 月首次發(fā)布,是能夠在 TensorFlow、CNTK、Theano 或 MXNet 上運行的高級 API(或作為 TensorFlow 內(nèi)的 tf.contrib)。Keras 的突出特點在于其易用性,它是迄今為止最容易上手且能夠快速運行的框架。此外,Keras 能夠直觀地定義神經(jīng)網(wǎng)絡,函數(shù)式 API 的使用令用戶可以將層定義為函數(shù)。 PyTorch 于 2016 年 10 月發(fā)布,由 Facebook AI 研究團隊開發(fā),是專注于直接處理數(shù)組表達式的較低級別 API。與 Keras 相比,你能夠擁有更強的靈活度以及對 PyTorch 的控制,同時又不需要進行太多的聲明式編程(declarative programming)。 有時,深度學習從業(yè)者會糾結于應該使用哪一種框架,這通常取決于個人喜好。下面將介紹 Keras 和 PyTorch 的幾個方面對比,你可據(jù)此做出自己的選擇。 定義模型的類 vs 函數(shù) Keras 在定義深度學習模型時提供函數(shù)式 API。通過函數(shù)式 API,神經(jīng)網(wǎng)絡被定義為一組序列函數(shù),然后一個接一個地得到應用。例如,函數(shù)定義層 1 的輸出是函數(shù)定義層 2 的輸入。 在使用 PyTorch 時,用戶將神經(jīng)網(wǎng)絡設置為一個擴展了 Torch 庫中 torch.nn. 模塊的類。與 Keras 類似,PyTorch 為用戶提供作為組件的層,但由于這些層屬于 Python 類,所以它們是類__init__() 方法中的引用,并通過類的 forward() 方法執(zhí)行。 相比而言,PyTorch 能夠令你訪問 Python 的所有類別特征,而不只是簡單的函數(shù)調(diào)用。定義網(wǎng)絡變得更加清晰,而且優(yōu)雅。但如果你認為以最快的速度編寫網(wǎng)絡代碼最為重要,則 Keras 對你來說更加易于使用。 張量和計算圖 vs 標準陣列 對于一般程序員來說,Keras API 會隱藏大量的混亂細節(jié),定義網(wǎng)絡層也非常直觀。因而,你在默認設置下就足以入門。但當你想要實現(xiàn)一個非常先進或「獨特的」模型時,才真正需要深入了解低級和本質(zhì)的 TensorFlow。 但當你真正深入了解低級 TensorFlow 代碼時,就會遇到一些挑戰(zhàn)。你需要確保所有矩陣乘法對齊。更不要想著將層輸出打印出來了,因為你會在終端上打印出一個很好的張量定義(Tensor definition)。 相較于 Keras,PyTorch 在這些方面往往更加寬容。你只需要了解每個層的輸入和輸出大小就可以了,并且 PyTorch 在這一點上做得非常好,你可以快速掌握。你不需要構建抽象的計算圖(其內(nèi)部情況你在調(diào)試時無法看到)。 PyTorch 的另一個優(yōu)點在于其平滑性(smoothness),你可以在 Torch 張量和 Numpy 矩陣之間來回切換。但如果開發(fā)者需要實現(xiàn)一些自定義內(nèi)容,則 TF 張量和 Numpy 矩陣之間的切換可能會很麻煩,這要求他們對 TensorFlow 有一個透徹了解。 實際上,PyTorch 的交互運算更加簡單,兩步即可:將 Torch 張量(變量對象)轉(zhuǎn)換成 Numpy,然后進行反向運算即可。 當然,如果你不需要實現(xiàn)任何獨特的內(nèi)容,則 Keras 也表現(xiàn)的非常好,因為你不會遇到任何 TensorFlow 障礙。但如果想要實現(xiàn)一些獨特的內(nèi)容,則 PyTorch 可能會表現(xiàn)得更加平滑。 訓練模型 開始訓練 利用 Keras 訓練模型超級簡單!只需要一個簡單的.fit(),你就可以開啟模型訓練之旅。 而利用 PyTorch 訓練模型包含以下幾個步驟:
所以,就訓練模型來說,PyTorch 較為繁瑣。 控制 CPU vs GPU 模式
如果你已經(jīng)安裝了 tensorflow-gpu,則在 Keras 中能夠使用 GPU 并且會默認完成。然后,如果你想要將某些運算轉(zhuǎn)移至 CPU,則可以以單行方式完成。 但對于 PyTorch 來說,你必須顯式地為每個 torch 張量和 numpy 變量啟動 GPU。這樣代碼會比較混亂。并且如果你想在 CPU 和 GPU 之間來回移動以執(zhí)行不同運算,則很容易出錯。 例如,為了將之前的模型轉(zhuǎn)移到 GPU 上運行,則需要以下步驟: 因而,Keras 在簡潔性和默認設置方面優(yōu)于 PyTorch。 作者通常建議初學者從 Keras 開始。Keras 絕對是理解和使用起來最簡單的框架,能夠很快地上手運行。你完全不需要擔心 GPU 設置、處理抽象代碼以及其他任何復雜的事情。你甚至可以在不接觸任何 TensorFlow 單行代碼的情況下,實現(xiàn)自定義層和損失函數(shù)。 但如果你開始深度了解到深度網(wǎng)絡的更細粒度層面或者正在實現(xiàn)一些非標準的事情,則 PyTorch 是你的首選庫。使用 PyTorch 需要進行一些額外操作,但這不會減緩你的進程。你依然能夠快速實現(xiàn)、訓練和測試網(wǎng)絡,并享受簡單調(diào)試帶來的額外益處。 參考鏈接:https:///keras-vs-pytorch-for-deep-learning-a013cb63870d 轉(zhuǎn)自機器之心 |
|
來自: LibraryPKU > 《機器學習》