PyTorch 1.9強化分散式訓練和科學運算支援

由臉書發起的開源深度學習框架,現在釋出最新1.9版本,自1.8版本以來,由398位貢獻者發出3,400次程式碼提交完成,該框架發展迅速,這次的更新內容也是相當豐富,包括大幅改進對科學運算的支援外,還加入新的行動直譯器,來改善行動裝置上的二元檔大小,並且強化GPU大規模分散式訓練的支援。

這次更新的科學運算前端API,包括穩定版本的torch.linalg、Complex Autograd和測試版的torch.special。由於線性代數是深度學習和科學運算中,不可或缺的工具,因此官方加入了torch.linalg模組,來擴展了PyTorch對線性代數的支援,該模組實作了NumPy中線性代數的所有函式,因此對於原本就熟悉NumPy的開發者,可以快速上手。

Complex Autograd在PyTorch 1.8的時候,就以測試版本加入,現在已經進入穩定階段,自測試版以來,官方已經為98%的運算子加入Complex Autograd的支援。Complex Autograd能自動計算複雜梯度,並且最佳化實值(Real Valued)損失函式,能夠對PyTorch下游專案包括TorchAudio、ESPNet、Asteroid和FastMRI,提供更好的運算支援。還在測試階段的torch.special,則類似SciPy特殊模組,該模組包含許多科學運算和好用的函式。

行動裝置部分的改進,最大的亮點在於加入了測試版行動直譯器,這是PyTorch Runtime的輕量版本,可在邊緣裝置執行PyTorch程式,並且大幅縮減二元檔案大小。官方提到,行動直譯器是眾所期待的功能,目前在Android中使用MobileNetV2的pt格式檔案,在未壓縮前17.8 MB,壓縮後是8.6 MB,而透過使用行動直譯器,未壓縮檔案大小會是8 MB,壓縮後會落在4 MB左右。

5噸電動堆高機 & 2噸立式堆高機

不想忍受柴油堆高機帶來的廢氣汙染,電動堆高機將會是很好的選擇

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

示波器鮮為人知的使用技巧?

一個典型的示波器通常是盒狀螢幕,有多個輸入連接,示波器至少包括探頭、顯示器和控制面板三部分

貨櫃屋改裝後可應用在哪些地方呢?

金誠貨櫃屋裝潢,可依客戶需求設計,不論是渡假屋、含廁所小套房、檳榔攤、警衛室、小吃店、展示間、辦公室、工具材料間、車庫,皆可依顧客需求搭配設計

在分散式訓練套件方面,TorchElastic終於成為PyTorch核心的一部分,TorchElastic已經在GitHub pytorch/elastic儲存庫中開源一年多,現在終於正式進入PyTorch核心。TorchElastic的核心功能便是能夠有彈性地處理縮放事件,可以說是PyTorch工作程序的執行器和協調器,並且能讓用戶使用先占式執行個體,進行分散式訓練。

除了TorchElastic,分散式訓練更新還包括在RPC(Remote Procedure Call)中提供CUDA支援,官方提到,與CPU RPC和通用RPC框架相比,CUDA RPC是一個更具效率的P2P張量通訊方法,甚至可實現CPU RPC的34倍速。CUDA RPC建立在TensorPipe上,可以根據Tensor裝置類型和通道可用性,自動替每個張量選擇通訊通道。

PyTorch 1.9加入了新的模型打包方法,開發者使用torch.package就能夠以自包含且穩定的格式,打包PyTorch模型,模型包中會包含參數等模型資料,以及模型架構程式碼。官方提到,用torch.package可以完整打包模型的相依項目,並且加入帶有Conda環境的描述檔,能簡單地重現訓練工作負載。

https://www.ithome.com.tw/news/145086

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

塑膠射出成型加工商品有哪些?

塑膠粒預熱進料 : 將塑膠粒放入漏斗中,並且加溫預熱。可以乾燥塑膠粒並節省熔化時間

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

work_outlinePosted in 工業