如果你最近一直在關注英特爾、AMD的新CPU，可能會注意到，無論是酷睿Ultra還是銳龍8000G，爲了迎接AI時代挑戰，都在新的産品中具備了NPU模塊。你可能會問：什麽是 NPU，爲什麽我需要 NPU？

1、神經網絡與神經網絡算法

NPU，是“神經網絡處理單元”的縮寫。因此，要了解NPU，就必須知道什麽是神經網絡，它在AI技術和應用中扮演什麽角色。

神經網絡是一種模仿人腦神經元結構的計算模型，用于識別模式和處理複雜的數據。它由大量的節點（類似于神經元）組成，這些節點通過連接（類似于突觸）相互作用。

人工神經網絡包含被稱爲單元/節點的人工神經元。這些單元排列在一系列層中，共同構成系統中的整個人工神經網絡。一層可以只有十幾個單元，也可以有數百萬個單元，這取決于複雜的神經網絡需要如何學習數據集中的隱藏模式。

通常，人工神經網絡有輸入層、輸出層和隱藏層。輸入層接收神經網絡需要分析或學習的外界數據。然後，這些數據經過一個或多個隱藏層，將輸入轉化爲對輸出層有價值的數據。最後，輸出層以人工神經網絡對輸入數據的響應形式提供輸出。

每個連接都有一個權重，代表信息傳遞的強度。通過這種方式，神經網絡能夠學習和存儲信息，對輸入數據進行分類、識別和預測。

例如，對人腦來說，學習發生在細胞核或體細胞內，體細胞內有一個幫助處理沖動的核。如果沖動的強度足以達到阈值，就會産生動作電位並通過軸突。突觸的可塑性代表了突觸隨著時間的推移隨著其活動的變化而變強或變弱的能力。

而在人工神經網絡中，反向傳播是一種用于學習的技術，它會根據預測結果和實際結果之間的誤差或差異調整節點之間的權重，也就是通過調整網絡中的權重，使得網絡能夠更准確地完成特定的任務，如圖像識別、語音識別和自然語言處理等。深度學習，作爲神經網絡算法的一個重要分支，通過使用多層（深層）的網絡結構，能夠處理更加複雜的數據和任務。

在人工智能領域，尤其是生成式人工智能中，神經網絡和神經網絡算法扮演著至關重要的角色。生成式人工智能指的是能夠創造新內容的AI系統，如自動寫作、繪畫、音樂創作等。這些系統通常依賴于深度神經網絡，通過學習大量的數據樣本，生成新的、類似的真實世界內容。

2、暈了？舉個例子

假設你想教一個AI通過人工神經網絡識別貓，然後向它展示成千上萬張不同的貓的圖片，試圖讓網絡學會識別貓。一旦使用貓的圖像對神經網絡進行了足夠的訓練，就需要檢查它是否能正確識別貓的圖像。

具體做法是讓神經網絡對所提供的圖像進行分類，判斷這些圖像是否爲貓圖像。人工智能網絡獲得的輸出結果將通過人類提供的圖像是否爲貓圖像的描述來證實。如果自動識別網絡識別錯誤，就會使用反向傳播來調整它在訓練過程中學到的知識。

例如，設定學習識別過程中，識別正確貓咪，加1分；錯誤，不得分或者扣分。那麽神經網絡就會通過不同神經元所處理的圖片的信息進行交換，不斷歸納總結出“貓”的形象特點，去掉與貓無關的圖像信息，期待正確識別，獲得高分，以及如何識別得更快，讓得分效率更高，這個過程一直持續到人工神經網絡能以最小的錯誤率正確識別圖像中的貓爲止。

同樣的原理，通過訓練神經網絡，生成式AI可以創作出新的音樂作品、編寫文章或者生成逼真的圖像。神經網絡在生成式AI中的作用是學習和理解數據的內在結構，然後基于這些結構生成新的數據實例。

3、NPU登場

神經網絡處理單元（NPU）是一種專門設計用于加速神經網絡計算的處理器。與傳統的中央處理單元（CPU）和圖形處理單元（GPU）不同，NPU從硬件層面上針對AI計算進行了優化，以提高性能和能效。

NPU的工作原理是利用其專門設計的硬件結構來執行神經網絡算法中的各種數學運算，如矩陣乘法、卷積等。這些運算是神經網絡訓練和推理過程中的核心操作。通過在硬件層面上進行優化，NPU能夠以更低的能耗和更高的效率執行這些操作。

4、NPU與CPU、GPU的不同

CPU是通用處理器，設計用于執行廣泛的計算任務。它具有強大的靈活性和可編程性，但可能在特定任務（如AI計算）上效率不高。

GPU最初設計用于處理圖形和視頻渲染，它擅長處理並行計算任務，因此在AI領域也得到了廣泛應用。然而，GPU並非專門爲AI計算設計，它在處理某些類型的AI任務時可能不如NPU高效。

簡單來說，如下圖，很容易說明三者不同：CPU是線性、串行任務（指令）執行，效率較低，通用性較高；GPU是並行處理和專用圖形並行處理，效率更高；而NPU則是“並行認知處理”，在AI機器學習方面，效率更高。

與CPU和GPU相比，NPU在以下幾個方面具有明顯優勢：

1. **性能**：NPU針對AI計算進行了專門優化，能夠提供更高的計算性能。

2. **能效**：NPU在執行AI任務時，通常比CPU和GPU更加節能。

3. **面積效率**：NPU的設計緊湊，能夠在有限的空間內提供高效的計算能力。

4. **專用硬件加速**：NPU通常包含專門的硬件加速器，如張量加速器和卷積加速器，這些加速器能夠顯著提高AI任務的處理速度。

5、CPU中包含NPU的意義

NPU的出現對于推動人工智能，特別是生成式人工智能的發展具有重要意義。隨著AI應用的不斷增多和深入，對計算資源的需求也在不斷增長。在CPU中包含NPU，提供了一種高效、節能的解決方案，使得AI技術能夠在各種設備上得到廣泛應用，包括智能手機、自動駕駛汽車、智能家居等，可以更大限度解放CPU和GPU的負擔，各司其職。

NPU的高效能和低能耗特性使得AI技術能夠在移動設備上實現實時處理，爲用戶提供更加流暢和自然的交互體驗。此外，NPU還有助于降低AI應用的部署成本，使得更多的企業和開發者能夠利用AI技術創造新的價值。

總之，NPU作爲AI時代的核心技術之一，不僅推動了人工智能技術的進步，也爲各行各業帶來了深遠的影響。隨著NPU技術的不斷進步和優化，我們有理由相信，未來的AI應用將更加智能、高效和普及。