2024/01/31

面試官 : 你知道 GPT 全名怎麼拼嗎? AI 術語之說明和解析

面試官 : 你知道 GPT 全名怎麼拼嗎? 這問題你回答的出來嗎? 

本文章從像撥洋蔥一樣從最層開始，一層層從 AI 到 machine learning 機器學習， 到 generative AI 生成式AI，到 LLMs 大型語言模組，最後最後到我們最熟悉的 chatGPT 做說明。

找了很多實際範例和應用，包括如何分辨柯基和吐司、已在 15 個國家 AI 可協助放射科醫生判斷，可以更有感目前身邊哪些任務已經被 AI 化了。





在研讀 AI 相關資訊時，我常常卡在一個知道名詞，但是該技術是屬於哪個領域時感到困惑，最多就是看到說 artificial Intelligence 包含 machine learning，machine learning 包括 deep learning，直到我不停地翻資料後，看到這張由 Tobias Zwingmann 發表的分類法，真的是感覺如獲至寶。

可以先看一下上圖稍微有個概念後，我就會從最外層的概念一路往內介紹；或是先下載好圖片，一邊對照圖片一邊看會更清楚。



一、Artificial Intelligence，AI (人工智慧)


一個較為廣泛的概念，主要是為創造能夠像人類一樣思考和行動的機器，目的在執行需要人類智慧的任務，例如解決問題、模式識別、學習和決策，製造出能夠以最少的人工干預來執行任務的機器。





二、Strong AI (AGI) and Narrow AI (強人工智慧和弱人工智慧)




這邊為什麼要講 strong  AI  (強人工智慧) 和 narrow AI (弱人工智慧) 呢? 因為看上圖可以知道，接下來要講到的 maching learning (機器學習) 是屬於 narrow AI，所以這邊先稍微介紹一下。


Strong AI  (強人工智慧)
也被稱為人工通用智慧 (AGI)，目的在創造具有類似人類智慧的機器，包括具有自我意識、解決問題的能力，以及在無需人類干預的情況下執行各種任務的能力。

Narrow AI (弱人工智慧)
也被稱為狹義人工智慧，目的在一定範疇內執行特定任務，被創建來解決特定問題，無法具備一般智慧。

Strong AI 和 narrow AI 主要區別在於一個目的是複製類似人類的認知能力，一個則是專注於解決特定任務。







三、Machine Learning，ML (機器學習)

3.1 Supervised Learning (監督式學習)


現在應該很少人不收 email 吧? 然而個資外洩，因而收到一堆廣告、垃圾、詐騙郵件真的很令人困擾，但透過標記垃圾郵件和非垃圾郵件訓練，就可以預測傳入的電子郵件是否為垃圾郵件，從而幫助過濾你不需要的郵件，這就是 supervised learning (監督學習) 的其中一種應用。

在這種方法中，數據已預先被 labeled (標記)，而每個訓練樣本 (可以是圖片或文字) 都包含輸入和相對應的期望輸出。如上圖所示，我的輸入假設是番茄，那相對應標記就是 tomato，相對應的期望輸出就是我丟一個未標籤的番茄後，該模型最後可以精確判斷出這是番茄 tomato。


而該方法又分為使用 regression (迴歸) 和 classification (分類) 分析 : 

當預測的目標為連續的數值稱為 regression；如預測房屋價格、預測股價、預測體重、預測購買機率等。


當預測的目標為離散的稱為 classification；如照片的動物上是否是隻狗、腫瘤是否為惡性等等。


在訓練過程中模型的參數逐漸調整，以最小化預測輸出與實際標籤之間的差距，訓練完成後，模型根據先前學到的對應關係，便能對新的、未見過的輸入數據進行預測。







3.2 Semi-Supervised Learning (半監督式學習)


我們先來提一下錢，有沒有突然從這一系列的名詞解釋中振奮一下? Semi-supervised learning (半監督學習) 已經廣泛用於偵測詐欺、保險詐欺、貸款申請欺詐、洗錢等。

如 MasterCard 用其來追蹤和處理交易規模、位置、時間、設備和購買資料等變數，系統對每一次操作的帳戶行為進行評估，即時判斷交易是否有詐欺行為。

金融科技公司 Feedzai 聲稱該方法可以偵測高達 95% 的詐欺行為，並最大限度的降低手動核對成本，目前手動核對成本佔詐欺支出的 25%。

法國前四十大企業管理顧問公司 Capgemini 則聲稱，使用此系統可將詐欺調查時間縮短 70%，並將偵測準確性提高 90%。


在 semi-supervised learning 中，訓練數據分為兩部分 : 少量標記數據和更多的未標記數據，利用標記數據作為輸入，對未標記數據進行推斷。比如我標記哪些案例為詐欺，然後讓該系統幫我判斷，其他沒有標記的數據哪些可能有詐欺嫌疑。

這種方法受到越來越多的關注，因 semi-supervised learning 消除了對大量標記數據的需求，相對於 supervised learning 更具成本效益，適用於處理大量數據的企業。







3.3 Unsupervised Learning (非監督式學習)




在用 Amazon 購物的時候，我都很希望推薦系統出包推薦我奇怪的組合。

Unsupervised learning (非監督學習) 在 Amazon 的 frequently bought together 就是一個很好的例子，為了制訂更有效的追加銷售和交叉銷售策略，會根據你觀看的商品和購物車中特定商品的出現頻率提供產品建議。

比如說，如果你在 Amazon 搜尋貓屋，你可能會被推薦購買貓碗或貓玩具，因為演算法計算出其他顧客經常連同這些產品一起購買。

Unsupervised Learning (非監督學習) 和前兩個學習不一樣，是完全沒有標記數據的，所以是從處理大量未標記數據中，自我學習到內在的結構或規律，也有可能發現人類沒發現的隱藏結構。







3.4  Reinforcement Learning (強化學習)


這是 Boston Dynamics 公司有運用 reinforcement learning 演算法製作出的機器人


在 reinforcement learning (強化學習)中，模型在沒有訓練數據的情況下，通過與環境的交互學習，根據環境的回饋不斷調整其行為，從其錯誤中學習，逐漸選擇通往最佳解決方案或最大獎勵的動作。

如控制機器人行走，模型通過嘗試不同的行動並根據環境給予的獎勵來學習最佳的行走策略。





四、Deep Learning，DL (深度學習)


好多的吐司，不，裡面還有些柯基犬! 有時候人類第一眼都會混淆的照片，deep learning (深度學習) 卻最適合用來做影像辨識，或任何可以轉換為視覺格式的數據。

Deep learning 可用於醫學診斷，如乳癌、皮膚癌、肺癌、糖尿病視網膜病變篩檢等。如利用 DeepMind 的深度學習模型將英國放射科醫生的平均正確率提高了11.5%，並顯著減少了第二位檢查者的工作量。

Transpara by ScreenPoint Medical 的深度學習演算法經過超過一百萬張乳房 X 光檢查的訓練後，可協助放射科醫師分析 2D 和 3D 乳房 X 光檢查，該解決方案已在美國、法國和土耳其等 15 個國家/地區使用。

Deep learning 基於 artificial neural network (人工神經網路)，這是一種模擬人類大腦運作方式的系統。Deep learning 或 neural networks 由多層相互連接的神經元建構，允許多個系統同時工作。

Deep learning 常用在圖像識別、語音識別和 NLP (自然語言處理)，在於處理複雜問題和龐大數據時，deep learning 通常表現優於其他機器學習。






五、Generative AI (生成式 AI)


Generative AI 或稱生成式人工智慧，指的是能夠創造新內容，如文字、圖片、音樂和影片的人工智慧技術。這些系統基於深度學習模型，可以根據訓練的數據生成高品質的內容。

這邊還要提到一下 diffusion Model (擴散模型) 和 GANs (生成對抗網路)，都是我們平常在生成 AI 圖片時會用到的。





5.1 Diffusion Model (擴散模型)

透過 forward diffusion 過一系列步驟添加噪音、training 學習正向擴散過程中添加的噪聲如何改變數據，繪製從原始數據到噪音版本的過程，最後經由 reverse diffusion 嘗試去除噪音以恢復原始數據，通過在這個相反方向沿著序列追溯步驟，模型可以生成類似原始數據的新數據。




5.2 GANs (生成對抗網路)

GANs 的敵對性質源於博弈理論，是利用 generator neural network (神經網路生成器) 和 discriminator neural network (判別器) 互相競爭。Generator 的目標是製造出與真實數據難以區分的虛假樣本，而 discriminator 則努力準確辨識樣本是真實還是虛假，這場持續進行的競爭確保兩個網路不斷學習和改進。


Diffusion Model 和 GANs 之後會在 AI 圖片生成原理文章中會有更詳細的介紹，這邊先稍微有個觀念就好。






六、Large Language Models，LLMs (大型語言模型)


Large Language Models (大型語言模型) 通過在大量數據上進行訓練，來分析並學習句詞間的關係與涵義。


以下是一些流行的  LLM：
  • GPT-3 (Generative Pre-Trained Transformer 3)：由 OpenAI 開發
  • PaLM (Pattern Learning Model)：由 Perplexity 開發
  • LLAMA (Language Model for Many Applications)：由 Perplexity 開發
  • BERT (Bidirectional Encoder Representations from Transformers)：由 Google 開發
  • Gemini：由 Google DeepMind 開發
  • Vertex AI (Google Cloud Vertex AI)：Google Cloud 提供的一個 AI 平台
  • Amazon LLM (Amazon Large Language Model)：Amazon 提供的大語言模型





題外話，上面有提到 Perplexity，跟 chatGPT 一樣是個是一個基於 AI 聊天的會話搜尋引擎。但相比起來，Perplexity 給出答案後，會顯示相關圖片、文章、影片，甚至於還有相關提問，如上圖所示。





七、Generative Pre-Trained Transformers (GPT)


Generative pre-trained transformers (生成型預訓練變換模型) 就是我們一直在講的 GPT 的全名；在大量的未標記的數據進行預訓練，使它們能夠生成新的類似人類撰寫的內容。

主要特點包括：
  • Pre-training：GPT 經由大量且多樣化資料數據，如書籍、文章和網頁進行訓練
  • Fine-tuning：在 pre-training 後，模型通過在特定語言任務上添加特定於任務的輸出層並微調在特定任務數據集上的表現
  • Transformer Architecture：使用 self-attention (自注意力機制) 來關注輸入的不同部分並猜測接下來的詞，相對於傳統的 recurrent neural networks (循環神經網路)更具並行性和效率


那看到這邊，可能會問 : LLMs 和 GPT 的差別是什麼?
LLMs 的應用範圍更廣泛，可以包括各種大小和結構的模型，並不一定遵從特定的結構或參數配置；而 GPT 的主要目的是通過預訓練和微調，成為執行特定語言任務的模型，主要用於自然語言處理，文本生成，問答系統等特定任務。

所以 LLMs 包括 GPT，還有其他模型像是 BERT、PaLM 等等。






八、ChatGPT or Others


前面鋪陳這麼多，這邊終於要開始講到最常聽到的 chatGPT 了。

如同前述 GPT 是一種通用的語言生成模型，訓練用於處理和生成自然語言文本。

而 ChatGPT 是基於其上設計，目的是進行對話生成，專注於生成有意義、上下文相關的對話內容，使其更適合用於模擬對話和回答問題。

整體來說，GPT 是語言生成模型，而 ChatGPT 專注於優化對話生成，兩者都擁有相似的基礎架構，但在設計和使用情境上有一些區別。

另外類似 ChatGPT 的還有 Meta 的 BlenderBot、Microsoft 的 DialoGPT、Google 的 Meena 等。






九、References



--
相關文章 : 
By -
Tags , , , , , , , ,

沒有留言:

張貼留言

注意：只有此網誌的成員可以留言。

訂閱： 張貼留言 (Atom)