Apple Intelligence的首個版本，同時47頁的### 蘋果自研大模型技術報告重磅發布。
Apple Intelligence首個版本上線了以下AI功能：
1、Siri升級。Siri喚醒後具備螢幕邊緣發光特效，能理解用戶表述不通順的指令，且能回答關於蘋果產品故障解決的相關問題。
2、寫作工具升級。新版iOS提供蘋果的文本生成服務；同時支援AI生成郵件、訊息，語音轉錄摘要等功能。
3、視圖工具升級。該版本提供更智能的圖片搜索及電影回憶製作功能。
仍有不少蘋果在6月發布的AI功能未出現在iOS 18.1開發者測試版，蘋果稱計劃在明年推出，包括：
1、Siri的其他改進，包括個人資訊分析，聯動外部應用執行任務等。
2、圖像視覺生成功能，包括表情符號的生成，以及自動清理照片等視圖相關能力等。
3、OpenAI旗下ChatGPT的整合等。
iPadOS 18.1、macOS Sequoia 15.1也植入了相關Apple Intelligence新功能，不過它們目前都僅向每年支付99美元的註冊蘋果開發者開放。
在今天發布的論文中，蘋果透露了其### 兩款蘋果基礎模型（Apple Foundation Model，簡稱"AFM"）。
論文連結：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf
一個是### 30億參數的端側模型### AFM-on-device，經優化可在iPhone和其他設備上高效運行；另一個是雲端模型### AFM-server，尚未公布模型參數。
報告首次對AFM的### 模型架構、訓練數據、訓練過程、推理優化及評估結果進行了解讀，並提到背後模型的訓練採用的是累計### 10240顆谷歌TPU，而未提及英偉達GPU。
根據論文描述，蘋果自研大模型在### 指令遵循、文本總結方面測試### 超GPT-4。
一、蘋果AI上機首秀：Siri"變身換腦"，寫作一鍵潤色
本次，蘋果iOS 18.1開發者測試版上線的Apple Intelligence功能，主要覆蓋Siri、寫作工具、郵件提要、照片自然語言搜索等方面。
1、整個螢幕閃起光環，Siri變身
Siri的變化首先是新外觀，此前螢幕上出現的圓形光斑，被環繞螢幕的發光燈取代，以表示助手處於活動狀態。
當開發者不想大聲對Siri說話時，開發者可以從語音命令切換到鍵入：雙擊iPhone或iPad螢幕底部即可調出鍵盤，用於輸入Siri查詢和命令。
Siri已經能夠理解多個指令上下文。例如，開發者可以要求Siri創建日程，然後要求創建提醒，而無需重複前面說的話。
2、寫作工具上線，潤色語句、郵件提要
寫作工具是Apple Intelligence的一大賣點，支援開發者就語氣和措辭提出建議，校對文本並總結要點。
錄音轉錄功能也已經可以體驗，在iOS 18.1開發者測試版，語音備忘錄應用程式以及Notes應用已經內置了錄音轉錄功能。
寫作功能既適用於蘋果設備的內置應用程式，也可用於使用標準輸入文本系統的第三方應用程式。
郵件應用現在會智能識別優先郵件，並將在收件匣頂部出現提醒浮窗，以提醒開發者特定的截止日期，或避免忘記一些重要行動事項。
此外，新版本還支援專注模式，稱為"減少干擾（Reduce Interruptions）"，該模式將使用AI識別過濾重要的通知。
3、自然語言交互搜索照片，AI生成短片
開發者已經能夠使用自然語言查找影片和照片。比如查詢"我女兒吃芝士漢堡的照片"，蘋果將提供對應的搜索結果。它應該可以更輕鬆地在影片中找到特定圖像或確切時刻，而無需使用更通用的關鍵字。
新的電影回憶（Movie memories）功能可讓開發者輸入特定提示，使用照片應用中儲存的照片和影片製作電影。
開發者可以輸入自己的提示或使用Apple Intelligence建議的提示詞，獲得智能生成的電影，影片具有明確的章節和主題。
Apple Intelligence這些已上線的功能仍有一些使用限制。
目前，Apple Intelligence僅向每年支付99美元的註冊蘋果開發者開放，包括面向iOS、iPad和Mac的三個版本。開發者需要將設備區域設置為美國，語言設置為美國英語。
此外，此前6月報導曾提到，Apple Intelligence要求設備達到iPhone 15 Pro、iPhone 15 Pro Max或配備M1的iPad和Mac及以上配置。
二、47頁論文解讀蘋果大模型，文本總結等測試超GPT-4
相比於當下各家的AI手機，蘋果自研模型的一大特點，是推出在設備上運行的端側模型。
根據蘋果今日最新發布的論文，該端側模型名為AFM-on-device，包含約30億參數，遠小於OpenAI和Meta等公司模型的千億參數級別。
為了執行更複雜的任務，蘋果也開發了雲端模型AFM-server。雖然具體大小尚未透露，但它旨在使用名為"私有雲計算（Private Cloud Compute）"的系統在蘋果的雲基礎設施中運行，以保護用戶數據。
如下圖所示，AFM-on-device在人類測試中超越了Phi-3-mini、Mistral-7B、Gemma-2B等開源模型，接近Llama-3-8B的水平。
AFM-server在人類測試中超越Llama-3-70B、Mixtral-8x22B、GPT-3.5等閉源模型，接近GPT-4的能力。
同時，在指令遵循方面，AFM-server測試超GPT-4，AFM-on-device則超越了Llama-3-8B、Phi-3-mini等開源模型。