在去年年中和年末，微軟分別推出了 Phi-1襟雷、Phi-2 輕量級語言模型刃滓，這類模型主要為簡單任務(wù)處理設(shè)計(jì)，具有使用簡單耸弄、尺寸小等特性咧虎。

4 月 23 日，微軟又帶來了新一代 Phi-3 系列计呈。

此次發(fā)布的 Phi-3 系列砰诵，有 Phi-3-mini（3.8B）、Phi-3-small（7B）捌显、Phi-3-medium（14B）不同版本茁彭。

微軟強(qiáng)調(diào)，Phi-3 系列雖然訓(xùn)練參數(shù)較少扶歪，但在語言理解理肺、推理、數(shù)學(xué)等能力上，不弱于更大尺寸模型妹萨。

據(jù)微軟公布的數(shù)據(jù)贪薪，Phi-3-mini 綜合能力，超過了 Google Gemma-7B眠副、Mistral-7B画切，而 Phi-3-small 與 Phi-3-medium，甚至超過了 Mixtral 8x7B囱怕、Claude-3 Sonnet 與 GPT-3.5霍弹。

△ 圖源：微軟

Phi-3-mini 則是該系列率先發(fā)布的版本，Phi-3-small娃弓、Phi-3-medium 也將在不久后開放典格。

Phi-3-mini 具有小巧、易用台丛、跨平臺的特點(diǎn)耍缴，38 億參數(shù)語言模型，可以適用于端側(cè)運(yùn)行挽霉，如筆電防嗡、手機(jī)。

此外侠坎，Phi-3-mini 經(jīng)過微軟推理框架 ONNX Runtime 優(yōu)化蚁趁，可支持 DirectML，對 CPU实胸、GPU他嫡、移動硬件的跨平臺支持。并且庐完，Phi-3-mini 也為 Nvidia GPU 做了優(yōu)化钢属，可作為 Nvidia NIM 推理微服務(wù)，以標(biāo)準(zhǔn) API 執(zhí)行门躯。

Phi-3-mini 有兩種上下文長度變體 4K 和 128K token淆党，經(jīng)過訓(xùn)練，可以遵循不同類型的指令生音，理解用戶的意圖宁否。

△ 圖源：微軟

微軟表示，Phi-3-mini 還是同尺寸模型中缀遍，首個能支持 128K token 的 SLM慕匠。

目前 Phi-3-mini 已在 Microsoft Azure AI Studio、Hugging Face 和 輕量框架 Ollama 上使用域醇。

△ 圖源：huggingface

印度農(nóng)業(yè)集團(tuán) ITC 以 Copilot 開發(fā)的 AI 應(yīng)用台谊，將部署 Phi-3蓉媳，更好地服務(wù)當(dāng)?shù)剞r(nóng)民。

而 AI PC 顯然會是 Phi-3 施展的重要戰(zhàn)場锅铅，下月的 Build 大會上酪呻，或許我們就將能見到新東西。

另一邊盐须，蘋果最近在 AI 開源平臺 Hugging Face 上發(fā)布了開源訓(xùn)練推理語言模型 OpenELM玩荠。

△ 圖源：huggingface

OpenELM 也定位為小語言模型，共有 4 個尺寸：2.7 億贼邓、4.5 億阶冈、11 億和 30 億個參數(shù)，提供生成文本塑径、代碼女坑、翻譯、總結(jié)摘要等功能统舀。

雖然最小的參數(shù)只有 2.7 億匆骗，但蘋果使用了包括 RefinedWeb、PILE誉简、RedPajama 子集和 Dolma v1.6 子集在內(nèi)的公共資料集碉就，一共約 1.8 萬億 token 資料進(jìn)行了預(yù)訓(xùn)練 ，采用了CoreNet 作為訓(xùn)練框架描融，并使用了 Adam 優(yōu)化演算法進(jìn)行了 35 萬次迭代訓(xùn)練铝噩。

訓(xùn)練參數(shù)小衡蚂，但性能可能并不弱窿克。

其中公布的數(shù)據(jù)顯示，11 億參數(shù)的 OpenELM 比 12 億參數(shù)的 OLMo 模型的準(zhǔn)確率高出 2.36%毛甲，而使用的預(yù)訓(xùn)練資料卻只有 OLMo 的一半年叮。

△ 圖源：buzzbyte

同時，蘋果還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫的編碼玻募，以方便其在蘋果設(shè)備上推理和調(diào)整只损。

蘋果開發(fā)團(tuán)隊(duì)表示：

此次 OpenELM 發(fā)布旨在增強(qiáng)和鞏固開放社區(qū)，為未來工作鋪平道路七咧。

早在今年 2 月跃惫，庫克就曾表示，蘋果生成式 AI 功能將于「今年稍后」推出艾栋。而有消息稱爆存，將在 6 月舉辦的 WWDC 24 上發(fā)布的 iOS 18，有可能成為 iOS 史上 「最大」更新蝗砾，9 月還將推出首款 AI iPhone先较。

如今携冤，蘋果似乎也在 AI 手機(jī)的尾聲，追趕上了行業(yè)腳步闲勺。

主筆：達(dá)達(dá) / 深圳灣

編輯：陳述 / 深圳灣

題圖來源：buzzbyte