如果你的人工智能看起來更聰明,那要歸功于更聰明的人類訓練員
早年,要讓人工智能模型(如 ChatGPT或 其競爭對手Cohere)做出類似人類的反應,需要大量低成本員工幫助模型分辨基本事實,如圖像是汽車還是胡蘿卜。但是,在激烈的競爭中,人工智能模型的更新越來越復雜,現在需要一個迅速擴大的人類培訓師網絡,這些培訓師都具有專業知識,從歷史學家到科學家,有些還擁有博士學位。
Cohere 的聯合創始人伊萬·張(Ivan Zhang)在談到公司內部的人工智能培訓師時說 :“一年前,我們還可以雇用本科生,讓他們教人工智能如何改進。現在,我們讓有執照的醫生教模型如何在醫療環境中表現,或者是金融分析師或會計師。”
在更多培訓方面,Cohere 公司與一家名為 Invisible Tech 的初創公司合作,該公司的最新估值超過 50 億美元。 Cohere 是 OpenAI 的主要競爭對手之一,專門為企業提供人工智能服務。
初創公司Invisible Tech雇用了數千名培訓師,他們都是遠程工作,并已成為從AI21到微軟等人工智能公司的主要合作伙伴之一,負責訓練他們的人工智能模型,以減少錯誤(在人工智能領域被稱為幻覺)。
“Invisible 創始人弗朗西斯·佩德拉薩(Francis Pedraza)說:”我們在全球 100 多個國家擁有 5000 名博士、碩士和知識工作專家。
Invisible 的時薪高達 40 美元,具體取決于工人的工作地點和工作的復雜程度。Outlier等一些公司的時薪高達50美元,而另一家名為Labelbox的公司表示,它為量子物理學等 “高精尖 ”學科支付的時薪高達200美元,但為基礎學科支付的起薪為15美元。
Invisible 公司成立于 2015 年,是一家工作流程自動化公司,主要為食品外賣公司DoorDash 等提供外賣菜單數字化服務。但事情發生了變化,2022 年春天,在 ChatGPT 公開發布之前,一家名為 OpenAI 的相對不知名的研究公司聯系了他們。
“OpenAI向我們提出了一個問題,那就是當你向早期版本的ChatGPT提問時,它會產生幻覺。你無法相信它的答案,”Pedraza 告訴記者,“他們需要一個先進的人工智能訓練合作伙伴,在人類反饋的基礎上提供強化學習”。
生成式人工智能根據過去用于訓練它的數據生成新內容。不過,有時它無法區分真假信息,會產生被稱為幻覺的錯誤輸出。一個顯著的例子是,2023 年,谷歌聊天機器人在一個宣傳視頻中分享了關于哪顆衛星首次拍攝到地球太陽系外行星照片的不準確信息。
人工智能公司意識到,幻覺會破壞 GenAI 對企業的吸引力,因此正在嘗試各種方法來減少幻覺,包括使用人類培訓師來教授事實和虛構的概念。
Invisible 表示,自從加入 OpenAI 以來, 它已成為大多數 GenAI 公司的人工智能培訓合作伙伴,其中包括 Cohere、AI21 和微軟。Cohere和AI21確認它們是客戶。微軟沒有確認自己是 Invisible 的客戶。
Pedraza說:”這些公司都面臨著培訓方面的挑戰,它們的首要成本是計算能力,其次才是高質量的培訓。”
它是如何運作的?
OpenAI 掀起了 GenAI 的熱潮,它有一個研究人員團隊,被恰當地命名為 “人類數據團隊”,該團隊與人工智能培訓師合作,收集專門的數據,用于訓練 ChatGPT 等模型。
一位熟悉該公司工作流程的消息人士說,OpenAI 的研究人員與來自 Invisible 和其他供應商的人工智能培訓師合作,提出了各種實驗方案,如減少幻覺或改進寫作風格等。
該人士說,在任何時候,都會有數十個實驗在進行,其中一些使用 OpenAI 開發的工具,另一些則使用供應商的工具。
根據人工智能公司的需求 --從更好地掌握瑞典歷史到進行金融建模--Invisible 會為這些項目聘用擁有相關學位的員工,從而減輕人工智能公司管理數百名培訓師的負擔。
佩德拉薩說:“OpenAI擁有世界上最令人難以置信的計算機科學家,但他們不一定是瑞典歷史、化學問題、生物問題或任何你能問到的問題的專家。”他補充說,僅為OpenAI提供服務的合同工就超過1000人。
Cohere公司的張先生說,他曾親自使用Invisible公司的培訓師,尋找一種方法來教GenAI模型從大數據集中尋找相關信息。
競爭
Scale AI 是這一領域的競爭者之一,它是一家私人初創公司,最新估值為 140 億美元,為人工智能公司提供訓練數據集。它還涉足提供人工智能培訓師的領域,OpenAI 也是它的客戶。 Scale AI 沒有回應本報的采訪請求。
自 2021 年開始盈利的 Invisible 只籌集了 800 萬美元的原始資本。Pedraza 說:”我們 70% 的股份歸團隊所有,只有 30% 的股份歸投資者所有。“我們確實促成了第二輪融資,最近的交易價格是 5 億美元估值。”
人類培訓師最初是通過數據標注工作進入人工智能培訓領域的,這種工作對資質要求較低,報酬也較低,有時低至2美元,大多由非洲和亞洲國家的人完成。
隨著人工智能公司推出更先進的模型,對專業培訓師和數十種語言培訓師的需求也在增加,這就形成了一個高薪的利基市場,來自不同學科的工人甚至不懂代碼就能成為人工智能培訓師。人工智能公司的需求導致更多提供類似服務的公司應運而生。
相關文章
最新評論