Le déanaí, tháinig ChatGPT ar an láthair te nua do AI, le Microsoft agus Google i Silicon Valley ag infheistiú go mór i dteicneolaíocht den sórt sin (tá sciar $ 10 billiún ag Microsoft in OpenAI, an chuideachta taobh thiar de ChatGPT, agus tá a samhail BARD féin eisithe ag Google le déanaí), agus chuir cuideachtaí teicneolaíochta Idirlín sa tSín, arna ionadú ag Baidu agus daoine eile, in iúl freisin go bhfuil siad ag forbairt teicneolaíochta den sórt sin agus go rachaidh siad beo go luath amach anseo. Sa tSín, chuir Baidu agus cuideachtaí teicneolaíochta Idirlín eile in iúl freisin go bhfuil siad ag forbairt teicneolaíochtaí den sórt sin agus go rachaidh siad beo go luath amach anseo.
Tá gné chomhchoiteann ag na samhlacha giniúna arna léiriú ag ChatGPT, is é sin, úsáideann siad sonraí ollmhóra le haghaidh réamh-oiliúna, agus is minic a péireáiltear iad le múnla teanga níos cumhachtaí. Is í príomhfheidhm na samhla teanga ná foghlaim ón gcorpas ollmhór atá ann cheana féin, agus tar éis na foghlama, is féidir leis treoracha teanga an úsáideora a thuiscint, nó ina theannta sin, aschur téacs ábhartha a ghiniúint de réir threoracha an úsáideora.
Is féidir samhlacha ginideacha a rangú go ginearálta i dhá chatagóir, is samhlacha giniúna teanga-bhunaithe ceann amháin agus samhlacha giniúna íomhá-bhunaithe an ceann eile. Déanann ChatGPT ionadaíocht ar na samhlacha giniúna teanga-bhunaithe, a bhfuil a múnla teanga in ann ní hamháin tuiscint a fháil ar bhrí orduithe úsáideora (m.sh., "dán a scríobh, i stíl Li Bai"), ach freisin téacs ábhartha a ghiniúint bunaithe ar an úsáideoir. orduithe tar éis oiliúna le sonraí ollmhór (sa sampla thuas, scríobh dán i stíl Li Bai). dán). Ciallaíonn sé seo go gcaithfidh múnla mór teanga (LLM) a bheith ag ChatGPT a thuigeann teanga an úsáideora agus atá in ann aschur teanga ardcháilíochta a tháirgeadh - mar shampla, caithfidh an tsamhail tuiscint a fháil ar conas dánta a ghiniúint, conas dánta a ghiniúint i stíl Li Bai. , agus mar sin de. Ciallaíonn sé seo freisin go bhfuil líon an-mhór paraiméadair ag teastáil ó mhúnlaí móra teanga in AI giniúna teanga-bhunaithe chun an cineál foghlama casta seo a dhéanamh agus an oiread sin faisnéise a mheabhrú. Tá 175 billiún paraiméadair ag ChatGPT, mar shampla (700 GB de spás stórála má úsáidtear uimhreacha caighdeánacha snámhphointe), rud a léiríonn cé chomh "mór" atá a mhúnla teanga.
Aicme eile de shamhlacha giniúna is ea an tsamhail giniúna íomhá arna léiriú ag Diffusion, de ghnáth Dalle ó OpenAI, ImaGen ó Google, agus faoi láthair an t-idirleathadh cobhsaí is mó tóir ó Runway AI. Úsáideann na samhlacha giniúna seo atá cosúil le híomhánna múnla teanga freisin chun orduithe teanga an úsáideora a thuiscint agus ansin gineann siad íomhánna ardchaighdeáin bunaithe ar na horduithe sin. Murab ionann agus samhlacha giniúna bunaithe ar theanga, úsáideann an tsamhail teanga a úsáidtear anseo teanga den chuid is mó chun ionchur úsáideora a thuiscint gan aschur teanga a ghiniúint, agus mar sin is féidir líon na bparaiméadar a bheith sách beag (in ord cúpla céad milliún), agus líon na bparaiméadar le haghaidh tá samhlacha idirleathadh íomhá-bhunaithe sách beag, in ord cúpla billiún san iomlán, ach níl an iarracht ríomhaireachtúil beag toisc gur féidir le réiteach na n-íomhánna nó na físeáin a ghintear a bheith an-ard.
Is féidir le samhlacha giniúna aschur ardchaighdeáin gan fasach a tháirgeadh trí oiliúint ollmhór sonraí, agus tá roinnt margaí soiléire iarratais ann cheana féin, lena n-áirítear cuardach, róbónna idirphlé, giniúint íomhá agus eagarthóireacht, etc. Táthar ag súil le níos mó iarratais sa todhchaí, rud a chuireann éileamh ar sceallóga gaolmhara.
An gá atá le sceallóga le haghaidh samhlacha ranga a ghiniúint
Mar a luadh níos luaithe, is samhail ghiniúna é ChatGPT nach mór a fhoghlaim ó mhéideanna móra sonraí oiliúna chun aschur giniúna ardchaighdeáin a bhaint amach. Chun tacú le hoiliúint éifeachtach agus tátal, tá a gcuid riachtanas féin ag samhlacha giniúna maidir le sliseanna gaolmhara.
Is é an chéad cheann an gá atá le ríomh dáilte; Tá líon na bparaiméadar do mhúnlaí giniúna teanga mar ChatGPT sna céadta billiún, agus tá sé beagnach dodhéanta oiliúint agus tátal aon-ríomhaire a úsáid, ach ní mór go leor ríomh dáilte a úsáid. Sa ríomhaireacht dháilte, tá éileamh mór ar an bandaleithead idirnasctha sonraí idir meaisíní agus an sliseanna ríomhaireachta le haghaidh ríomhaireachta dáilte den sórt sin (cosúil le RDMA), mar is minic nach mbíonn bac ar an tasc sa ríomhaireacht, ach san idirnasc sonraí thuas, go háirithe i den chineál seo ar scála mór ríomhaireachta dáilte, tá an sliseanna chun tacú éifeachtach na ríomhaireachta dáilte níos tábhachtaí.
Is é Next an cumas cuimhne agus bandaleithead. Cé go bhfuil oiliúint agus tátal dáilte dosheachanta do mhúnlaí giniúna teanga-bhunaithe, cinnfidh cuimhne áitiúil agus bandaleithead gach sliseanna den chuid is mó éifeachtacht fhorghníomhaithe sliseanna amháin (toisc go n-úsáidtear cuimhne gach sliseanna go dtí an teorainn). Maidir le samhlacha giniúna íomhá-bhunaithe, is féidir na samhlacha (thart ar 20GB) go léir a chur i gcuimhne na sliseanna, ach de réir mar a thagann samhlacha giniúna íomhá-bhunaithe chun cinn níos mó sa todhchaí, is dócha go dtiocfaidh méadú breise ar a riachtanais chuimhne. . Ón dearcadh seo, beidh teicneolaíocht cuimhne ultra-ard-bandaleithead arna léiriú ag HBM mar an rogha dosheachanta do sceallóga luasaire gaolmhara, agus luasóidh na samhlacha giniúna ranga cuimhne HBM freisin chun cumas agus bandaleithead a mhéadú tuilleadh. Chomh maith le HBM, beidh an cumas ag teicneolaíochtaí stórála nua cosúil le CXL in éineacht le leas iomlán a bhaint bogearraí cumas agus feidhmíocht stórála áitiúil a mhéadú in iarratais den sórt sin agus meastar go bhfaighidh siad níos mó uchtaithe tionsclaíochta de bharr ardú an mhúnla aicme giniúna.
Mar fhocal scoir, tá éileamh mór ríomhaireachtúil ar mhúnlaí ranga giniúna teanga-bhunaithe agus íomhá-bhunaithe araon, agus d'fhéadfadh go mbeadh éileamh i bhfad níos airde ar chumhacht uimhríochtúil ar mhúnlaí giniúna bunaithe ar íomhá mar a ghineann siad rúin níos airde agus níos airde agus bogadh i dtreo feidhmchláir físeáin - reatha. tá toirt ríomha de thart ar 20 TFlops ag samhlacha giniúna íomhá príomhshrutha, agus maidir le réiteach ard agus íomhánna, is dócha go mbeidh 100-1000 TFLOPS d’éileamh uimhríochta mar an norm.
Go hachomair, creidimid go n-áirítear le ceanglais mhúnlaí giniúna le haghaidh sceallóga ríomhaireacht dháilte, stóráil agus ríomh, ar féidir a rá go mbaineann gach gné de dhearadh sliseanna, agus níos tábhachtaí fós, conas na ceanglais seo go léir a chomhcheangal ar bhealach réasúnta. a chinntiú nach dtiocfaidh bac ar ghné amháin, rud a thiocfaidh chun bheith ina fhadhb innealtóireachta córas dearadh sliseanna freisin.
GPU agus an sliseanna AI nua, a bhfuil seans níos fearr
Tá éileamh nua ag samhlacha giniúna ar sceallóga. Cé a bhfuil deis níos fearr aige an t-éileamh agus an margadh nua seo a ghabháil le haghaidh GPUanna (arna ionadú ag Nvidia agus AMD) agus sceallóga AI nua (arna ionadú ag Habana, GraphCore)?
Ar an gcéad dul síos, ó thaobh samhlacha giniúna teanga-bhunaithe, tá níos mó buntáistí ag baint le díoltóirí GPU a bhfuil leagan amach iomlán acu ar an gcineál seo éiceolaíochta faoi láthair mar gheall ar an líon ollmhór rannpháirtithe agus an gá atá le tacaíocht mhaith ríomhaireachta dáilte. Is fadhb innealtóireachta córais é seo a éilíonn réiteach iomlán bogearraí agus crua-earraí, agus maidir leis seo, tá Nvidia tar éis a GPUanna a chomhcheangal chun réiteach Triton a sheoladh, a thacaíonn le hoiliúint dháilte agus tátal dáilte, rud a ligeann do mhúnla a roinnt ina ilchodanna agus a phróiseáil. ar GPUanna éagsúla, rud a réitíonn fadhb an iomarca paraiméadair nach féidir le príomhchuimhne GPU amháin freastal orthu. Réitíonn sé seo fadhb an iomarca paraiméadair do phríomhchuimhne GPU amháin. Cibé an n-úsáideann tú Triton go díreach nó an ndéanfaidh tú tuilleadh forbartha ar bhonn Triton sa todhchaí, tá sé níos áisiúla GPU éiceolaíochta iomlán a bheith agat. Ó thaobh ríomhaireachtúil de, ós rud é gurb é príomh-ríomh an mhúnla giniúna teanga-bhunaithe ná ríomh maitrís, arb é neart an GPU, níl buntáiste soiléir ag an sliseanna AI nua thar an GPU ón dearcadh seo.
Ó thaobh na samhlacha giniúna íomhá-bhunaithe, tá líon na bparaiméadar de shamhlacha den sórt sin mór freisin ach 1-2 ordú méide níos lú ná na samhlacha giniúna teanga-bhunaithe, chomh maith lena ríomh a bheidh fós in úsáid i mór. líon na n-áireamh convolutional, mar sin iarratais tátal, más féidir leat a dhéanamh leas iomlán a bhaint an-mhaith, d'fhéadfadh go mbeadh roinnt deiseanna sliseanna AI. Áiríonn an leas iomlán a bhaint as méid mór stórála ar-sliseanna chun freastal ar pharaiméadair agus ar thorthaí ríomha idirmheánacha, le haghaidh convolution agus tacaíocht éifeachtach d'oibríochtaí maitrís.
Go ginearálta, tá an ghlúin reatha de sceallóga AI deartha chun díriú ar mhúnlaí níos lú (líon na bparaiméadar ar an leibhéal billiún, ríomh ag leibhéal 1TOPS), cé go bhfuil an t-éileamh ar mhúnlaí giniúna fós sách níos mó ná an sprioc deartha bunaidh. Tá GPUanna deartha le bheith níos solúbtha ó thaobh costais éifeachtúlachta, agus tá sliseanna AI deartha chun a mhalairt a dhéanamh, ag leanúint le héifeachtúlacht an sprioc-iarratais. Dá bhrí sin, creidimid go mbeidh tionchar fós ag GPUanna ar luasghéarú samhail giniúna den sórt sin sa bhliain nó dhó eile, ach de réir mar a éiríonn dearaí samhail giniúna níos cobhsaí agus go bhfuil am ag dearaí sliseanna AI chun teacht suas le atrialltaí samhail giniúna, tá an deis ag sliseanna AI dul thar GPUanna. i spás na samhla giniúna ó thaobh na héifeachtúlachta de.
