See, kuidas meeskonnad tarkvara ehitavad, on kiiresti muutumas. Kui veel hiljuti keskenduti peamiselt mudelite suurusele ja toorele võimekusele, siis nüüd joonistuvad selgelt välja kolm praktilist suunda:

  • madala viivitusega kooditööriistad,
  • süvaarutlusele keskendunud mudelid,
  • piisavalt odavad agendid, keda saab päev otsa tööle jätta.

Need ei ole lihtsalt tehnoloogilised uuendused – need muudavad igapäevast töövoogu ja seda, kuidas arendustiimid mõtlevad kiiruse, kvaliteedi ja kulude tasakaalule.

Kui viivitus loeb rohkem kui suurus

Interaktiivses arenduses on kiirus kriitiline. Töö toimub tihedas tsüklis: sina kirjutad, assistent soovitab; sina refaktoreerid, assistent pakub parandusi; sina testid, assistent aitab vea leida.

Sellises rütmis ei ole alati suurim ja võimsaim mudel parim valik. Sageli osutub efektiivsemaks väiksem, kiire vastusega mudel, mis on häälestatud madalale viivitusele.

Oluline ei ole ainult mudel ise, vaid kogu torustik:

  • võrgu latentsus,
  • seansi seadistamine,
  • aeg esimese tokenini,
  • ühenduste püsivus.

Taotluse ja vastuse tee lihtsustamine ning püsivate ühenduste kasutamine võib muuta suhtluse praktiliselt koheseks. Reaalses arendustöös tasub see lähenemine end ära eriti siis, kui töö koosneb paljudest väikestest sammudest, mitte ühest suurest „maratonpäringust”.

Tulemus? Veidi väiksem toore võimekuse tase, aga märkimisväärselt parem voolavus ja produktiivsus.

Riistvara, mis teenib kohesuse tunnet

Suurte kasutajamahtude teenindamisel on üldotstarbelised GPU-d endiselt vaikimisi valik. Kuid nende kõrvale on tekkimas spetsialiseeritud järeldusriistvara, mille eesmärk on pakkuda „kohese tunnetuse” taset.

Näiteks vahvriskaalal kiibid (wafer-scale) pakivad tohutu hulga transistore ühele räniplaadile ning on optimeeritud sirgjoonelise ja kiire järelduse jaoks. Selline arhitektuur sobib eriti hästi olukordadesse, kus iga millisekund loeb – näiteks interaktiivsetes arenduskeskkondades.

Trend liigub segatud arvutuskeskkonna poole:

  • üks riistvara teenindab masskasutust,
  • teine pakub ultra-madala viivitusega kogemust,
  • kolmas on optimeeritud süvaarutluseks.

Eesmärk ei ole üks universaalne lahendus, vaid õige kogemus õiges kontekstis.

Süvaarutlus raskete ülesannete jaoks

Teine selge suund on mudelid, mis on ehitatud mitte vestluseks, vaid arutlemiseks.

Reaalsed probleemid ei tule puhtalt struktureeritud sisendiga. Sageli on:

  • andmed puudulikud,
  • piirangud hägusad,
  • lahendustee ebaselge.

Tavalised mudelid võivad sellistes olukordades kõlada enesekindlalt ka siis, kui nad eksivad. Süvaarutlusele suunatud režiimid kasutavad järelduse ajal rohkem arvutusvõimsust, et:

  • kontrollida vahe-etappe,
  • testida erinevaid lahendusteid,
  • kõrvaldada halvad variandid enne vastamist.

See parandab usaldusväärsust valdkondades, kus väikesed vead maksavad kallilt – näiteks teaduses, inseneritöös ja keerukates tarkvarasüsteemides.

Hea illustratsioon on demod, kus visandist luuakse 3D-prinditav fail. Inimese hägune idee muudetakse struktureeritud arutluse ja koodi kaudu konkreetseks artefaktiks. See on rohkem kui tekst – see on töötav tulemus.

Agendid, kes saavad päev otsa töötada

Kolmas suund on majanduslik.

Agendid ei tööta ühe vastuse loogikaga. Nad:

  • planeerivad,
  • katsetavad,
  • kutsuvad tööriistu,
  • otsivad infot,
  • parandavad oma tulemusi,
  • proovivad uuesti.

Kui iga käivitus on kallis, muutuvad sellised iteratiivsed tsüklid kiiresti ebapraktiliseks. Kuid kui tokeni hind langeb ja läbilaskevõime (tokenid sekundis) kasvab, muutuvad agendid realistlikuks püsiva kasutuse jaoks.

Olulised näitajad on:

  • maksumus tokeni kohta,
  • kiirus,
  • võime töötada suure läbilaskevõimega.

Mõned lahendused sihivad selgelt „odav, kiire, alati sees” strateegiat – avaldatud tokenihindade ja kiirustasemitega. See muudab agendid igapäevaseks tööriistaks, mitte harvaks ja kalliks eksperimendiks.

Kuidas agendid päris töös paremaks muutuvad

Praktika näitab, et tugevdusõppega paljudes keskkondades treenitud agendid käituvad päris töövoogudes mõistlikumalt.

Olulised omadused on:

  • planeerimine enne koodi kirjutamist (funktsioonide ja struktuuri läbimõtlemine),
  • tugev tööriistade kasutus,
  • oskus sirvida, otsida, API-sid kutsuda,
  • konteksti hoidmine pikema protsessi jooksul.

Samuti muutuvad hindamiskriteeriumid. Vähem oluline on see, kas vastus „kõlab õigesti”. Olulisem on:

  • kas ülesanne saab tehtud,
  • kas see tehakse mitmeetapiliselt ja realistlikult,
  • kui palju tokeneid kulub eesmärgini jõudmiseks.

Fookus liigub retoorikalt tulemuslikkusele.

Kolm rada, üks suund

Need kolm suunda viitavad selgele jagunemisele:

  • Kohene, voo-sõbralik abi igapäevaseks arendustööks.
  • Sügav arutlus keerukate ja kõrge riskiga probleemide lahendamiseks.
  • Taskukohased agendid, mis on piisavalt odavad ja kiired, et neid saaks igapäevasesse töövoogu sisse ehitada.

Tarkvaraehituse tulevik ei seisne ühes universaalses mudelis, mis teeb kõike. See seisneb õigete kompromisside valikus – kiiruse, sügavuse ja maksumuse tasakaalus – iga konkreetse ülesande jaoks.

Ja just see kombinatsioon hakkab määrama, millised meeskonnad liiguvad kiiremini, stabiilsemalt ja targemalt edasi.