Minne datasi todella päätyy

Kun kehittäjä tai tiimi käyttää koodausagentteja, jokaisen pyynnön mukana kulkee yllättävän paljon: agentille annetut ohjeet, tiedostojen sisällöt ja koodimuutokset. Asiakastyössä nämä ovat lähes kaikki asiakkaan, tai jopa asiakkaan asiakkaan, aineistoa.

Agentti käyttää kielimallia rajapinnan yli, joten kaikki tämä sisältö lähetetään sinne. Useimmiten rajapinta on yhdysvaltalainen, kuten OpenAI tai Anthropic, jolloin aineisto siirtyy Yhdysvaltojen lainsäädännön piiriin.

Pelkkä eurooppalainen konesali ei tätä ratkaise. Yhdysvaltain CLOUD Act ulottuu yhdysvaltalaisten yhtiöiden hallussa olevaan dataan siitä riippumatta, missä palvelin fyysisesti sijaitsee, joten se koskee myös näiden yhtiöiden eurooppalaisia pilvipalveluita. Tämä ei tee niistä käyttökelvottomia, mutta se kannattaa tiedostaa.

Asiakastyössä vaatimukset vaihtelevat sopimuksesta toiseen, ja tiukimmat niistä edellyttävät koodin pysyvän EU:ssa. Sen sijaan että jokaiselle asiakkaalle rakennettaisiin oma ratkaisu, on yksinkertaisempaa rakentaa yksi, joka täyttää tiukimmankin vaatimuksen.

Vuokraamme palvelimen konesalista, joka toimii Suomen ja EU:n lainsäädännön alaisuudessa. Aineisto ei siirry pois omasta ympäristöstämme, eikä sen käsittely ole kiinni siitä, mitä palveluntarjoajan käyttöehdoissa kulloinkin lukee. Suorituskyky riittää tiimimme tarpeisiin hyvin.

Tiedämme mistä sähköstä tokenimme on tehty

Meille on Green ICT -talona tärkeää ymmärtää sekä seurata, minkälaista ympäristökuormaa oma toimintamme aiheuttaa. Koska ajamme kielimallia omalla palvelimellamme, näemme suoraan, paljonko sähköä olemme käyttäneet, ja pystymme laskemaan siitä CO₂-kuorman.

Näytönohjaimemme sijaitsee UpCloudin Helsingin konesalissa. Konesali toimii uusiutuvalla energialla, ja sen hukkalämpö otetaan talteen kaukolämpöverkkoon, joka palvelee noin 28 000 kotia. Suomen sähköverkon päästökerroin on elinkaariperusteisesti noin 54 grammaa CO₂:ta kilowattituntia kohti. Konesalin energiatehokkuusluku (PUE) on noin 1,2, eli jäähdytys ja muut oheistoiminnot lisäävät laitteiston omaan kulutukseen noin 20 prosenttia.

Käytännössä ilman kuormaa kortti ottaa noin 124 W, 192–229 W tavallisessa työkuormassa ja huipussaan pitkäkestoisessa raskaassa käytössä noin 330 W. Valmistajan ilmoittama nimellisteho on 700 W, jota emme ole koskaan lähestyneet. Edellä mainituilla päästö- ja tehokkuusluvuilla laskettuna tekoälyinfrastruktuurimme tuottaa nykykäytöllä 2,7–4,6 kg CO₂:ta kuukaudessa.

Päästöt ovat arvio, eivät mittaustulos. Pidämme sähköverkon päästökertoimen ja konesalin energiatehokkuuden vakiona, vaikka molemmat vaihtelevat tunneittain. Tehonkulutus on mitattu suoraan, siitä johdettu hiililuku ei.

Kaupallista rajapintaa käyttäessämme emme saisi näitä lukuja lainkaan. Palveluntarjoajan vastuullisuusraportti kertoo koko yhtiön päästöistä, ei siitä, paljonko meidän oma käyttömme on kuluttanut. Omalla palvelimella luku koskee meidän työtämme, ei jonkun toisen keskiarvoa.

Mitä omaa konetta ajamalla ei saa?

Oman näytönohjaimen ajaminen ei ole tokenia kohden tehokkaampaa kuin suurilla pilvitoimijoilla, suoraan sanottuna.

Frontier-toimijat täyttävät näytönohjaimensa niin, että tokenikohtainen tehokkuus on maksimissaan. Ne niputtavat tuhansia pyyntöjä samaan ajoon ja pitävät laitteiston lähellä täyttä käyttöastetta. Tähän ei pääse yhtä konetta ajamalla, ei kahdella eikä kolmellakaan. Me ajamme omaamme virka-aikaan yhdelle tiimille, joten hävikkiä syntyy väistämättä: tyhjäkäynnissäkin kortti ottaa 124 wattia.

Tokenikohtaista tehokkuutta emme kuitenkaan tästä hae. Jos se olisi mittari, järkevin vastaus olisi ostaa kapasiteetti suurelta toimijalta. Me haemme sitä, että tiedämme, missä data on ja mistä sähkö tulee, eikä kumpaankaan kysymykseen saa vastausta tokenikohtaisesta luvusta.

Vaatimustenmukaisuus ja kestävyys sivutuotteena

Lähes jokainen raportointivelvoite helpottuu, kun voit osoittaa koneen ja kertoa, minne data menee, mitä siellä tapahtuu ja mitä telemetriaa siellä ei kerätä eikä lähetetä eteenpäin. Henkilötietojen siirtoa koskevat kysymykset yksinkertaistuvat. EU:n tekoälyasetuksen edellyttämällä dokumentaatiolla on selkeä kohde. CSRD-raportointi oman energiankulutuksen osalta nojaa todellisiin mittauksiin toimittajien keskiarvojen sijaan.

Teimme tämän, koska halusimme tietää, minne asiakkaidemme koodi päätyy ja mistä sähkömme tulee. Kaikki muu seurasi näistä kahdesta vastauksesta.

Trail Openersilla autamme organisaatioita suunnittelemaan tekoälyinfrastruktuurin, joka täyttää vastuullisuus- ja vaatimustenmukaisuustarpeet ilman arvailua. Haluatko selvittää, miltä omat tekoälytyökuormasi näyttäisivät omassa hallinnassasi? Ota yhteyttä, niin kartoitamme sen yhdessä.