Laiendatav GPU-server kohaliku keelemudelite inferentsi ja agentse tehisintellekti jaoks

Kokkuvõte

Fraunhofer SCAI hangib ühe täielikult integreeritud GPU-serveri suurte keelemudelite kohalikuks inferentsiks ning agentse tehisintellekti teadus- ja arendustegevuseks, sealhulgas konfidentsiaalsete tööstus- ja meditsiiniandmete töötlemiseks. Server tarnitakse esialgu nelja NVIDIA H200 NVL GPU-ga ning see peab olema tehniliselt ja tootja poolt heaks kiidetud laiendamiseks kaheksa GPU-ni; täiendavate GPU-de hilisem tarne ei kuulu hankesse. Hange hõlmab ka serveri tarnet ja 36-kuulist riistvarateenust.