Fanúšikom umelej inteligencie sa ju podarilo spustiť na populárnom zariadení.
DeepSeek, čínsky jazykový model, ktorý nedávno vzbudil pozornosť technologického sveta, sa dostáva aj na menej výkonný hardvér. Komunita Raspberry Pi už experimentuje s nasadením tohto modelu na svoje zariadenia, hoci s obmedzeným výkonom.
DeepSeek vyvolal rozruch po tom, čo sa objavil v rebríčkoch výkonnosti a Microsoft ho pridal medzi podporované modely. Jedným z dôvodov jeho popularity je schopnosť bežať aj na menej výkonnom hardvéri. Raspberry Pi komunita, známa svojou snahou o optimalizáciu pre tieto zariadenia, sa takmer okamžite pustila do práce. Hoci staršia verzia DeepSeek (R1:14b) technicky funguje na Raspberry Pi 5, výkon je zatiaľ slabý - generovanie jedného tokenu (slova) trvá približne sekundu. Napriek tomu ide o zaujímavý pokrok, ktorý by mohol otvoriť dvere novým možnostiam využitia LLM aj pre projekty s obmedzenými zdrojmi. Je otázne, či sa komunite podarí nájsť spôsob, ako výkon DeepSeek na Raspberry Pi výraznejšie zlepšiť.
Zdroj: XDA-Developers,
Zdroj obrázku: Perplexity AI,
Pridať nový komentár