ComfyUI és un programa d'intel·ligència artificial de codi obert i gratuït basat en nodes que permet als usuaris generar imatges a partir d'una sèrie de paraules o frases de text (prompts en la seva denominació anglesa més corrent). Utilitza models de difusió lliure, principalment Stable Diffusion, com a model base per a les seves capacitats d'imatge combinat amb altres eines com ara ControlNet i Adaptació de baix rang LCM, amb cada eina representada per un node del graf del programa. Es tracta d'una interfície d'usuari amigable que facilita la formació de fluxos de treball (workflows, o algoritmes) per a la creació d'imatges.
Història ComfyUI es va publicar a GitHub el gener de 2023. Segons comfyanonymous, el seu creador, un dels principals objectius del projecte era millorar els dissenys de programari existents pel que fa a la interfície d'usuari, i d'aquí el seu nom en anglès, que significa “interfície d'usuari còmoda”. El creador havia estat involucrat amb Stability AI, però el 3 de juny de 2024 aquesta relació va acabar i va crear-se una organització anomenada Comfy Org juntament amb els desenvolupadors principals.
El juliol de 2024, Nvidia va anunciar la compatibilitat amb ComfyUI dins del seu programari de modificació RTX Remix. L'agost de 2024 es va afegir suport per al model de difusió Flux desenvolupat per Black Forest Labs, i Comfy Org es va unir a la Iniciativa de Models Oberts creada per la Fundació Linux. A novembre de 2024, el projecte tenia 58.600 estrelles a GitHub. ComfyUI és una de les interfícies d'usuari més populars per a Stable Diffusion, juntament amb Automatic1111.
Característiques La característica principal de ComfyUI és que es basa en nodes. Cada node té una funció com ara "carregar un model" o "escriure un prompt". Els nodes estan connectats per formar un gràfic de flux de control anomenat flux de treball (workflow). Quan un prompt es posa en cua, apareix un marc ressaltat al voltant del node que s'està executant en el moment, començant des del "load checkpoint” (punt de control de càrrega) i acabant amb la imatge final i la seva ubicació de desament.
Els fluxos de treball solen constar de desenes de nodes, formant un graf acíclic dirigit complex. Els tipus de nodes inclouen la càrrega d'un model, l'especificació de prompts, mostrejadors, planificadors, descodificadors VAE, restauració facial i models d'augment d'escala, LoRA, incrustacions i ControlNets.
S'admeten diversos mostrejadors, com ara Euler, Euler_a, dpmpp_2m_sde i dpmpp_3m_sde. Els fluxos de treball es poden desar en un fitxer, cosa que permet als usuaris reutilitzar els fluxos de treball dels nodes i compartir-los amb altres usuaris. El format de fitxer per als fluxos de treball és en JSON i es pot incrustar a les imatges generades.
Al ser de codi obert, hi ha usuaris que han creat extensions personalitzades per al sistema base que s'exposen com a nous nodes, com ara l'extensió per a AnimateDiff, que té com a objectiu crear vídeos. ComfyUI s'ha descrit com més complex i complet en comparació amb altres interfícies d'usuari de difusió com ara Automatic1111. El programa també inclou un grup de nodes per defecte. A desembre de 2024 hi havia 1.674 nodes compatibles. ComfyUI admet diversos models de text a imatge, com ara Stable Diffusion, Flux i Hunyuan-DiT de Tencent, així com models personalitzats de Civitai com ara Pony.
Compromís de l'extensió de LLMVision El juny de 2024, un grup de pirates informàtics anomenat "Nullbulge" va comprometre una extensió de ComfyUI per afegir-hi codi maliciós. L'extensió compromesa, anomenada ComfyUI_LLMVISION, s'utilitzava per integrar la interfície amb els models de llenguatge d'IA GPT-4 i Claude 3, i estava allotjada a GitHub. Nullbulge allotjava una llista de centenars de dades d'inici de sessió d'usuaris de ComfyUI a través de diversos serveis al seu lloc web, mentre que els usuaris de l'extensió van informar que havien rebut nombroses notificacions d'inici de sessió. L'usuari vpnMentor va dur a terme una investigació de seguretat sobre l'extensió i va afirmar que podia "robar moneders criptogràfics, fer captures de pantalla de la pantalla de l'usuari, exposar informació del dispositiu i adreces IP, i robar fitxers que contenen determinades paraules clau o extensions".
El lloc web de Nullbulge afirma que van atacar usuaris que van cometre "un dels nostres pecats", que incloïa la generació d'art basat en IA, el robatori d'art, la promoció de criptomonedes i qualsevol altre tipus de robatori d'artistes, com ara des de Patreon. Afirmaven que eren "un col·lectiu d'individus que creuen en la importància de protegir els drets dels artistes i garantir una compensació justa pel seu treball" i que creien que "les obres d'art generades per IA són perjudicials per a la indústria creativa i s'han de desincentivar".
Referències
Categoria:Intel·ligència artificial Categoria:Programari lliure