¿Alguna vez se preguntó cuánta electricidad está utilizando cuando se avisas o gracias a un maniquí de IA? El ingeniero de la cara abrazando Julien Delavande lo hizo, por lo que construyó una aparejo para ayudar a montar a la respuesta.
Los modelos de IA consumen energía cada vez que se ejecutan. Se ejecutan en GPU y chips especializados que necesitan mucha energía para aceptar a lado las cargas de trabajo computacionales asociadas a escalera. No es factible precisar el consumo de energía del maniquí, pero es ampliamente esperado Ese uso creciente de tecnologías de IA llevará a las evacuación de electricidad a nuevas staff en los próximos primaveras.
La demanda de más energía para fomentar la IA ha llevado a algunas compañías a perseguir Ambientalmente hostil estrategias. Herramientas como Delavande apuntan a denominar la atención sobre esto, y tal vez dar una pausa de los usuarios de IA.
“Incluso los pequeños ahorros de energía pueden aumentar en millones de consultas: la dilema del maniquí o la largura de salida pueden conducir a un gran impacto ambiental”, los otros creadores de Delavande y los otros creadores de la aparejo escribió en una testimonio.
⚡️ ¿Alguna vez se preguntó cuánta energía se usa cada vez que envía un mensaje a ChatGPT?
Acabamos de construir una traducción de la interfaz de afortunado de chat que muestra cuánta energía consume su mensaje, en tiempo verdadero. ¿Deberían todos los chatbots mostrar esto?
Detalles a continuación 👇👇 pic.twitter.com/tbl0pw51pw
– Delavande Julien (@juliendelavande) 22 de abril de 2025
La aparejo de Delavande está diseñada para funcionar con la interfaz de afortunado de Chat, un front-end de código franco para modelos como Meta’s Lumbre 3.3 70b y Gemma 3 de Google. La aparejo estima el consumo de energía de los mensajes enviados en dirección a y desde un maniquí en tiempo verdadero, informando el consumo en horas de vatio o julios. Todavía compara el uso del maniquí de energía con el de los electrodomésticos comunes, como microondas y LED.
Según la aparejo, solicitar a LLAMA 3.3 70B que escriba un correo electrónico pintoresco usa aproximadamente 0.1841 vatios-hora, equivalente a ejecutar un microondas durante 0.12 segundos o usar una tostadora durante 0.02 segundos.
Vale la pena recapacitar que las estimaciones de la aparejo son solo eso: estimaciones. Delavande no afirma que sean increíblemente precisos. Aún así, sirven como un recordatorio de que todo, incluido los chatbots, tiene un costo.
“Con proyectos como la puntuación de energía de IA y la investigación más amplia sobre la huella de energía de la IA, estamos presionando por la transparencia en la comunidad de código franco. ¡Algún día, el uso de energía podría ser tan visible como las etiquetas nutricionales en los alimentos!” Delavande y sus cocreadores escribieron.
(TagStotranslate) Open Source
