Agregue el hecho de que otras empresas tecnológicas, inspiradas en el enfoque de Deepseek, ahora pueden comenzar a construir sus propios modelos de razonamiento de bajo costo similares, y la perspectiva para el consumo de energía es ya mirando Mucho menos rosado.
El ciclo de vida de cualquier maniquí de IA tiene dos fases: entrenamiento e inferencia. La capacitación es el proceso a menudo de meses en el que el maniquí aprende de los datos. El maniquí está dispuesto para la inferencia, lo que ocurre cada vez que cualquiera en el mundo le pregunta poco. Uno y otro generalmente tienen espacio en centros de datos, donde requieren mucha energía para ejecutar chips y servidores frescos.
En el banda de entrenamiento de su maniquí R1, el equipo de Deepseek mejoró lo que se claridad una técnica de “mezcla de expertos”, en la que solo una parte de los miles de millones de parámetros de un maniquí, las “perillas” que usa un maniquí para formar mejores respuestas, se enciende un momento cubo durante el entrenamiento. Más notablemente, mejoraron el estudios de refuerzo, donde se obtienen las panorama de un maniquí y luego se usan para mejorarlo. Esto a menudo lo hacen anotadores humanos, pero el equipo de Deepseek se volvió bueno en Automatizarlo.
La ingreso de una forma de hacer que la capacitación sea más valioso podría sugerir que las compañías de IA utilizarán menos energía para soportar sus modelos de IA a un cierto standard. Sin retención, no es así como funciona.
“Porque el valía de tener un sistema más inteligente es tan suspensión”. escribió El cofundador antrópico Dario Amodei en su blog, “hace que las empresas gasten másno menos, en modelos de entrenamiento “. Si las empresas obtienen más por su caudal, encontrarán que vale la pena utilizarse más y, por lo tanto, usan más energía. “Las ganancias en la eficiencia de rentabilidad terminan completamente dedicadas a capacitar a los modelos más inteligentes, limitados solo por los capital financieros de la compañía”, escribió. Es un ejemplo de lo que se conoce como la paradoja de Jevons.
Pero eso ha sido cierto en el banda del entrenamiento siempre que la carrera de IA haya estado en marcha. La energía requerida para la inferencia es donde las cosas se vuelven más interesantes.
Deepseek está diseñado como un maniquí de razonamiento, lo que significa que está destinado a funcionar adecuadamente en cosas como la deducción, la búsqueda de patrones, las matemáticas y otras tareas con las que los modelos de IA generativos típicos luchan. Los modelos de razonamiento hacen esto usando poco llamado “dependencia de pensamiento”. Permite que el maniquí AI divida su tarea en partes y las trabaje en un orden razonable antiguamente de asistir a su conclusión.
Puedes ver esto con Deepseek. Pregunte si está adecuadamente mentir para proteger los sentimientos de cualquiera, y el maniquí primero aborda la pregunta con utilitarismo, sopesando el adecuadamente inmediato contra el potencial daño futuro. Luego considera la ética kantiana, lo que propone que debe proceder de acuerdo con las máximas que podrían ser leyes universales. Considera estos y otros matices antiguamente de compartir su conclusión. (Encuentra que mentir es “generalmente aceptable en situaciones en las que la bondad y la prevención del daño son primordiales, pero matizados sin decisión universal”, si tienes curiosidad).
