Resultados.
Modelos pequeños que se ejecutan donde están tus datos. El código es abierto en github.com/inertialabsxyz/fornace. Los artículos están en inglés.
-
Un planificador reduce el primer token más lento de 8 peticiones de un agente a Qwen2 sobre Metal de 8,3 s a 0,9 s, y duplica los tokens por segundo en BF16
Con batching continuo, las peticiones entran y salen de un mismo lote, y el primer token típico llega en 180 a 240 ms. llama.cpp aún da de 1,6 a 1,9 veces los tokens por segundo, porque los kernels de multiplicación de matrices de Candle cuestan unos 12 ms por paso para 2 a 8 filas.
-
Con 8 peticiones a la vez de un agente, llama.cpp da 2,5 veces los tokens por segundo de Fornace sobre Metal; con una sola petición, solo es 1,1 veces más rápido
Fornace, llama.cpp y mistral.rs en un mismo Mac, con los mismos pesos y un mismo cliente HTTP. Con una petición, llama.cpp decodifica de 1,08 a 1,14 veces más rápido, y la diferencia es tiempo de GPU en cada paso. Con la carga de un agente, Fornace atendía una sola petición cada vez.
-
Un modelo borrador de 0,5B hace la decodificación de Qwen2.5-1.5B 1,35 veces más rápida en código y un 38 % más lenta en prosa sobre Metal
En prosa libre, el borrador hace la decodificación entre un 38 y un 68 % más lenta en todas las configuraciones, porque comprobar K + 1 tokens en una sola pasada cuesta de 2,2 a 2,6 pasos de decodificación. En código que copia de su propio contexto, un borrador Q4 con K = 8 da 1,35 veces más velocidad, con el mismo texto que el 1.5B solo.
-
Procesar una sola vez un prompt de sistema compartido reduce 2,7 veces el tiempo hasta el primer token de 4 secuencias de Qwen2 sobre Metal, y no hace falta una caché KV paginada
Una caché contigua que copia el prompt compartido en cada secuencia obtiene la misma ganancia. Con el kernel de gather de Candle para Metal, una caché paginada hace cada respuesta entre un 47 y un 61 % más lenta.
-
Los pesos Q4 hacen 1,85 veces más rápida la decodificación de Qwen2 sobre Metal, con un coste del 23 % en perplejidad
Q8 decodifica 1,40 veces más rápido con un coste del 0,4 % en perplejidad. El trabajo también encontró dos errores en Candle: tablas RoPE en BF16 que hacían la perplejidad 3,2 veces peor con 2.048 tokens, y un matmul cuantizado de Metal que ignora el desplazamiento de su entrada.
-
Un lote de 4 da 1,6 veces la velocidad total de decodificación del lote 1 para Qwen2 sobre Metal, pero cada secuencia decodifica a 0,40×
El matmul de Candle para Metal usa un kernel matriz-vector solo para una fila. Desde dos filas usa el GEMM por bloques, así que el lote 2 da menos en total que el lote 1, y el lote 8 da 2,7 veces.
-
La atención fusionada hace 4,5 veces más rápido el prellenado de 4.096 tokens de Qwen2 sobre Metal y baja su pico de 3.403 MiB a 1.470 MiB
El kernel fusionado de Candle para Metal,
candle_nn::ops::sdpa, nunca guarda la matriz de puntuaciones. El prellenado pasa de 1.265 a 5.770 tokens por segundo, y la decodificación es un 75 % más rápida. -
Un tensor de caché KV de 1 MiB retiene un búfer de 512 MiB en cada capa, y hace que el prellenado de 4.096 tokens de Qwen2 sobre Metal llegue a 14,5 GiB en lugar de 3,4 GiB
Una regla de reutilización del pool de búferes de Metal en Candle permite que un tensor pequeño tome un búfer libre grande. Un límite en esa regla baja el pico a 3,4 GiB, sin cambio de velocidad.
-
Una caché KV no contigua reduce un 59 % la velocidad de decodificación de Qwen2 con 2k de contexto en Candle sobre Metal
Una llamada a
.contiguous()lleva la decodificación de 42 a 102 tokens por segundo en un modelo de 0.5B con un contexto de 2.049 tokens, en un Mac con Apple silicon.