llama : increase max nodes (ggml-org#4115)

slaren · olexiyb · commit f796f65c6e7d · 2023-11-23T09:25:33.000+02:00
diff --git a/llama.cpp b/llama.cpp
@@ -91,7 +91,7 @@
 #define LLAMA_ATTRIBUTE_FORMAT(...)
 #endif
 
-#define LLAMA_MAX_NODES 4096
+#define LLAMA_MAX_NODES 8192
 
 //
 // logging
