diff --git a/interpreter/llama_2.py b/interpreter/llama_2.py index 520449c2bd..9ef4385c82 100644 --- a/interpreter/llama_2.py +++ b/interpreter/llama_2.py @@ -97,7 +97,7 @@ def format_choice(model): return None # Initialize and return Llama-2 - llama_2 = Llama(model_path=model_path, n_gpu_layers=-1) + llama_2 = Llama(model_path=model_path, n_gpu_layers=1) return llama_2