In certain cases the answer indicated by query_engine.query(QUERY) is truncated. For example: Explication : Cette scène se déroule à l'automne, puisque l'on parle de l'automne dans le texte suivant : "Un jour, elle tomba malade ; elle avait la fièvre ; elle se coucha ; elle ne se leva plus. Elle mourut en trois semaines, à l'autom the answer should be Explication : Cette scène se déroule à l'automne, puisque l'on parle de l'automne dans le texte suivant : "Un jour, elle tomba malade ; elle avait la fièvre ; elle se coucha ; elle ne se leva plus. Elle mourut en trois semaines, à l'automne
llm = HuggingFaceLLM(
max_new_tokens=256, # INCREASE THIS VALUE
# uncomment this if using CUDA to reduce memory usage
# model_kwargs={"torch_dtype": torch.float16}
)
