Find answers from the community

Updated 2 months ago

In certain cases the answer indicated by

In certain cases the answer indicated by query_engine.query(QUERY) is truncated.
For example:
Explication : Cette scène se déroule à l'automne, puisque l'on parle de l'automne dans le texte suivant : "Un jour, elle tomba malade ; elle avait la fièvre ; elle se coucha ; elle ne se leva plus. Elle mourut en trois semaines, à l'autom
the answer should be
Explication : Cette scène se déroule à l'automne, puisque l'on parle de l'automne dans le texte suivant : "Un jour, elle tomba malade ; elle avait la fièvre ; elle se coucha ; elle ne se leva plus. Elle mourut en trois semaines, à l'automne
W
L
4 comments
What model are you trying with? OpenAI?
You could try increasing the max_new_tokens for the LLM
Try increasing the max_new_tokens value once.
Plain Text
llm = HuggingFaceLLM(
    max_new_tokens=256, # INCREASE THIS VALUE

    # uncomment this if using CUDA to reduce memory usage
    # model_kwargs={"torch_dtype": torch.float16}
)
thanks for your help.
Add a reply
Sign up and join the conversation on Discord