Lista de Conversas

Na função "Lista de Conversas" da plataforma EvaGPT, você pode analisar todas as conversas realizadas e identificar possíveis erros nas respostas, bem como verificar se o retorno foi suficientemente assertivo.

Para acessar essa função, vá até a barra lateral esquerda, selecione a opção "Listar Conversas" dentro do menu "Conversas". Em seguida, escolha a conversa que deseja analisar e clique na função "Debug", localizada na parte superior direita da tela, conforme mostrado na imagem abaixo.

Tela Debug das conversas

A seguir, estão os casos de retorno de Debug na 'Lista de Conversas':

CASO 01 - O LLM realiza a busca no dataset de conhecimentos e retorna os registros elegíveis para a resposta.

Este é o caso ideal, onde podemos verificar que o LLM acessou o dataset e trouxe um conjunto de registros que atendem à configuração de pontuação mínima de pesquisa. Nesse caso, é possível visualizar, além do campo "query", o conjunto de registros retornados na busca.

Retorno dos registros elegíveis para a resposta.

CASO 02 - O LLM determina que não é necessário utilizar nenhuma lista de conhecimentos para responder.

Esse caso ocorre quando a descrição da lista de conhecimento não coincide com a pergunta do usuário. O DEBUG não afeta o front-end da aplicação, o que pode parecer um BUG, mas é intencional para mostrar que não houve uso de recursos como dataset ou habilidades. Nas próximas versões, adicionaremos um aviso informando que a resposta veio diretamente do modelo.

Repare, nenhum resultado foi retornado.

ALTERNATIVAS:

• Verificar o nome e a descrição do Dataset (lista de conhecimento) para aumentar sua relevância em relação à pergunta do usuário.

• Utilizar os modelos mais avançados, como o GPT-4, como segunda opção para aumentar as chances de correspondência entre a pergunta do usuário e a descrição do dataset.

CASO 03 - O LLM realiza a busca na lista de conhecimentos (dataset), porém o dataset não retorna registros com pontuação suficiente.

Esse caso acontece devido ao parâmetro de pontuação mínima de pesquisa configurado no dataset que filtrou todos resultados. Então, o DEBUG exibe na tela o campo query, porém não exibe nenhum registro (pois nenhum registro foi retornado).