Bom dia,
Preciso armazenar um arquivo de aproximadamente 250mb no elasticsearch. Para isso, eu estou utilizando a API do java em conjunto com o plugin mapper attachment (do próprio ES), mas durante armazenamento me é retornado um OutOfMemory [Java heap space].
Andei lendo algumas coisas sobre o assunto e todas elas batem sempre no mesmo ponto que é a necessidade de aumentar o total de memoria que tem que ser disponibilizada para o heap space do elasticsearch. Atualmente foi disponibilizado 2GB para isso, mesmo assim o problema persiste.
Existe alguma configuração a mais que eu precise fazer? Existe alguma boa prática relacionada a esse assunto?
Olá, higoraew! Desculpe a demora para responder cara, estava viajando. Cara, vou te confessar que tenho pouca experiência com essa parte de armazenamento de binários no ES, quando estudei sobre isso na literatura que eu encontrei, o mais comum que encontrei é que o Elasticsearch não é considerado uma boa ferramenta para esse tipo de solução, trabalhando melhor com soluções que utilizem apenas texto puro. Será que para a sua solução não seria mais bacana uma ferramenta GED? Ou até mesmo manter o Elasticsearch, porém apenas usa-lo para indexação do texto para busca, sem armazenar os documentos nele, apenas guardando as referências para busca-los através de alguma fonte exterior ao cluster. Outra coisa que estou conjecturando é que possivelmente o seu problema possa estar relacionado por ser um arquivo muito grande sendo armazenado em um único documento do Elasticsearch, pois já trabalhei em soluções que possuiam índices com mais de 10GB de dados e não ocorriam estouros de memória, porém nesses casos os dados estavam pulverizados por documentos com textos pequenos. Explique mais do seu problema e vamos tentar discutir uma solução, por favor.
abraços