Compartilhar:

Se você trabalha com projetos de Inteligência Artificial ou deseja explorar o poder das Large Language Models (LLMs), é provável que já tenha ouvido falar sobre rodá-las localmente para maior controle e customização. Nesse artigo, vamos mostrar como instalar e acessar o OpenWebUI para rodar modelos como DeepSeek ou outros, tanto em sistemas Linux quanto no Windows.

Além disso, se você precisa de alta performance e busca um servidor dedicado com GPU para lidar com grandes cargas de trabalho e modelos de IA mais robustos, temos servidores dedicados com GPU para você na HostDime!

Por que rodar uma LLM localmente?

• Privacidade de dados: Seus dados podem ficar hospedados e processados localmente, ou em servidor dedicado que apenas sua empresa tem acesso.

• Customização: Ajuste a LLM para necessidades específicas, adicionando ou alterando parâmetros e configurações.

• Baixa latência: Respostas mais rápidas, pois você evita a dependência de conexões externas.

• Escalabilidade: Ao usar um servidor dedicado com GPU, é possível lidar com modelos maiores e com maior volume de requisições.

Pré-requisitos

• Hardware compatível: Se possível, uma GPU dedicada (NVIDIA recomendada para CUDA). Caso contrário, é possível rodar via CPU, mas o desempenho será menor.

• Docker: Para simplificar a instalação e manter um ambiente isolado.

• Sistema Operacional: Windows, Linux (qualquer distribuição compatível com Docker) ou mesmo em um servidor dedicado com GPU remoto.

• Espaço em disco: Modelos de IA podem ter vários GB de tamanho, portanto verifique se há espaço suficiente.

Executando o OpenWebUI no Linux com Docker

Passo 1: Instale o Docker

Em distribuições baseadas em Debian/Ubuntu:

sudo apt-get update
sudo apt-get install docker.io
sudo systemctl enable docker
sudo systemctl start docker

No CentOS ou Fedora:

sudo dnf install docker
sudo systemctl enable docker
sudo systemctl start docker

Passo 2: Baixar e iniciar o contêiner do OpenWebUI

Após instalar o Docker, rode os seguintes comandos no seu terminal:

docker pull ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Passo 3: Acessando o OpenWebUI

Depois que o contêiner iniciar, abra seu navegador e acesse http://localhost:3000 para visualizar a interface do OpenWebUI.

Passo 4: Adicionando o modelo DeepSeek (ou qualquer outro LLM)

• Acesse: https://openwebui.com/models

• Localize ou baixe o modelo DeepSeek (ou outro modelo de sua preferência).

• Clique no botão de instalar e ele automaticamente instalará em seu openwebui local

Por que usar um Servidor Dedicado com GPU para IA?

• Desempenho superior: GPUs (Placas de Vídeo) permitem lidar com processamento paralelo massivo, acelerando inferência e/ou treinamento de modelos grandes.

• Escalabilidade: Em um servidor dedicado, você pode hospedar vários modelos simultaneamente ou escalonar instâncias para vários usuários.

• Confiabilidade: Hospedado em infraestrutura robusta, com redundância de energia e rede, garantido maior disponibilidade.

• Hospedagem gerenciada: Com a HostDime, você pode ter um servidor completamente configurado e suportado por nossa equipe técnica, para focar apenas no desenvolvimento de suas aplicações de IA.

Servidor Dedicado com GPU para rodar IA? Temos!

Rodar uma LLM localmente, como DeepSeek ou qualquer outra, é mais simples do que parece graças a ferramentas como Docker e o OpenWebUI. Se você precisa de performance máxima e escalabilidade para projetos de IA, opte por um servidor dedicado com GPU da HostDime. Assim, você desfruta de todo o poder das LLMs sem se preocupar com limitações de hardware.

Entre em contato conosco para saber mais sobre nossas soluções de servidor dedicado com GPU e torne o seu projeto de Inteligência Artificial ainda mais poderoso!

 

< Voltar