Context Engineering: Como Arquitetar Dados para LLMs e RAG

Na edição desta newsletter intitulada “Engenharia de Prompt: Não é só mais uma buzzword“: https://www.linkedin.com/pulse/engenharia-de-prompt-n%C3%A3o-%C3%A9-s%C3%B3-mais-uma-buzzword-de-souza-janones-tpkxf tratei sobre o tema engenharia de prompt. Agora é preciso avançar e falar sobre “Context Engineering: Como Arquitetar Dados para LLMs e RAG”.

Eu sempre fui fascinado pela forma como a inteligência artificial, especialmente os grandes modelos de linguagem (LLMs), pode processar e gerar texto de maneira tão sofisticada. Mas, ao longo do tempo, percebi que há muito mais do que apenas fazer as perguntas certas. É sobre criar o ambiente certo para que a IA possa brilhar. É aqui que entra o conceito de “Context Engineering” — uma abordagem que vai além do simples “Prompt Engineering” e que está rapidamente se tornando essencial para quem trabalha com IA.

O Que São Janelas de Contexto?

Antes de mergulhar no assunto, é importante entender o que é uma “janela de contexto”. Em termos simples, é o limite de texto que um modelo de IA pode processar de uma vez. Esse limite é medido em “tokens”, que são basicamente pedaços de palavras. Por exemplo, a palavra “ChatGPT” é dividida em dois tokens: “Chat” e “GPT”. O tamanho dessa janela de contexto afeta diretamente o custo, a velocidade e a capacidade do modelo de lembrar informações. Quanto maior a janela, mais informações o modelo pode considerar, mas também mais recursos ele consome.

Quando comecei a trabalhar com IA, eu pensava que o segredo estava em formular o prompt perfeito — aquela pergunta ou comando que extrairia a melhor resposta possível do modelo. E, de fato, o “Prompt Engineering” foi uma habilidade valiosa, especialmente em 2023, quando empresas como a Anthropic estavam contratando “engenheiros de prompts” com salários impressionantes. Mas o verdadeiro diferencial, como descobri recentemente, está no “Context Engineering”.

O Que é Context Engineering?

Context Engineering é uma evolução natural do Prompt Engineering. Enquanto o Prompt Engineering se concentra em como fazer a pergunta, o Context Engineering foca em como estruturar todo o ambiente de informações que a IA tem à disposição. É como ser um bibliotecário que decide quais livros uma pessoa deve ter acesso antes mesmo de começar a ler. No caso da IA, isso significa decidir quais documentos, memórias ou ferramentas devem ser incluídos na janela de contexto para que o modelo possa gerar a melhor resposta possível.

Por exemplo, quando você conversa com um chatbot, ele parece ter uma boa memória de curto prazo. Isso acontece porque os prompts anteriores e as respostas são passados para a janela de contexto, permitindo que o modelo “lembre” do que foi discutido. É uma técnica simples, mas poderosa, que faz com que a IA pareça mais inteligente e coerente.

Outro exemplo é o uso de RAG (Retrieval-Augmented Generation), uma técnica que permite recuperar documentos relevantes e adicioná-los ao contexto. Isso é como dar ao modelo um conjunto de livros específicos para consultar antes de responder a uma pergunta. E há também o “Tool Calling”, onde descrevemos ferramentas disponíveis, como APIs de busca ou bancos de dados, permitindo que o modelo as utilize para melhorar suas respostas.

O Papel do Context Engineer

Como alguém que está começando a explorar essa área, percebo que o trabalho de um Context Engineer é multifacetado. Não se trata apenas de escolher o que incluir no contexto, mas também de como estruturar essa informação. Aqui estão algumas das tarefas que eu vejo como essenciais:

• Curar: Selecionar quais documentos, memórias ou APIs são relevantes para uma tarefa específica. É preciso ter um bom julgamento para decidir o que é essencial e o que pode ser deixado de fora.
• Estruturar: Organizar as informações na ordem correta. Isso pode incluir mensagens do sistema, ferramentas, dados recuperados e o prompt do usuário. A ordem importa, pois pode influenciar como o modelo interpreta e utiliza as informações.
• Comprimir: Às vezes, a quantidade de informação é maior do que a janela de contexto permite. Nesses casos, é necessário resumir ou dividir as informações de maneira inteligente, garantindo que o essencial seja preservado.
• Avaliar: Monitorar a precisão das respostas e estar atento à “diluição de contexto”, que ocorre quando informações irrelevantes distraem o modelo e prejudicam a qualidade da resposta.

Essas tarefas exigem um pensamento estratégico sobre arquitetura de informação e experiência do usuário — algo que o Prompt Engineering não abordava diretamente. E acredito que as empresas que dominarem essa habilidade terão uma vantagem competitiva significativa.

Por Que Isso Importa?

À medida que as janelas de contexto crescem — e elas têm crescido rapidamente nos últimos anos — o potencial para incluir mais informações aumenta. Isso permite conversas mais ricas e respostas mais detalhadas. No entanto, há um custo: mais contexto significa mais tokens, o que aumenta o tempo de processamento e o custo financeiro. É aqui que o Context Engineering se torna crucial. Encontrar o equilíbrio certo entre fornecer informações suficientes e manter a eficiência é um desafio, mas também uma oportunidade para inovação.

Pessoalmente, como alguém que está construindo soluções com IA, fico constantemente impressionado com o que se torna possível quando paramos de pensar na IA apenas como um chatbot e começamos a vê-la como um motor de raciocínio que pode acessar o contexto e as ferramentas certas. O Prompt Engineering nos ensinou a falar com a IA; o Context Engineering está nos ensinando a pensar com ela.

O Futuro é Context-First

O hype em torno do Prompt Engineering em 2023 nos ensinou uma lição valiosa: as habilidades mais importantes em IA não são sobre truques ou frases secretas, mas sobre entender como arquitetar sistemas inteligentes que tenham acesso às informações certas no momento certo. É uma mudança fundamental de otimizar sentenças para otimizar o conhecimento.

Para mim, isso é empolgante. Significa que, à medida que avançamos, o sucesso com IA dependerá menos de quem pode escrever o melhor prompt e mais de quem pode criar o melhor contexto. E essa é uma habilidade que todos nós podemos desenvolver, especialmente se estamos dispostos a pensar de forma mais ampla sobre como a IA interage com o mundo.

Até a próxima edição, com curadoria para desenvolvedores.

Acompanhe meu perfil Ramos de Souza Janones para atualizações de posts