Crie um mapa de batalha isométrico de fantasia com IA

Crie um mapa de batalha isométrico de fantasia com IA

Índice

1. Introdução
2. Passo 1: Configurando a Difusão Estável
3. Passo 2: Gerando um mapa de batalha isométrico inicial
4. Passo 3: Refinando o mapa de batalha
   • 4.1 Aperfeiçoando a estrutura do mapa
   • 4.2 Adicionando detalhes e finalizando o mapa
5. Passo 4: Expandindo o mapa de batalha
   • 5.1 Utilizando a técnica de outpainting
6. Passo 5: Aprimorando a resolução do mapa
7. Conclusão
8. Recursos adicionais

Artigo: Como utilizar a IA para gerar mapas de batalha isométricos detalhados

🎮🗺️

Olá, aventureiros! Sejam bem-vindos a mais um Tutorial de Dave, o Wizard da IA. Hoje, vamos percorrer todo o processo de utilização da inteligência artificial para gerar um mapa de batalha isométrico detalhado para um encontro específico em nossa série de aventuras de RPG geradas pelo ChatGPT (link na descrição).

Esse tutorial pressupõe que ainda há pessoas jogando RPG depois do insano OGL (Licença Pública Geral). Talvez eu devesse fazer um vídeo pedindo ao chatGPT para converter a aventura para outro sistema. Enfim, esse encontro ocorre durante o Ato 1 da Torre dos Feiticeiros e se passa em uma clareira de uma floresta perto da vila de Willowdale, onde vive o recluso eremita Old Man Harald, em uma cabana empoleirada em uma árvore. Quando o grupo chega, eles descobrem que a cabana está cercada por uma matilha de lobos, que eles precisam afastar para salvar o eremita.

A IA descreve o mapa de batalha como "uma pequena clareira na floresta, com a cabana no centro e os lobos espalhados ao redor. A cabana é uma estrutura pequena e improvisada construída nos galhos de um carvalho. Feita de galhos, gravetos e lama, parece que poderia ser derrubada por um vento forte. Há uma porta pequena, uma janela e uma chaminé, mas nenhuma outra abertura visível". Há também uma observação sobre estar escondido do chão, mas vamos ignorar isso para o propósito do mapa de batalha.

Existem algumas abordagens e técnicas diferentes que podemos utilizar para gerar mapas de batalha com a IA, mas neste tutorial, vamos nos concentrar em apenas três passos: o texto inicial para a criação da imagem, a iteração da imagem para refiná-la e a adição de detalhes e finalização com o inpainting e outpainting. Hoje, utilizaremos apenas a Difusão Estável 2.1 e a interface web automática 1111, que está instalada localmente. Você pode conferir o link na descrição para o meu vídeo sobre como configurar a difusão estável como uma instalação local.

Aqui estamos na Difusão Estável e, em contraste com os mapas de batalha que criei anteriormente usando IA, pensei que seria interessante usar um estilo isométrico. Esse estilo é muito mais difícil de criar usando ferramentas tradicionais, então achei que seria um ótimo teste e um caso de uso ainda melhor para a IA. Para a representação inicial, temos um mapa de batalha isométrico de uma pequena clareira em uma floresta de fantasia, no centro há uma cabana rústica empoleirada nos galhos de uma árvore grande. Depois disso, adicionei algumas palavras extras que costumo usar, como realista, altamente detalhado, fantasia e Unreal Engine 5. É possível se aprofundar nessas palavras extras e frases na difusão estável, mas elas parecem funcionar muito bem para este estilo de mapa.

Para os estímulos negativos, que são coisas que a IA tenta evitar, incluí "borrado, desfocado, mapa, fofo, divertido, retrô, 8 bits, vermelho, laranja, fogo, lava, faixa, rótulo, texto, marca d'água, sobreposição e interface do usuário". Esses devem ser bem autoexplicativos, na maioria das vezes eles são usados para direcionar a IA para uma imagem mais nítida e limpa, menos parecida com uma captura de tela de um videogame.

A largura e altura estão definidas para o tamanho nativo do modelo, que é de 768, e nesta primeira etapa, quero obter muitas imagens para escolher a melhor composição, então defini o número de etapas de amostragem para 15. Isso resultará em imagens menos detalhadas ou refinadas, mas com uma geração mais rápida, e o número de lotes para 20. Assim, teremos 20 imagens entre as quais podemos escolher a melhor. A geração disso leva alguns minutos na minha placa de vídeo RTX 2070 Super, então acelerei este processo aqui na edição. Essa é a razão pela qual uso uma contagem de etapas baixa inicialmente, pois posso obter muitas imagens rapidamente.

E aqui estão os resultados, algumas imagens muito boas, mas está claro que a IA parece não ter entendido o conceito de uma cabana em uma árvore. Então precisamos modificar um pouco nosso estímulo inicial. Alterei o estímulo para "Mapa de batalha isométrico de uma pequena clareira em uma floresta de fantasia, no centro há uma casa na árvore rústica empoleirada nos galhos de uma árvore grande, realista, altamente detalhado, fantasia, Unreal Engine 5". Também acrescentei faixa, rótulo, texto, marca d'água, abstrato, quebrado e tela dividida aos estímulos negativos para ajustá-los um pouco mais.

E já podemos ver que está muito melhor desta vez, a maioria das imagens apresenta pelo menos uma árvore e muitas também tentam representar uma estrutura. No entanto, ainda é um conjunto muito variado, mas isso faz parte do processo. Essa primeira etapa trata de gerar muitas imagens, muitas das quais serão terríveis. Mas também haverá uma que chegará perto do que queremos ou mesmo nos levará a uma direção diferente, potencialmente ainda mais interessante.

Esse conjunto de imagens está realmente bom, muitas delas seriam perfeitamente utilizáveis, mesmo para encontros simples, mas para as necessidades específicas do nosso encontro, algumas se destacam para mim. Essa é mais como uma casa feita em uma árvore oca, mas poderíamos voltar e reescrever a descrição do encontro para incorporar esse detalhe. No entanto, talvez não seja exatamente isométrico. Esta é muito mais isométrica e a cabana poderia estar fora do enquadramento subindo este tronco, ou poderíamos adicioná-la na próxima etapa, mas acredito que esta seja a que nos dá o melhor ponto de partida. A projeção está boa, a cabana está bem empoleirada na árvore e tem uma aparência adequada de improvisada. Temos também outras árvores e alguns detalhes de água para dar interesse ao mapa.

Depois de apenas 2 lotes, que poderia ter sido apenas um se tivéssemos criado o estímulo melhor na primeira vez, temos um bom ponto de partida. Na verdade, se estivéssemos com pressa, poderíamos usar essa imagem como está. Mas não estamos, então vamos clicar aqui para enviá-la para a imagem a imagem e trabalhar mais nela.

O que a Imagem a Imagem faz é gerar novas imagens com base em uma imagem inicial, então ainda temos nosso estímulo de texto, mas agora as imagens são geradas a partir de uma mistura de ruído e nossa imagem inicial. Vamos gerar menos imagens aqui, então podemos aumentar as etapas para 50 e definir o número de lotes para 6. A força de desfoque determina o quão próxima da imagem original o resultado será. Valores mais baixos ficam mais próximos. Vou configurá-lo para 0,6, o que manterá a composição geral e as características principais iguais, permitindo que a IA imagine variações diferentes nesse tema.

Aqui podemos ver como a imagem a imagem nos forneceu uma série de mapas semelhantes com a mesma estrutura básica, mas com detalhes variados e interessantes, como diferentes estilos e algumas rochas bonitas. Em muitos deles, a cabana e a árvore se fundiram em uma espécie de cabana Alta, o que não é o que queremos. Mas eu gosto muito deste aqui. A cabana continua bem improvisada, a árvore está meio desgastada, mas claramente é uma árvore retorcida e velha. Tem essa coisa estranha aqui, quase parece um gnomo, mas podemos consertar essa parte depois, se necessário.

Esse parece quase um tobogã de fantasia, como um playground infantil. Mas não é o que queremos hoje!

Então, vamos ficar com o da árvore desgastada, e sempre vale a pena mandar isso de volta para a imagem a imagem para ver o que ele nos mostra, então vamos fazer isso. Talvez isso tire o gnomo para nós.

Agora queremos nos manter mais fiéis à imagem original desta vez, pois estamos nos aproximando do mapa perfeito, então vou reduzir a força de desfoque para 0,37 para ficarmos mais próximos do original. Eu provavelmente deveria ter aumentado ainda mais o número de etapas nesse ponto, mas não fiz isso. Em geral, números de etapas mais altos resultam em imagens mais detalhadas, mas não é uma relação linear exata e às vezes números de etapas mais altos podem parecer até piores.

Como esperado, as diferenças desta vez são bem pequenas, temos algumas imagens que substituíram o gnomo por um pedaço de madeira ou Algo assim, o que é bom. Mas a que mais gosto é esta aqui. O gnomo agora está ainda mais claro, na verdade, pode ser uma pessoa-pesqueira ou algo assim. Mas o que gosto neste mapa é essa espécie de varanda em que Old Man Harald pode ficar durante o encontro. Isso adiciona alguns detalhes táticos interessantes, com os lobos tentando chegar lá e os jogadores tentando afastá-los antes que consigam. Portanto, esta é definitivamente uma melhoria, mas ainda há detalhes que precisamos ajustar aqui. O pequeno homem-pesqueiro mais importante, por exemplo, então poderíamos enviar tudo isso para o inpainting novamente e esperar pelo melhor, mas há apenas algumas áreas pequenas que acredito precisar alterar, então desta vez vamos enviar para o inpainting.

Portanto, o que o inpainting nos permite fazer é mascarar áreas da imagem e dizer à IA para regenerar apenas aquelas partes do mapa. É basicamente a mesma ideia da imagem a imagem, mas aplicada somente a uma região específica, com alguma mesclagem para garantir que a parte recém-gerada se ajuste perfeitamente à original. Então vamos pintar nossa máscara sobre o homem-pesqueiro intrometido, também precisamos alterar nosso estímulo neste ponto, porque a imagem que queremos que a IA gere é apenas o conteúdo dessa pequena área. Isso não inclui, por exemplo, uma casa da árvore ou qualquer outra coisa. Queremos alguns detalhes pequenos e interessantes aqui, então vamos com uma cerca rústica quebrada. Também precisamos aumentar a força de desfoque aqui para garantir que não criemos apenas variações do pequeno homem, vamos configurá-la para 0,8.

Também queremos marcar a caixinha "inpaint at full resolution", o que significa que a IA vai gerar a imagem em sua resolução nativa de 768x768 e, em seguida, dimensioná-la.

E podemos ver que está gerando várias opções de detalhes realmente legais, 5 cercas ou postes de cerca rústicos e um Cara esquisito, possivelmente um esqueleto. Talvez ele seja um homem da cerca. Qualquer outro seria bom, este poderia ser usado para o treinamento de lobos, como um percurso de slalom, não? Ok, vamos seguir com essa cerca branca, para dar um pouco de cobertura ao mapa.

Agora temos que enviar essa imagem para o inpainting novamente para repetir o processo em outra área, quero adicionar algumas pedras e essa parte estranha de cerca parece um pouco deslocada. Novamente, vamos mascarar essa parte. Alteramos nosso estímulo para uma grande pedra e rodamos novamente.

Podemos ver que está gerando algumas opções realmente boas de pedras para nós, e você pode ver o quão fácil é apenas mascarar uma área, dar à IA um estímulo do que gostaríamos de ver ali e deixar que ela nos mostre algumas opções. Se não gostássemos de nenhuma dessas, poderíamos simplesmente repetir o processo, neste caso, eu gosto bastante desta. É um bom exemplo de como usar a IA pode ajudá-lo a encontrar opções mais interessantes do que você poderia ter alcançado sozinho. Na verdade, isso não é exatamente uma pedra, mais um penhasco ou saliência rochosa, mas dá uma sensação agradável de desnível do terreno ao mapa, o que eu acho legal. Se quiséssemos mudar mais alguma coisa, poderíamos simplesmente continuar o ciclo de inpainting sempre que quiséssemos adicionar detalhes ou alterar algum recurso existente.

Mas e se quisermos expandir a área que nosso mapa cobre além da borda da imagem? Para isso, precisamos usar algo chamado de outpainting, que é um tipo especial de processo de imagem a imagem que usa um script. Então enviamos nosso mapa atual de volta para a imagem a imagem e, se olharmos para baixo, encontramos esta lista suspensa para scripts e o que nos interessa é Outpainting mk2 e escolhemos em quais direções e em que medida queremos expandir a imagem. Vamos apenas expandir em todas as direções para dar um pouco mais de espaço para o encontro. Isso não aumentará o tamanho final da imagem, se quiséssemos fazer isso, teríamos que ajustar manualmente a largura e altura desejadas. Em vez disso, ela essencialmente diminuirá a imagem original e, em seguida, regenerará os novos detalhes ao redor das bordas, expandindo nosso mapa.

Conforme pode ver, o script é executado para cada direção individualmente, então pode demorar um pouco, por isso escolhemos apenas um lote de 2. O resultado final não é sempre perfeito, desta vez não está ruim, mas você pode ver que há uma vibração ligeiramente diferente em algumas das áreas preenchidas. Podemos tentar corrigir isso enviando tudo de volta para a imagem a imagem para uma última rodada e tentar deixá-lo um pouco mais limpo. Precisamos garantir que desativemos o script ou vamos expandir novamente e ajustar adequadamente a força de desfoque, talvez para 0,15, para que a IA apenas conserte tudo com harmonia e sem alterar muito as coisas.

Na verdade, vamos deixar em 0,2 para dar mais espaço para trabalhar.

Ao gerar, podemos ver que essas imagens serão muito similares, apenas esperamos que a IA ajuste as junções e não mude muito as coisas, embora especialmente em uma escala menor, haverá diferenças.

E aqui estão nossas 4 imagens finais para escolher, todas são boas, se eu fosse criterioso, faria algumas alterações pequenas, mas em prol do tempo e para não nos desviarmos para técnicas mais avançadas, apenas escolheremos esta como o final quase acabado do mapa de batalha. A única coisa que resta a fazer é aumentar a resolução para uma maior, o que podemos fazer clicando aqui em "Enviar para extras".

Não vamos usar a maioria das opções nesta tela, tudo o que queremos é uma melhoria básica da IA. O Automatic 1111 vem com algumas opções embutidas, a principal delas é a ESRGAN_4X, então vamos selecioná-la e manter o aumento em 4x, o que transformará nossa imagem de 768 por 768 em uma imagem de 3072 por 3072. Vou reduzir a visibilidade do segundo aprimorador para 0. Você pode experimentar e ver qual funciona melhor, e isso pode mudar dependendo do mapa de batalha específico. Para este mapa, acho que o ESRGAN faz com que as árvores pareçam muito semelhantes a tecido, então vou escolher o upscaler LDSR, que proporciona um visual limpo e quase pintado, o que eu acho que combina muito bem.

E é isso, nosso mapa de batalha finalizado. No geral, estou bastante satisfeito. Certamente, há algumas áreas que poderiam ser aprimoradas, e se isso fosse uma batalha de destaque na aventura, eu gastaria muito mais tempo nela e usaria algumas técnicas mais avançadas, como usar um editor de imagens para pintar as alterações brutas que desejo fazer e depois deixar a IA cuidar para deixá-las agradáveis e integradas no mapa. Antes de encerrarmos, gostaria de agradecer imensamente a todos que assistiram, curtiram e comentaram os vídeos. Fiquei impressionado com a resposta e o crescimento do canal, vocês são incríveis! Mais vídeos estão a caminho, incluindo a parte 3 da aventura de IA de D&D (ou talvez Pathfinder), outro vídeo da difusão estável muito solicitado, desta vez focado na criação de obras de arte atmosféricas incríveis para suas campanhas, como as que costumo usar em muitos dos meus outros vídeos, e toneladas de outras coisas, muitas das quais são ideias de vocês. Mais uma vez, muito obrigado, continuem produzindo conteúdo no YouTube e nos vemos na próxima.