ai-video-generation

Visão geral

O que é ai-video-generation?

A skill ai-video-generation conecta seu agente à CLI do inference.sh para gerar e editar vídeos com Google Veo, Seedance, Wan, Grok e mais de 40 modelos de vídeo com IA. Ela foi pensada para fluxos de trabalho em que um assistente de IA precisa chamar uma ferramenta de CLI (via Bash) para criar e refinar vídeos curtos e longos.

Atualmente, a skill declara *Bash(infsh ) como ferramenta permitida, o que significa que os agentes podem executar comandos infsh com segurança para disparar a geração de vídeo com IA e etapas de processamento relacionadas.

Principais capacidades

Usando os modelos disponíveis e a CLI infsh, ai-video-generation consegue dar suporte a fluxos como:

• Text-to-video (T2V): transformar prompts em linguagem natural em clipes de vídeo totalmente renderizados.
• Image-to-video (I2V): animar uma imagem estática em uma sequência em movimento.
• Lipsync & avatars: movimentar rostos e personagens a partir de áudio para criar conteúdo em formato talking-head ou apresentador (quando suportado pelo modelo escolhido).
• Upscale de vídeo: aprimorar resolução e qualidade de gravações existentes.
• Foley e áudio: adicionar ou melhorar trilhas sonoras e áudio ambiente quando o modelo oferecer esse recurso.

Os modelos disponíveis (conforme descrito na skill) incluem:

• Google Veo 3.1 / Veo 3 / Veo 3 Fast
• Seedance 1.5 Pro
• Wan 2.5
• Grok Imagine Video
• OmniHuman, Fabric, HunyuanVideo

entre muitos outros, via catálogo de apps do inference.sh.

Para quem é esta skill?

ai-video-generation é uma boa opção se você:

• Produz vídeos para redes sociais (TikTok, Instagram Reels, YouTube Shorts, X, LinkedIn) e quer visuais guiados por IA.
• Cria ativos de marketing, como teasers de produto, vídeos de lançamento e variações de anúncios.
• Desenvolve explainers e tutoriais em que prompts em texto descrevem cenas, fluxos de UI ou diagramas que viram vídeos curtos.
• Precisa prototipar rapidamente avatares apresentadores com IA ou conteúdo em formato talking-head.
• Quer um fluxo dirigido por agente que chame a CLI infsh de forma programática, em vez de navegar por uma interface web.

Ela é menos indicada se você precisar de:

• Um editor puramente GUI, com timeline e keyframing manual.
• Geração de vídeo on-premise ou offline (inference.sh é um serviço em nuvem).
• Streaming em tempo real ou saída de vídeo ao vivo.

Como ai-video-generation se encaixa no seu stack

Esta skill se encaixa principalmente em fluxos de edição de vídeo e marketing de conteúdo. Você pode combiná-la com:

• Skills de copywriting que escrevem roteiros e prompts.
• Skills de geração de imagem que criam quadros ou referências estáticas, depois animadas via image-to-video.
• Ferramentas de pós-produção que adicionam branding, legendas e automações de distribuição após o primeiro render de IA.

Depois de instalada, seu agente pode:

1. Rascunhar prompts e storyboards.
2. Usar comandos infsh app run ... para renderizar clipes de vídeo.
3. Iterar no prompt até que o resultado esteja alinhado com o briefing criativo.

Como usar

1. Instale a skill ai-video-generation

Para adicionar esta skill a um ambiente de agente compatível usando a Skills CLI:

npx skills add https://github.com/inferen-sh/skills --skill ai-video-generation

Esse comando baixa a definição da ferramenta ai-video-generation do repositório inferen-sh/skills e a disponibiliza para seu agente, permitindo que ele chame a CLI infsh via Bash.

Após a instalação, abra o arquivo SKILL.md no diretório tools/video/ai-video-generation para ver a descrição incorporada e os links usados por esta skill.

2. Instale e faça login na CLI do inference.sh

A skill depende da CLI do inference.sh (infsh). O SKILL.md do repositório traz links para as instruções de instalação em:

• https://raw.githubusercontent.com/inference-sh/skills/refs/heads/main/cli-install.md

Siga esses passos para instalar a CLI no seu sistema. Depois de instalar, autentique:

infsh login

Confirme que isso funciona em um shell comum antes de depender do agente. O agente usará o mesmo binário infsh via Bash.

3. Primeiros passos: gere seu primeiro vídeo com IA

O guia rápido da skill demonstra a geração de um vídeo com Google Veo 3.1 Fast:

# Generate a video with Veo
infsh app run google/veo-3-1-fast --input '{"prompt": "drone shot flying over a forest"}'

Em um fluxo de agente, seu assistente irá:

1. Montar o payload JSON de input (por exemplo, texto do prompt, duração, opções de estilo se forem suportadas pelo app).
2. Chamar a ferramenta Bash permitida com um comando infsh app run ....
3. Interpretar a resposta da CLI para retornar URLs ou IDs de vídeo para você.

Você pode adaptar o prompt ao seu caso de uso, por exemplo:

• Demo de produto: "a rotating 3D render of a sleek wireless headset on a dark gradient background"
• Teaser para redes sociais: "fast-paced montage of city nightlife, neon lights, and skyscrapers"
• Explainer: "minimal flat-style animation showing a phone app sending payments across the world"

4. Escolha e troca de modelos

O arquivo SKILL.md documenta várias categorias de modelos (por exemplo, Text-to-Video). Cada modelo tem um App ID usado pelo infsh.

Para text-to-video, o padrão geral é:

infsh app run <APP_ID> --input '{"prompt": "your description here"}'

Exemplos com base na lista de modelos da skill:

• Alta qualidade com áudio (quando suportado):

  infsh app run google/veo-3 --input '{"prompt": "cinematic close-up of a chef plating gourmet food"}'
  

• Melhor qualidade com interpolação de quadros (Veo 3.1):

  infsh app run google/veo-3-1 --input '{"prompt": "slow motion shot of waves crashing at sunset"}'
  

• Iterações rápidas (Veo 3.1 Fast):

  infsh app run google/veo-3-1-fast --input '{"prompt": "energetic sports highlights reel"}'
  

Para modelos de image-to-video, lipsync, avatar ou upscale, use os App IDs específicos do modelo documentados no repositório e ajuste os campos JSON de --input conforme necessário (por exemplo, incluindo image_url, video_url ou audio_url, de acordo com o app escolhido).

5. Integre em prompts e fluxos do agente

Ao integrar ai-video-generation ao seu sistema de agentes:

• Descreva a ferramenta nos prompts de sistema: deixe claro para o agente que ele pode gerar vídeos via infsh app run e que existem opções de modelos (Veo, Seedance, Wan etc.).
• Incentive entradas estruturadas: peça para o agente construir inputs JSON explícitos para a CLI, com campos para prompt, duração e estilo, quando suportados.
• Planeje para operações demoradas: a geração de vídeo tende a levar mais tempo que respostas de texto. Projete a UX considerando isso (mensagens de progresso, polling etc.).
• Pós-processe as saídas: depois que a CLI retornar URLs ou IDs de arquivo, o agente pode registrá-los em notas de projeto, briefings de marketing ou etapas de automação posteriores.

6. Quando esta skill não é a melhor opção

Talvez você precise de outra solução se:

• Não puder instalar ou usar uma CLI no ambiente alvo.
• Seu fluxo exigir compute estritamente on-prem, sem acesso a APIs externas.
• Você só precisar de cortes básicos ou edição simples de vídeos existentes, sem geração com IA.

Nesses casos, procure skills focadas apenas em edição de vídeo ou integrações com NLEs desktop, em vez de um stack de geração com IA em nuvem.

FAQ

O que exatamente a ai-video-generation instala?

A skill ai-video-generation instala metadados e configuração de ferramenta do repositório inferen-sh/skills para que seu agente saiba como chamar a CLI infsh para geração de vídeo com IA. Ela não instala o binário infsh nem nenhum modelo. Você precisa instalar a CLI do inference.sh separadamente, seguindo as instruções referenciadas em SKILL.md.

Eu preciso de uma conta no inference.sh para usar ai-video-generation?

Sim. O guia rápido usa explicitamente infsh login, que exige credenciais válidas do inference.sh. Sem uma conta e login, os comandos infsh app run ... chamados pela skill irão falhar.

Quais modelos de vídeo com IA posso acessar com esta skill?

A descrição da skill lista vários apps suportados, incluindo Google Veo 3.1, Veo 3, Veo 3 Fast, Seedance 1.5 Pro, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric e HunyuanVideo, além de muitos outros modelos disponíveis via inference.sh. A lista exata e os parâmetros são mantidos no catálogo do inference.sh e podem evoluir ao longo do tempo.

Posso fazer image-to-video e lipsync, ou só text-to-video?

De acordo com a descrição da skill, ai-video-generation suporta text-to-video, image-to-video, lipsync, animação de avatar, upscale de vídeo e foley sound, desde que você use modelos que exponham esses recursos via infsh. Confira a documentação do app relevante no inference.sh para ver os inputs necessários (por exemplo, URLs de imagem, áudio ou vídeo).

Como controlo duração, proporção (aspect ratio) ou estilo do vídeo?

Os parâmetros de controle específicos dependem da API do modelo escolhido dentro do inference.sh. A skill em si foca em conectar a CLI ao seu agente, não em impor um único schema. Para ajustar duração, proporção ou estilo, passe os campos suportados pelo App ID que você estiver usando no JSON de --input. Consulte a documentação de cada app no inference.sh para ver as opções mais recentes.

Onde os vídeos gerados são armazenados?

A skill usa a CLI do inference.sh, que retorna informações como URLs ou IDs de resultado. O local de armazenamento e a retenção são gerenciados pelo inference.sh, não pela skill. Normalmente você recebe um link ou referência que pode ser baixado, incorporado a um CMS ou enviado para ferramentas subsequentes.

Posso rodar ai-video-generation em ambientes CI/CD ou headless?

Sim, desde que o ambiente consiga instalar e autenticar a CLI infsh e o runtime do seu agente consiga executar comandos Bash. Isso permite, por exemplo, gerar em lote vídeos de marketing, variações de conteúdo para redes sociais ou clipes de preview automatizados como parte de um pipeline.

ai-video-generation é uma boa opção para edição de vídeo tradicional?

Use ai-video-generation quando sua prioridade for vídeo gerado ou transformado por IA. Para edição detalhada de material já existente (timelines com várias trilhas, cortes manuais, transições complexas), você ainda vai precisar de um editor de vídeo convencional. Porém, você pode combinar esta skill com a edição tradicional, gerando clipes base com IA e refinando-os depois no seu NLE.

Como atualizo ou removo a skill depois?

Você gerencia instalação e remoção com a mesma Skills CLI usada na adição. Execute o comando skills apropriado (por exemplo, um subcomando de remove ou update, se for suportado no seu ambiente). A remoção da skill não desinstala a CLI infsh; ela apenas desconecta a integração ai-video-generation do seu agente.