Cómo recrear una pelea de anime en 3D con IA

Este video recrea en 3D una de las peleas de anime más comentadas del momento, con personajes propios: Manji contra su yo de las 3 de la mañana, y Claude en el papel de su compañero. Las voces son mi voz clonada, actuada con emoción. No grabé nada, no abrí Blender y no animé nada a mano: todo salió de conversar con Claude Code, desde pegarle el link de YouTube de la pelea hasta la última versión.

Aquí está el proceso exacto: los mensajes que le mandé, cómo fui pidiendo mejoras en cada versión, las herramientas y el skill que puedes instalar en tu Claude Code para hacer lo mismo con cualquier pelea o escena.

Cuánto consume de tu plan de Claude

Todo el proceso, desde que pedí el video hasta la séptima versión, usó cerca del 1,8 % del límite semanal de mi plan. Traducido a cada plan de Claude:

• Pro ($20 al mes): cerca del 18 % de tu semana.
• Max ($100 al mes): cerca del 3,5 % de tu semana.
• Ultra ($200 al mes): cerca del 1,8 % de tu semana.

Es una estimación hecha con los tokens reales de la sesión (Claude Opus 5.5) comparados con todo lo que usé esa semana. En Pro, además, hay un límite cada 5 horas, así que el mismo trabajo te tomaría varias tandas.

Qué necesitas

• Claude Code: el agente que estudia la referencia, escribe el plan, construye el mundo 3D, graba las voces y mezcla.
• HyperFrames: de HeyGen, de código abierto (licencia Apache-2.0). Convierte HTML en video, cuadro por cuadro y siempre igual, y trae skills para Claude Code.
• Three.js: el mundo 3D, hecho de cubos.
• yt-dlp: baja la referencia para estudiarla cuadro por cuadro.
• ElevenLabs: tu voz clonada, las voces actuadas, los efectos de sonido y la música original.
• ffmpeg: detecta los cortes de la referencia, procesa las voces y hace la mezcla.
• Whisper (con transformers.js): escucha cada toma y confirma que se entiende.
• El skill pelea-anime-3d: viene en el kit de arriba, con todos los scripts que se usaron.

npx hyperframes init mi-pelea
npx hyperframes skills update
pip install yt-dlp

Paso 1: el pedido y la referencia

Empecé con una pregunta casual sobre la pelea de la que todo el mundo hablaba ese fin de semana. Claude buscó el episodio y lo que se decía de él. Después vino el pedido de verdad:

quiero recrear el climax del episodio completo, con los personajes y todo tal cual pero en modo minecraft con nuestros personajes, yo soy magna, quiero que sea 1000% recreado

Le pasé dos links: un AMV de YouTube con los mejores momentos y un TikTok con la pelea completa. Le pedí verla cuadro por cuadro, en español y en 2 a 3 minutos. Claude bajó los dos videos con yt-dlp, detectó cada corte con ffmpeg y armó hojas de contacto con la hora en cada cuadro para leer la pelea toma por toma: quién está en cuadro, cada efecto, cada golpe.

La referencia se baja solo para estudiarla. En el video final no va ni un cuadro, ni el audio, ni la canción original: las voces, los efectos y la música son nuestros.

Paso 2: el plan

• Reparto: cada personaje del anime tiene su equivalente nuestro, y el rival se viste como el original.
• Una idea que cuenta todo: los tokens. La cadena le quita la mitad a Dante, él los gasta reintentando, Manji aprende a pelear con pocos y al final a Dante se le acaban.
• Momentos: una tabla con el segundo de la referencia, el segundo nuestro, qué se ve y quién habla.
• Efectos a recrear: cadenas que salen del pecho, círculos mágicos, fuego, cuadros de impacto, piedras moradas.

Paso 3: el mundo en 3D

Todo es código de Three.js dentro de HyperFrames: el coliseo en ruinas, los personajes de cubos con rodillas, las poses y la coreografía. Algunos trucos que hicieron la diferencia:

• Golpes que conectan: el que pega da un paso, el brazo gira hacia la cara del otro y se estira hasta tocarla, con pausa en el impacto, la cabeza que se sacude y cámara lenta en los golpes grandes.
• Primeros planos en vertical: sobre el hombro del que pega, con el lente más abierto y la cámara más lejos, porque el cuadro vertical es angosto.
• Encuadre automático: cada toma retrocede hasta que los personajes entran completos, sin cortarlos.
• Continuidad: la cadena se ve siempre que están unidos y la corona, cuando cae, se queda en el piso.
• Carteles que explican: cuando Dante dice que puede reintentar infinitas veces, sale un botón "Reintentar" que cuenta hasta infinito y avisa que cada intento gasta tokens.

Paso 4: voces con emoción, con tu voz

Un clon de voz hecho con una grabación tranquila suena plano. La solución fue separar la actuación del timbre:

1. Voces expresivas de la biblioteca de ElevenLabs actúan cada línea con el modelo eleven_v3 y una emoción por momento: arrogante, jadeando, en pánico, feroz.
2. Cada toma pasa por speech-to-speech a mi voz clonada: se queda la actuación (el ritmo, la entonación, la respiración) y se pone mi voz.
3. Cuatro tomas por línea, unas 170 en total. Whisper escucha cada una y gana la que mejor se entiende, más se mueve y mejor cabe en su espacio.
4. El villano va más grave conservando los formantes, para que suene a voz real y no a cinta lenta, y todos llevan un poco de reverb de sala.

Paso 5: efectos y música

Cada golpe tiene su efecto, generado con la API de efectos de ElevenLabs. La música original se compuso con Eleven Music en secciones cortadas al montaje. La mezcla con ffmpeg ecualiza las voces, baja la música sola cuando alguien habla y deja todo a −15 LUFS, el volumen estándar de redes. Al final preferí la versión solo con voces y efectos.

Paso 6: una sola fuente de tiempos

Un script lee cuánto dura cada voz y en qué segundo cae cada palabra, y con eso coloca subtítulos, golpes, efectos y cámaras. Si cambias una frase, todo se reacomoda solo.

Paso 7: revisar y renderizar

HyperFrames saca fotos de los momentos clave y Claude las revisa antes de renderizar. Para arreglos chicos no hace falta renderizar todo: se renderiza solo el tramo que cambió y se empalma cuadro exacto en la versión anterior.

Paso 8: siete versiones, como con un cliente

• v1 → v2: "los cortes son muy bruscos", la cadena no aparecía siempre, la corona volvía, peleas de espaldas, sin rotación de cámara. Resultado: tomas largas, cámaras que orbitan, transiciones y encuadre correcto.
• v2 → v3: "ningún puñetazo conecta" y el orden del episodio (primero el fuego, después la cadena saliendo de los dos cuerpos a la vez). Resultado: golpes con puntería y primeros planos del puño en la cara.
• v3 → v4: el protagonista nunca cae, su compañero lo sostiene al final, y a Dante se le acaban los tokens antes del golpe final.
• v4 → v5: "la forma robótica de hablar sin fluidez". Resultado: las voces actuadas pasadas a mi voz.
• v5 → v7: sin música de fondo, explicar en pantalla qué es "reintentar" y siete líneas reescritas para que la idea de los tokens se entienda de principio a fin.

Después le hice retoques finales, como cortar escenas y ponerle música de fondo. Eso lo puedes hacer en cualquier editor de video y listo.

Lo que aprendí

1. Pasa la referencia, no la describas. Con los links, Claude estudia cada toma en vez de adivinar.
2. Una sola idea en todas las líneas. Los tokens hicieron que la pelea, además de verse bien, se entendiera.
3. Pide cambios concretos. "Ningún puñetazo conecta" se arregla; "no me gusta" no.
4. La actuación y el timbre van por separado. Así tu voz clonada suena con emoción.
5. Explica la jerga en pantalla. Si el público no sabe qué es reintentar, el chiste no llega.

Qué trae el kit

• El skill pelea-anime-3d: el método completo para que Claude Code lo haga con cualquier pelea. Copia su carpeta en .claude/skills.
• PROMPTS.md: los mensajes reales, desde el primer link hasta la séptima versión.
• Los scripts: voces actuadas y paso a tu voz, Whisper, efectos y música con ElevenLabs, mezcla y la fuente única de tiempos.
• El mundo 3D completo, los carteles y los subtítulos, como referencia.
• El plan y el guion de este video, como ejemplo.

El kit no trae llaves: la de ElevenLabs y el ID de tu voz clonada los pones tú. Las skills de HyperFrames se instalan desde su fuente con npx hyperframes skills update.

Si te gustan estos videos, mira también cómo hice el video 3D del genio literal.