Cómo hacer un video 3D animado con IA, sin Blender

Este corto de comedia en 3D dura casi dos minutos: dos personajes de bloques, voces, música, subtítulos, 100 clones y 4 mariachis. No grabé nada, no abrí Blender ni After Effects y no animé nada a mano. Todo salió de conversar con Claude Code.

El video explica cómo se hizo el mismo video, y su chiste es también la lección: si le pides algo vago a una IA, te lo da al pie de la letra. "Hazme un video en 3D" y me hizo 3D a mí. "Que sea corto" y me encogió a 20 centímetros. "Hazlo viral" y salieron 100 copias mías.

Aquí está el método completo, con el prompt real, los pasos y el kit con los archivos que usé.

Qué necesitas

Todo es software; no hace falta equipo.

• Claude Code: el agente que escribe todo: la historia, el código 3D, los scripts y la mezcla.
• HyperFrames: de HeyGen, de código abierto (licencia Apache-2.0). Convierte HTML en video, cuadro por cuadro y siempre igual, y trae skills para Claude Code.
• Three.js: el mundo 3D en el navegador. Todo está hecho de cubos, sin modelos.
• GSAP: las animaciones de subtítulos, tarjetas y destellos.
• ElevenLabs: voces con marcas de tiempo por palabra, el clon de mi voz, los efectos de sonido y la música original.
• ffmpeg: la mezcla final, la voz de "ardilla" y el volumen estándar.
• Whisper (con transformers.js): comprueba que cada frase se entiende antes de usarla.
• La skill marketing-psychology: el gancho, el final que regresa al inicio y el llamado a la acción.
• Node 22: para correr la CLI y los scripts.

Para arrancar:

npx hyperframes init mi-video
npx hyperframes skills update

Paso 1: el prompt (el de verdad)

Este fue el primer mensaje, tal cual:

crea un entorno 3d estilo minecraft en un salón oscuro de computadora y anima en movimiento a claude en estilo minecraft y a mí en estilo minecraft, mientras enseña el proceso completo de cómo hacer videos con IA usando exactamente el método que usarás aquí y el prompt, es como un inception, una idea dentro de otra

Antes de construir nada, Claude propone tres historias distintas, solo en texto, y tú eliges una. Así no se gastan horas en una idea que no te gusta.

Paso 2: la especificación

Cada adjetivo se convierte en un número: 9:16, 30 cuadros por segundo, subtítulos de 76 px palabra por palabra, el color de cada personaje y la duración de cada escena. HyperFrames llama a esto SPEC.md. Es la diferencia entre "que se vea pro" y algo que se puede revisar.

Paso 3: el mundo en código, sin Blender

• La sala, el escritorio, el monitor y los estantes son cubos con texturas de 16 px dibujadas en código (InstancedMesh de Three.js).
• Los personajes también son cubos, pero tienen rodillas, y una pequeña fórmula (IK de dos huesos) mantiene los pies en el piso al sentarse y caminar.
• Las poses también son código: saludar, señalar, celebrar, encogerse de hombros, tener un berrinche, dar un gancho.
• La cámara sigue curvas suaves (Catmull-Rom) y corta en el chiste.
• La regla de oro de HyperFrames es que todo depende del tiempo: no hay azar sin semilla ni relojes, así que cada render sale idéntico. El adaptador three de HyperFrames le avisa a la escena qué segundo dibujar (el evento hf-seek).

Los trucos visuales también son código: el cuarto plano de cartón que se despliega a 3D como un libro pop-up, el efecto VHS de rebobinado, el vidrio roto cuando el personaje choca con la cámara y el efecto Droste, donde el monitor muestra el mismo plano y la cámara se mete en él.

Paso 4: las voces

• Generación: ElevenLabs, con marcas de tiempo por palabra. Esos tiempos mueven todo: los subtítulos, la boca de los personajes y los cortes.
• Mi voz: es un clon instantáneo hecho con unos 2,5 minutos de mi voz limpia, sacados de la grabación de una reunión. La transcripción con separación de voces encontró mis turnos.
• Claude: usa una voz latina de la biblioteca de ElevenLabs.
• Modelos: eleven_v3 actúa emociones con etiquetas como [deadpan], [crying] o [shouting]. Cuando v3 se trababa en frases cortas, esas se regeneraron con eleven_multilingual_v2.
• Comprobación: Whisper escucha cada frase y, si no la entiende, se regenera. Así se arreglaron "Claude…", "ponle música de fondo" y "IA". Para "IA", la palabra en pantalla quedó igual, pero se le hace leer "i a".
• Efectos de voz: la "ardilla" cuando me encojo es ffmpeg con rubberband, que sube el tono 1,5 veces sin cambiar la duración. El coro de 100 clones son cinco copias con tonos distintos, separadas por unos milisegundos.

Paso 5: el sonido

• Efectos: cada gag tiene el suyo, generado con la API de efectos de ElevenLabs y recortado a la medida: boing, chasquido, puñetazo de caricatura, golpe contra el vidrio, grillos, disco rayado, cascada de pops y un grito de mariachi.
• Música: cinco piezas originales con Eleven Music, una por acto (noche, comedia, mariachi, montaje y caída). Al ser piezas separadas se puede cortar en seco donde el chiste lo pide: el mariachi se calla de golpe en el silencio incómodo.
• Mezcla en ffmpeg: voces con ecualización, de-esser y compresión; la música baja sola cuando alguien habla; limitador y normalización a -15 LUFS, el estándar de redes.

Paso 6: una sola fuente de tiempos

Un script (build.mjs) lee cuánto dura cada voz y en qué segundo cae cada palabra, y con eso coloca todo: subtítulos, efectos, tramos de música, momentos de la cámara y la tarjeta final. Si cambias una frase, todo se reacomoda solo.

Paso 7: revisar antes de entregar

HyperFrames saca fotos de momentos clave (npx hyperframes snapshot --at ...) y Claude las revisa. Algunos arreglos reales que salieron así: la cabeza del personaje tapaba el reloj de las 2:13, un clon tapaba al protagonista mientras lloraba, la luz del monitor quemaba al personaje cuando se subía al teclado y la cámara estaba demasiado pegada a la cara de "Carlos".

Después viene el chequeo automático (npx hyperframes check) y el render (npx hyperframes render --quality delivery), que tarda unos 3,5 minutos para 2 minutos de video en una PC con GPU. Al final, la mezcla de audio.

Paso 8: iterar como con un cliente (6 versiones)

• "Debe fluir un poquito más, el inicio es raro": gancho nuevo, rodillas en los personajes y curvas de cámara.
• "La voz suena robótica": ElevenLabs y mi voz clonada.
• "La música es la de siempre" y "hay un ruido feo en los cambios de escena": música original y efectos cortos.
• "Más emoción, ¿estilo película?": un problema real (lanzo mañana y no tengo video), un giro y una caída final.
• "Hazlo más chistoso": una sola premisa cómica, el genio literal.
• "Que el plano entero sea 2D y solo yo 3D": el cuarto de cartón que se despliega.

Lo que aprendí

1. Especifica. La IA no adivina: mientras más claro el pedido, menos vueltas.
2. Una premisa fuerte gana a diez chistes sueltos. La lista de gags pequeños no dio risa; una idea que crece, sí.
3. Pide tres historias y elige tú. Es la decisión más barata de cambiar.
4. Escucha cada voz antes de usarla. Whisper se encarga de comprobarlo.
5. Un solo script para los tiempos. Cambias una frase y no se rompe nada.
6. Gancho en 2 segundos, final que regresa al inicio y llamado a la acción. En este caso, "Comenta «video»".

Los números del video

• 1:59 de duración, 3.574 cuadros, 1080 x 1920 a 30 cuadros por segundo.
• 45 frases de voz: 10 reutilizadas de versiones anteriores, 2 con efecto de coro y 11 con voz de ardilla.
• 100 clones, 4 mariachis, 9 recuerdos en la caída y 1 vidrio roto.
• 6 versiones y unos 3,5 minutos por render.

Qué trae el kit

• PROMPTS.md: el prompt inicial y los comentarios que cambiaron cada versión.
• tools/eleven.mjs: voces de ElevenLabs con tiempos por palabra; también clona tu voz y graba muestras.
• tools/voicefx.mjs: la voz de ardilla y el coro, con la misma duración.
• tools/sound6.mjs: efectos y música con ElevenLabs.
• tools/mix.mjs: la mezcla con ffmpeg.
• tools/build.mjs: la fuente única de tiempos, como ejemplo.
• compositions/: la escena 3D completa (world.html) y las capas de encima (titles.html), como referencia.
• narration.json: el guion con las etiquetas de emoción.
• skills/three-3d.md: el complemento para que las skills de video de HyperFrames usen Three.js.

Las skills de terceros no van copiadas; se instalan desde su fuente: HyperFrames con npx hyperframes skills update y marketing-psychology desde su repositorio. El kit no trae llaves: la de ElevenLabs la pones tú.

Si lo que quieres son videos de producto hechos desde tu propia app, mira también cómo hicimos los videos de xyCloser y XY Task.