PHASE–TTC
Del movimiento al tiempo.
¿Cuánto falta para el contacto? Dos sensores miden el movimiento. Un sistema causal estima el tiempo.
RGB ve la apariencia. Las cámaras de eventos registran cambios de brillo. PHASE–TTC combina sus medidas para estimar el tiempo hasta el contacto con signo.
La misma escena, a través de medidas distintas.
FCWD1:0007. Fuente y contexto en el artículoUn reloj en el movimiento
Un objeto que crece en la imagen puede revelar a qué velocidad se aproxima.
El tiempo hasta el contacto describe cuándo ocurriría el contacto si continuara el movimiento relativo. El cambio de escala aporta información bajo ciertas hipótesis geométricas, pero la rotación, las oclusiones y los cambios de superficie pueden romper esa relación.
El modelo trabaja en el espacio de fase, una representación del cambio relativo de escala en un intervalo temporal declarado, y convierte su salida a segundos. El error en fase y el error en segundos miden cosas distintas.
Sigue una escena real
Dos sensores, el mismo instante. Reproduce los fotogramas RGB y los eventos registrados y examina qué estimó cada rama.
EvTTC · CCRm, velocidad baja · sistema TRAIN40 congelado · 6,1 segundos
No se ha podido cargar la grabación. La imagen fija y las estimaciones guardadas siguen disponibles. Abrir el vídeo
Ambas vistas comparten el reloj de la grabación. Las coordenadas de sus cámaras difieren: se muestran una junto a otra, sin superponerlas.
La vista de eventos acumula cambios de brillo reales durante 100 ms. Los colores muestran la polaridad: es una representación de datos del sensor, no una animación generada.
Estimaciones registradas
Consulta 1 / 16 t = 14,350 s
- Referencia
- s
- RGB
- s
- Eventos
- s
- PHASE-TTC
- s
Salta a un instante evaluado
Los valores cambian solo en las 16 consultas guardadas. Entre consultas se mantiene la última estimación registrada. No se interpolan predicciones ni se ejecuta un modelo en el navegador.
- Referencia
- RGB
- Eventos
- PHASE-TTC
Las líneas unen las muestras registradas para facilitar la lectura de la tendencia. La fusión puede mejorar o empeorar en un instante concreto; se muestra el fragmento completo.
Consultar todos los valores registrados
| Tiempo | Referencia | RGB | Eventos | PHASE-TTC |
|---|---|---|---|---|
| 0,00 s | 5,696 | 4,978 | 5,411 | 4,803 |
| 0,35 s | 5,287 | 5,074 | 4,693 | 4,576 |
| 0,70 s | 4,932 | 4,436 | 4,065 | 4,036 |
| 1,05 s | 4,595 | 4,604 | 4,366 | 4,254 |
| 1,40 s | 4,248 | 4,106 | 3,631 | 3,680 |
| 1,75 s | 3,958 | 3,529 | 3,561 | 3,289 |
| 2,10 s | 3,701 | 2,996 | 3,407 | 2,903 |
| 2,45 s | 3,452 | 2,995 | 2,768 | 2,732 |
| 2,80 s | 3,116 | 2,846 | 2,893 | 2,711 |
| 3,15 s | 2,845 | 2,523 | 2,580 | 2,312 |
| 3,85 s | 2,392 | 2,171 | 2,346 | 2,040 |
| 4,50 s | 2,033 | 1,921 | 2,320 | 1,876 |
| 4,85 s | 1,894 | 1,713 | 1,717 | 1,593 |
| 5,30 s | 1,756 | 1,848 | 2,228 | 1,905 |
| 5,70 s | 1,748 | 2,624 | 2,171 | 2,332 |
| 6,10 s | 2,112 | 2,461 | 5,016 | 2,600 |
Son salidas guardadas del sistema TRAIN40 congelado, del estudio de transferencia de 468 consultas, no de la fusión adaptada posterior. Se proporcionaron las regiones de objeto y los datos estuvieron expuestos durante el desarrollo. La referencia es la anotación TTC del escenario. Este fragmento no es un nuevo benchmark ni una evaluación con cámara en directo. Procedencia de imágenes y resultados · Atribución y licencia de EvTTC.
Dentro de una predicción
Sigue los datos por cada parte de la arquitectura. Las entradas reales y las salidas guardadas corresponden a la consulta seleccionada en la reproducción anterior.
Un marco espacial común
Un marco espacial común
Cada modalidad recibe regiones de objeto proporcionadas. Un recorte común mantiene la escala espacial entre los instantes de observación y redimensiona las muestras a 128 × 128 píxeles.
Entrada registrada real
Recortes RGB y de eventos reales en el mismo instante de observación. La animación recorre los tres instantes; los sensores tienen sistemas de coordenadas distintos. Sus colores conservan el orden de canales de entrada del modelo, distinto del vídeo corregido para visualización. Los JPEG visualizan las entradas; no son archivos de tensores sin pérdida.
Regiones proporcionadas → coordenadas comunes → tripletas de imágenes
Para qué sirve
Si cada objeto se redimensionara por separado hasta llenar su imagen, su crecimiento aparente podría desaparecer. Conservarlo mantiene una señal útil de movimiento.
De tiempos de eventos a doce planos
De tiempos de eventos a doce planos
Cada ventana de 100 ms se convierte en cinco intervalos temporales de eventos positivos y cinco de negativos. Cada evento contribuye a intervalos adyacentes mediante interpolación lineal. El log-conteo y la log-tasa globales de la región añaden dos canales espacialmente constantes.
Entrada registrada real
Ver los doce planos
Entrada codificada real de la consulta seleccionada, reescalada por plano para visualizarla. Los canales constantes pueden verse uniformes. Son entradas, no activaciones aprendidas.
(x, y, t, polaridad) → 5 + 5 + 2 → 12 × 128 × 128
Para qué sirve
La red recibe medidas espaciales que conservan polaridad, tiempo y actividad, en lugar de una lista de eventos sin estructura.
La primera medida de movimiento
La primera medida de movimiento
R-A5 procesa pares RGB y E-A5 procesa representaciones de eventos. Cada productor construye un token de par de 128 valores aprendidos y diagnósticos de movimiento, junto con una primera estimación de TTC o fase.
Entrada registrada real
Los recortes son reales. El token y las flechas son un esquema de estructura; no se guardaron activaciones intermedias de esta reproducción.
Observaciones emparejadas → R-A5 / E-A5 → token y medida de movimiento
Para qué sirve
Así se obtiene una medida separada de cada sensor antes de incorporar la historia temporal o la corrección entre sensores.
Buscar correspondencias a varias escalas
Buscar correspondencias a varias escalas
R-C2F y E-C2F aportan otra estimación de movimiento mediante correspondencias locales en resoluciones de características gruesas y finas. Se ejecutan en paralelo a A5, no después.
Búsqueda gruesa
Búsqueda fina
Los recortes reales ilustran la idea de escala. Este esquema no muestra la pirámide de características aprendidas ni vectores de correspondencia medidos.
Características locales → correspondencia gruesa y fina → segunda medida
Para qué sirve
Una búsqueda amplia puede cubrir desplazamientos mayores; otra más fina puede precisar la correspondencia local. Los productores pueden discrepar, y las etapas posteriores reciben también esa discrepancia.
Un token necesita un reloj
Un token necesita un reloj
PAIR-R y PAIR-E leen cada token A5 junto con campos de tiempo transcurrido y soporte de observación. Su entrada de 133 valores produce otra estimación de fase para cada sensor.
Los campos simbólicos muestran el cálculo, no valores guardados. A5, C2F y PAIR aportan ahora tres estimaciones de fase por modalidad.
128 valores del token + 3 tiempos + 2 valores de soporte → fase
Para qué sirve
El mismo cambio visual en un intervalo menor implica un movimiento distinto. El tiempo y el soporte válido ayudan a interpretar el par.
Refinar cada sensor en el tiempo
Refinar cada sensor en el tiempo
R-CTX y E-CTX utilizan GRU separadas de dos capas. Cada una lee 17 características de medida y cuatro tiempos a lo largo de hasta ocho observaciones válidas. Sus estados ocultos de 160 valores permanecen dentro de cada rama.
La curva interactiva utiliza estimaciones RGB y de eventos guardadas de la consulta seleccionada y de consultas anteriores del fragmento. Activa JavaScript para explorar esas muestras registradas.
La curva muestra salidas de contexto guardadas anteriormente en el fragmento, no el estado oculto de la GRU ni sus instantes internos exactos.
Historia válida en esta consulta: RGB — / eventos —.
Medidas + sus tiempos → GRU independientes → fase RGB / eventos refinada
Para qué sirve
La historia permite contextualizar medidas ruidosas o discrepantes. Solo contribuyen observaciones pasadas disponibles; los 650 ms de soporte no son la latencia de respuesta.
Corregir la fase RGB
Corregir la fase RGB
El noveno componente recibe diez campos explícitos de cada rama. Una cabeza compacta de 20 → 32 → 32 → 3 predice una corrección anclada en RGB. Tiene 1.955 parámetros; esa no es la dimensión del sistema completo.
De cada sensor
Los segundos anteriores son salidas finales guardadas de las ramas y la fusión. Aquí no están registrados los campos de fase cruda ni los valores intermedios de corrección.
10 campos RGB + 10 campos de eventos → corrección → fase refinada
Para qué sirve
La fusión puede utilizar discrepancias, tiempos y soporte histórico sin mezclar estados recurrentes opacos. Su beneficio debe medirse: una corrección también puede empeorar la predicción.
Una estimación con signo y una referencia
Una estimación con signo y una referencia
La fase corregida se transforma en TTC inverso y después en segundos. Un TTC positivo representa aproximación; uno negativo, alejamiento. La convención de salida satura cerca de TTC inverso cero en ±60 s.
Error absoluto en esta consulta: 0.893 s
TTC = sign⁺(q) / max(|q|, 1/60)
Por convención, fase cero se convierte en +60 s. Las anchuras de fase aprendidas no son probabilidades de colisión calibradas.
Fase → TTC inverso → segundos con signo
Para qué sirve
La fase proporciona una representación del movimiento; los segundos hacen interpretable la salida. Compararla con la referencia registrada revela el error de esta consulta, no una garantía general de precisión.
Nueve componentes ajustados: R-A5, E-A5, R-C2F, E-C2F, PAIR-R, PAIR-E, R-CTX, E-CTX y fusión. Aquí se explica su función de diseño; se necesitan ablaciones controladas para establecer la contribución de cada uno. Las consultas de transferencia mostradas estuvieron expuestas durante el desarrollo.
Dos rutas. Una estimación.
Nueve componentes ajustados convierten estimaciones de movimiento independientes en una corrección anclada en RGB.
Arquitectura y entrenamiento en el artículoMedir el movimiento
Cada sensor tiene un productor base A5 y otro C2F de grueso a fino. Su marco espacial compartido conserva el cambio de escala aparente. El sistema evaluado recibe las regiones del objeto.
Leer el pasado
PAIR-R y PAIR-E extraen características de fase. Refinadores GRU de dos capas separados combinan movimiento, temporización e historia disponible. Cada predicción utiliza solo observaciones disponibles hasta el instante de consulta.
Fusionar medidas
El módulo anclado en RGB ajusta la fase estimada por RGB con 20 características explícitas de fase, temporización y soporte. Después convierte la fase en TTC con signo. Los estados ocultos aprendidos permanecen dentro de cada modalidad.
1.955 parámetros entrenables en el módulo corrector. Esta cifra no es el tamaño del sistema completo.
Ver la arquitectura neuronal completa
Ver qué recibe el módulo de fusión
Aprender con grupos separados
Las predicciones out-of-fold agrupadas entrenan las etapas posteriores. Cinco rotaciones auxiliares mantienen separados los grupos de secuencias al generar características; el despliegue ejecuta una cadena. La exposición previa al seleccionar la arquitectura y el cambio entre los ajustes auxiliares y el ajuste completo siguen siendo limitaciones.
El resultado del benchmark
Un Overall MiD un 20,49% menor que la referencia publicada de Garl-TTC.
Resultado archivado de GarlTTC Test, 28 de octubre de 2026. Primero entre las tres entradas mostradas en esa fecha.
Evidencia del benchmark en el artículo| Sistema | Puntuación |
|---|---|
| PHASE–TTC | 35,80 |
| Garl-TTC | 45,03 |
6.762 tokens evaluados: 5.805 consultas físicas distintas y 957 alias en doce secuencias. Ambas entradas tienen un 0% de fallos según el evaluador.
Qué demuestra este resultado
MiD mide desplazamiento en el espacio de fase, no error en segundos. Un fallo del evaluador es una predicción no finita o una magnitud de TTC inferior a 0,1 s; cero fallos no significa cero colisiones no detectadas. El ranking no uniformiza la historia disponible, la localización proporcionada, la supervisión ni el tiempo de ejecución. No aísla la contribución de los eventos ni de un componente concreto.
Qué cambió esta semana
Adaptación sensible a la calidad. Evaluación local corregida. Controles más exigentes.
La edición ampliada incorpora experimentos hasta el 2 de noviembre. El resultado original del benchmark se mantiene congelado.
Adaptación en EvTTC
Tres pequeños routers de calidad combinan estimaciones del inverso del TTC con signo de expertos neuronales y geométricos causales. Cada router tiene 688 parámetros entrenables; las semillas 7, 13 y 21 forman el conjunto entregado. Los nueve modelos anteriores permanecen congelados.
Error absoluto medio. Menor es mejor.
MAE local un 59,28% menor. El error relativo medio desciende del 49,894242% al 17,249803%. Las 365 consultas de carretera también mejoran, de 0,305401 a 0,185200 s de MAE, por lo que el cambio agregado no se debe solo a Slider.
Adaptación local, con exposición previa
Los routers se ajustan con 2.608 consultas de desarrollo. Aunque las grabaciones de competición se excluyen de esas actualizaciones del optimizador, ya se habían examinado en experimentos anteriores. Slider-750 aún difiere del evaluador del organizador. Ambas variantes usan la interpolación de predicciones negativas descrita por el organizador solo para la evaluación; las predicciones con signo archivadas permanecen intactas. Estas mejoras no son una nueva puntuación oficial ni un resultado de generalización independiente.
Por qué cambió la nota de cobertura
El artículo anterior informaba de cobertura de salida para 434 consultas sin objetivos verificados. El trabajo posterior corrigió la asociación local de objetivos y permitió comparar la precisión local. Esto sustituye la afirmación limitada a cobertura, aunque la discrepancia del evaluador y la exposición durante el desarrollo siguen limitando su interpretación.
El reloj es parte de la medida
La cadencia real de observación y el intervalo canónico de fase son cantidades distintas. Corregir esa distinción produce un pequeño cambio en carretera cuyo intervalo incluye cero y otro mayor en una grabación de Slider ya expuesta. Los controles posteriores de router y reajuste no superan los criterios de promoción. El experimento de cadencia no sustituye al adaptador entregado.
Intervención de cadencia canónica en el artículoDónde ayuda la fusión
Mejorar la cola del error no garantiza mejorar la media.
Otro estudio de transferencia utiliza 468 consultas de EvTTC con TTC positivo, expuestas durante el desarrollo. Es una población distinta de las 434 consultas de adaptación anteriores.
| Medida | RGB | PHASE–TTC |
|---|---|---|
| MAE | 1.015 | 1.023 |
| p95 | 3.799 | 3.243 |
| Errores > 10 s | 2 | 5 |
Todos los intervalos del 95% para diferencias pareadas de media, mediana y p95 del error absoluto incluyen cero. Esto no demuestra un beneficio universal de las cámaras de eventos. Las anchuras de fase aprendidas también requieren calibración empírica antes de interpretarse como probabilidades.
Análisis de transferencia en el artículoLo que no funcionó
Los resultados negativos dieron forma al sistema. La hipótesis JEPA original forma parte de la historia de investigación, no es una afirmación sobre el estimador final.
Predecir exige controles
Un piloto con profesor fijo comparó destilación estática, predicción de un paso y futuros permutados con tres semillas. Ninguna de las dos pruebas de superioridad predefinidas se superó según el criterio de bootstrap por secuencia. El error del cambio logarítmico de altura es adimensional, no un error de TTC en segundos. Estos experimentos no demuestran un beneficio de JEPA.
La física no basta
Se probaron descriptores físicos, medidas de flujo normal y superficies de tres fotogramas frente a referencias comparables. Varias rutas interpretables empeoraron el TTC del sistema completo. Una ecuación correcta y mejores medidas intermedias no demuestran por sí solas una mejor estimación final.
Detección por separado
El estudio de detección eAP eleva el mAP de desarrollo alineado de 0,05702 a 0,06204 al reordenar propuestas fijas. Su AP oficial es 0,05130, sin un envío base pareado al test. Una reproducción de ocho fotogramas con detector, tracker y TTC demuestra la interfaz, no la precisión independiente del TTC de extremo a extremo.
Tiempo hasta la respuesta
Una estimación causal también debe llegar a tiempo.
Objetivo de respuesta
p95 medido
La reproducción de cinco segundos a 50 Hz completó 250 actualizaciones de un solo objeto con paridad numérica y sin pérdidas. Sin embargo, 201 respuestas alcanzaron o superaron los 20 ms. La latencia empieza en la llegada programada y termina con todas las salidas TTC requeridas en el host.
GPU RTX 5070 Ti Laptop, datos RAW precargados y E/S de disco excluida. No es un resultado con cámara en directo ni con múltiples objetos durante un periodo sostenido. Otras medidas de ejecución se mantienen separadas porque difieren sus cargas y límites de medición.
Sigue la evidencia
La edición ampliada de 65 páginas reúne el método, los resultados ejecutados, los candidatos descartados y el registro de reproducibilidad.
Edición ampliada: 2 de noviembre de 2026
El LaTeX independiente requiere las figuras incluidas en el ZIP completo.