Blockify reescribe el RAG empresarial: usa IdeaBlock en lugar de Chunking, comprime 40 veces y reduce los tokens 3 veces

La nueva herramienta de optimización de datos empresariales de IA, Blockify, fue promocionada y organizada por akshay_pachaar el 9 de mayo. Afirma que en el flujo de RAG (Retrieval-Augmented Generation) puede comprimir la base de datos de la empresa 40 veces, reducir el uso de tokens de consulta 3 veces y aumentar en 2,3 veces la precisión de la búsqueda vectorial. En la descripción oficial de GitHub de Blockify se indica que el producto fue desarrollado por Iternal Technologies, que utiliza unidades de conocimiento estructurado con una estructura “IdeaBlock” para sustituir el chunking tradicional, y que mantiene la base de conocimiento concisa, coherente y gobernable mediante la desduplicación y la fusión por solapamiento.

Concepto central: usar IdeaBlock para sustituir el chunking tradicional

Diseño técnico de Blockify:

Enfoque tradicional: dividir documentos largos en chunk de tamaño fijo, incrustar vectores y obtener top-k en la recuperación

Enfoque de Blockify: convertir el contenido original en IdeaBlock: unidades de conocimiento estructurado con XML

Cada IdeaBlock incluye: pregunta incluida, respuesta confiable, tags, entidades y palabras clave

Los IdeaBlock similares se desduplican y fusionan automáticamente; la base de conocimiento no se infla a medida que crece el contenido

El problema del chunking tradicional es que la misma información puede aparecer repetida en múltiples chunks, generando redundancia en la recuperación y desperdicio de tokens; IdeaBlock incrementa la densidad de información mediante la desduplicación, expresando el mismo contenido con un espacio de almacenamiento más pequeño.

Beneficios concretos: comprimir 40 veces, reducir tokens 3 veces y aumentar la precisión 2,3 veces

Métricas de beneficios concretas publicadas por Blockify:

Compresión de datos: la base de datos de la empresa se reduce a aproximadamente 2,5% del tamaño original (40 veces de compresión), conservando 99% o más de la información

Tokens por consulta: de unos 303 (chunk tradicional) a unos 98 (IdeaBlock)—eficiencia 3,09 veces

Precisión de la búsqueda vectorial: mejora 2,29 veces

Mejora global de la precisión: aproximadamente 78 veces (efecto combinado integral, incluida la desduplicación y las mejoras en la recuperación)

Estimación de ahorro de costos: 100 millones de consultas/año; el costo de tokens ahorrado es de aproximadamente 73,8 mil dólares

La mejora global de la precisión 78 veces es un efecto combinado: la desduplicación reduce el ruido, el contenido estructurado de IdeaBlock resulta más favorable para la búsqueda vectorial, y la disminución de tokens en cada respuesta reduce también el margen de error del modelo.

Alcance de la integración: LlamaIndex, LangChain, Milvus, Cloudflare y otros marcos populares

Herramientas de desarrolladores e infraestructura que Blockify ya integra:

Marco RAG: LlamaIndex, LangChain

Gestión del conocimiento: Obsidian

Base de datos vectorial: Milvus, Elastic, Supabase

Computación en el borde: Cloudflare

Integración low-code: n8n (mediante plantillas de flujos de trabajo)

La estrategia de integración de Blockify es “no reemplazar los marcos RAG existentes, sino actuar como una capa previa de optimización de datos”. Los desarrolladores pueden sustituir el paso de chunking original por Blockify dentro de flujos existentes de LlamaIndex o LangChain, manteniendo intacto el resto del proceso.

Eventos concretos que se pueden seguir en el futuro: el crecimiento del número de estrellas en el GitHub de Blockify y la adopción por parte de la comunidad, si Iternal Technologies solicitará o revelará detalles técnicos sobre la estructura de IdeaBlock (actualmente destaca “patented ingestion”), y si los marcos RAG populares incorporarán lógicas similares de desduplicación como función predeterminada.

Este artículo Blockify reescribe el RAG empresarial: usa IdeaBlock para reemplazar el chunking, comprime 40 veces y reduce tokens 3 veces, apareció por primera vez en Cadena de Noticias ABMedia.