Arquitectura de datos

La mayoría de las decisiones estratégicas de una organización dependen de datos que no están en su propio data warehouse. Viven afuera: dispersos en pliegos de contratación pública, vacantes publicadas en portales de empleo, tablas dinámicas de tasas financieras o páginas web de competidores que actualizan sus tarifas sin previo aviso. Monitorear ese entorno a mano es inviable. Equipos enteros dedican horas a abrir PDFs, copiar y pegar información en hojas de cálculo y comparar criterios con criterios subjetivos. El resultado es conocido: licitaciones clave que vencen antes de ser detectadas, programas educativos desalineados con las demandas reales del mercado laboral o productos financieros desfasados frente a los movimientos de la competencia. Intentar resolverlo con herramientas tradicionales suele fallar en dos extremos opuestos: 1. Los scripts de scraping rígidos: se rompen al menor cambio en la estructura HTML o el diseño de un portal. 2. Los modelos de lenguaje sin arquitectura (LLMs en crudo): alucinan datos numéricos, no garantizan esquemas consistentes y disparan los costos de cómputo al procesar volúmenes masivos sin control. Sinnetic Scope nace para superar ambas limitaciones. Es una arquitectura integral de descubrimiento semántico e inteligencia agéntica que captura datos no estructurados de la web, los normaliza mediante grafos autorreflexivos, los proyecta en espacios vectoriales de alta precisión y los contrasta contra la línea base de cada organización para entregar insights operativos inmediatos. Capa 1: Ingesta & Bronze Captura web adaptativa + OCR. Huella digital SHA-256 para deduplicación e idempotencia. JSON inmutable. Capa 2: Silver (Agentic ETL) Grafos autorreflexivos en LangGraph con Gemini API. Schema enforcement Pydantic. Observabilidad en LangSmith y Dead Letter Queue. Capa 3: Gold (Búsqueda Híbrida) Vectores densos 700+/1000+ D en Pinecone combinados con índice léxico mediante Reciprocal Rank Fusion (RRF k=60) y explicabilidad del match. Capa 4: Entrega & FastMCP Frontend SPA React+Vite, backend FastAPI en GCP (Docker) y servidor FastMCP para interacción directa M2M con otros agentes de IA. 1. De Bronze a Silver: El salto de un ETL rígido a un ETL Agéntico En la ingeniería de datos corporativa, la Arquitectura Medallion divide el procesamiento en tres niveles de madurez: datos crudos (Bronze), datos limpios y estructurados (Silver) y datos listos para analítica de negocio (Gold). El problema histórico de este modelo radica en la transición de Bronze a Silver cuando los datos provienen de fuentes externas no estructuradas. Una licitación puede ser un documento escaneado de 80 páginas; una oferta laboral puede ocultar requisitos técnicos en un párrafo narrativo; una entidad financiera puede publicar sus tasas en tablas anidadas o texto libre. Un pipeline convencional de expresiones regulares colapsa ante tanta variabilidad. Capa Bronze: Captura resiliente con huella digital El primer paso de Sinnetic Scope consiste en extraer la información mediante procesos adaptativos de recolección web y OCR asistido, depositando el contenido íntegro en la Capa Bronze en formato JSON inmutable. Para evitar reprocesos innecesarios y proteger el consumo de recursos, el sistema implementa una huella digital de contenido canónico (hashing criptográfico SHA-256). Si un portal web republica una oportunidad o una vacante con cambios meramente cosméticos, el motor reconoce la redundancia en la entrada y bloquea ejecuciones repetidas, asegurando idempotencia estricta antes de activar los módulos cognitivos. Capa Silver: Grafos autorreflexivos con LangGraph y Gemini Aquí reside el núcleo de innovación de Sinnetic Scope: el Agentic ETL. En lugar de depender de reglas fijas, el proceso de estructuración es operado por agentes construidos sobre LangGraph, utilizando la API de Gemini como motor de razonamiento contextual. El flujo no es lineal, sino un grafo cíclico con bucle de crítica y corrección: Nodo Extractor: Lee el texto desestructurado de Bronze y genera una propuesta inicial de extracción con los atributos críticos (presupuestos, fechas de cierre, perfiles requeridos, condiciones contractuales, ubicaciones). Nodo Validador (Guardrails Determinísticos): Somete la salida a un contrato de datos estricto mediante esquemas Pydantic tipados. Comprueba coherencia lógica: ¿las fechas son cronológicamente viables? ¿los valores numéricos están libres de caracteres especiales? ¿los campos mandatorios están completos? Bucle de Autocorrección: Si el validador detecta inconsistencias o vacíos, retroalimenta al nodo extractor con el error específico para que reexamine el fragmento de origen y ajuste la respuesta. Disyuntor (Circuit Breaker) y Dead Letter Queue (DLQ): Para evitar ciclos infinitos y sobrecostos de cómputo, el grafo cuenta con un límite estricto de dos a tres iteraciones. Si un documento corrupto o ilegible no logra validarse, se deriva automáticamente a una cola de excepciones (DLQ) para auditoría, manteniendo intacta la pureza de la Capa Silver. Todo este ecosistema agéntico está conectado en tiempo real a LangSmith, lo que otorga una observabilidad absoluta sobre latencias, rutas de ejecución de cada grafo, tasas de acierto y consumo granular de tokens. Lo que antes era una 'caja negra' en IA, en Scope es un proceso auditable a nivel corporativo. 2. Capa Gold: Precisión sin puntos ciegos mediante Búsqueda Híbrida (RRF) Una vez que los datos reposan limpios y normalizados en la Capa Silver, el reto cambia de naturaleza: ¿cómo determinar si una oportunidad del entorno tiene afinidad real con lo que busca una organización? Muchas soluciones de inteligencia artificial recurren a una búsqueda vectorial simple (pure dense retrieval). Sin embargo, en el mundo real, los vectores tienen una debilidad crítica: son sobresalientes entendiendo conceptos generales, pero pierden precisión ante códigos exactos, identificadores de producto, números de ley o códigos de clasificación como el estándar UNSPSC. Por el contrario, la búsqueda léxica tradicional por palabras clave encuentra los códigos exactos, pero es ciega a los sinónimos y al contexto semántico. La solución: Fusión de Rangos Recíprocos (RRF con k=60) Para lograr una exactitud quirúrgica, la Capa Gold de Sinnetic Scope indexa los documentos estructurados en Pinecone, proyectando representaciones vectoriales densas de alta dimensionalidad (700+ a 1000+ dimensiones, ajustadas al SLA y complejidad de cada cliente) y combinándolas con indexación léxica invertida. El motor de recuperación aplica el algoritmo de Reciprocal Rank Fusion (RRF) parametrizado con una constante de suavizado estándar k=60. Este mecanismo garantiza que: Una oportunidad con coincidencia exacta en códigos técnicos clave: suba inmediatamente en la priorización de resultados. Una oportunidad descrita con vocabulario alternativo pero conceptualmente idéntica: no quede descartada por rigideces léxicas. Los falsos positivos semánticos: queden neutralizados de forma natural mediante la ponderación armónica. El ancla del sistema: La 'Línea Base' del negocio El contraste no se realiza en el vacío. Toda búsqueda y cálculo de similitud de cosenos se ejecuta contra una Línea Base configurada para cada cliente: En licitaciones (Tender Radar): La línea base es el vector integral de la empresa (experiencia acreditada, certificaciones técnicas, capacidades operativas y músculo financiero). En educación y talento (Tablero de Educación): La línea base es el catálogo de programas académicos y competencias formativas que ofrece una institución o caja de compensación. En inteligencia de precios o productos: La línea base es el tarifario y portafolio vigente de la compañía frente a sus rivales. Explicabilidad del Match: Saber el 'por qué' detrás del número Un score de coincidencia de 0.88 no le sirve a un comité de decisión si no viene acompañado de contexto. Sinnetic Scope incorpora una capa de explicabilidad semántica: el sistema sintetiza los tres motivos técnicos de mayor afinidad (ej. 'Cumple el requisito de 5 años en Big Data y certificación ISO 27001') y resalta las alertas de descalificación o brechas identificadas (ej. 'Exige presencia física con sede en Cali'), permitiendo que el equipo humano decida en 30 segundos si vale la pena destinar recursos a esa oportunidad. 3. Entrega de Alto Desempeño: De la Nube a la Red de Agentes con FastMCP Una arquitectura de datos de vanguardia pierde su impacto si los resultados quedan atrapados en reportes estáticos en PDF que nadie lee. Sinnetic Scope opera como un ecosistema de servicios desacoplados diseñado para la toma de decisiones ágil y la integración corporativa: Frontend SPA (Single Page Application): Desarrollado con React y Vite, ofreciendo tableros interactivos, filtros facetados en tiempo real y visualizaciones analíticas con tiempos de carga inferiores a 200 milisegundos. Backend de Microservicios: Desarrollado sobre FastAPI y servido con Uvicorn, exponiendo endpoints REST optimizados bajo contenedores Docker desplegados en la infraestructura elástica de Google Cloud Platform (GCP). El Salto Interoperable (Servidor FastMCP): Además de alimentar la interfaz gráfica para usuarios humanos, Scope cuenta con un servidor nativo bajo el protocolo Model Context Protocol (FastMCP). Esto significa que cualquier otro agente de inteligencia artificial de la compañía (un copiloto en Slack, un asistente en Claude o una instancia de ChatGPT Enterprise) puede conectarse de forma segura a Scope, hacer preguntas en lenguaje natural sobre las oportunidades detectadas y consumir la información estructurada sin intervención manual. 4. Metodología en Acción: Dos Casos de Éxito Validados Caso 1: Sinnetic Tender Radar (Licitaciones y Contratación Estratégica) El reto del negocio: Las empresas de servicios, tecnología y consultoría pierden millones en contratos potenciales simplemente porque sus equipos comerciales no alcanzan a revisar las decenas de miles de licitaciones publicadas diariamente en plataformas como SECOP y portales corporativos. Los filtros por palabra clave tradicionales generan un 85% de ruido con licitaciones irrelevantes y descartan oportunidades valiosas redactadas con términos no coincidentes. La implementación con Scope: Se configuró como Línea Base el repositorio contractual de la compañía, su histórico de adjudicaciones y sus certificaciones corporativas. Los agentes de Scope capturan, descargan pliegos en PDF, ejecutan OCR donde es necesario y extraen requisitos habilitantes en la Capa Silver. El motor RRF (k=60) cruza los pliegos contra la Línea Base de la compañía. El resultado: El sistema reduce el ruido en más de un 80%, entregando cada mañana a la dirección comercial una bandeja priorizada con las licitaciones de mayor viabilidad técnica y financiera, detallando los puntos de match y los posibles cuellos de botella contractuales antes de iniciar la puja. Caso 2: Tablero de Educación y Empleo (Diagnóstico Territorial de Brechas de Talento) El reto del negocio: Las cajas de compensación familiar, ministerios de educación e instituciones de formación técnica y profesional enfrentan un desfase estructural: invierten presupuestos considerables en diseñar y abrir programas formativos sin contar con certidumbre sobre qué habilidades está demandando la industria en cada región del país. La implementación con Scope: Monitoreo diario y desestructuración de miles de vacantes laborales publicadas en portales de empleo de una región geográfica específica. Como Línea Base se estructuró el catálogo integral de programas educativos, mallas curriculares y competencias laborales ofrecidas por el ecosistema de capacitación regional. Mediante similitud de cosenos y grafos de competencias, Scope compara la demanda empresarial contra la oferta educativa disponible. El resultado: Generación de un tablero de inteligencia territorial que identifica en tiempo real los gaps críticos: cargos de alta demanda con déficit de egresados calificados, habilidades blandas o técnicas que el mercado exige pero los currículos no enseñan, y programas saturados con baja empleabilidad. La entidad reorienta sus subsidios de formación e inversión en becas con base en datos duros de mercado y no en presunciones. 5. El Horizonte de Expansión: Dónde más transforma industrias Sinnetic Scope La arquitectura agéntica de Scope es agnóstica a la industria. Su fortaleza reside en transformar la dispersión externa en decisiones estructuradas. Actualmente, su metodología se proyecta a nuevos frentes comerciales de alto impacto: Inteligencia Competitiva en Banca y Crédito: Monitoreo automatizado de tasas de colocación y captación (créditos de consumo, hipotecarios, libranzas, CDT). Permite a los comités de tesorería y producto ajustar sus tasas comerciales en días y no en meses. Benchmark Inteligente en Seguros: Análisis comparativo de condicionados generales de pólizas (salud, vehículos, vida, daños). Permite contrastar semánticamente exclusiones, deducibles y coberturas frente a rivales para detectar vacíos de mercado. Monitoreo de Precios y Surtido en Retail: Vigilancia de portales e-commerce para categorizar automáticamente surtidos, promociones agresivas y desabastecimiento de competidores para activar campañas tácticas en tiempo real. 6. El Impacto en la Mesa Directiva Cuando una organización reemplaza la recolección manual de información de mercado por la metodología de Sinnetic Scope, la dinámica estratégica cambia de raíz: Desafío habitual en la organización Lo que cambia con Sinnetic Scope Monitoreo manual y tardío de oportunidades en páginas web y PDFs Ingesta automatizada multicanal con huella digital SHA-256 que procesa fuentes externas de manera continua e incremental. Pérdida de tiempo en pliegos o datos irrelevantes por filtros de texto plano Búsqueda Híbrida RRF (k=60) que combina la precisión de códigos con el contexto semántico de la necesidad. Pipelines frágiles que se rompen al cambiar un formato o estructura de origen Agentic ETL con LangGraph y Gemini, con grafos cíclicos de autocorrección y validación estricta bajo esquemas Pydantic. Falta de visibilidad sobre costos de IA y comportamiento de los modelos Trazabilidad de punta a punta con LangSmith, auditando latencias, rutas de ejecución y consumo de tokens. Decisiones tomadas a ciegas por falta de justificación técnica Motor de Explicabilidad, detallando exactamente por qué una oportunidad hace match con la capacidad corporativa. Información aislada en hojas de cálculo que no se conecta con la empresa Arquitectura desacoplada en la nube (GCP) con FastMCP, lista para consumo humano y de otros agentes de IA. ¿Quiere evaluar cómo la arquitectura de Sinnetic Scope puede aplicarse para monitorear licitaciones, mapear tendencias laborales o vigilar a sus competidores con una línea base a la medida de su empresa? Agende una sesión técnica con el equipo de analítica de Sinnetic Sobre el Autor y el Desarrollo Nicolás Méndez Gutiérrez Científico de Datos · AI Engineer · Desarrollador Principal de Sinnetic Scope & Predict Arquitecto y líder de producto especializado en inteligencia artificial agéntica, modelación semántica y soluciones de analítica avanzada para el entorno empresarial. Diseñador de la infraestructura de descubrimiento de datos y orquestación de modelos de Sinnetic Scope. 🔗 LinkedIn: Perfil de Nicolás Méndez 🏢 Empresa: Sinnetic S.A.S. 🌐 Sitio Web: Sinnetic

Arquitectura de datos

Inteligencia de mercado con IA: de los datos a las decisiones

Grow your business more quickly
with our solutions for inbound and ecommerce

Arquitectura de datos

Inteligencia de mercado con IA: de los datos a las decisiones

Grow your business more quickly with our solutions for inbound and ecommerce

Grow your business more quickly
with our solutions for inbound and ecommerce