Deep Research y el valor del conocimiento

Probamos el último agente de OpenAI: Deep Research. Impresiones, casos de uso, y el valor de la información en la era de los agentes IA.

Esta semana, Ben Thompson publicó Deep Research and Knowledge Value. En el artículo, describe su experiencia probando el último agente de OpenAI, Deep Research. La compañía lo describe así en su FAQ:

Deep research is a specialized AI capability designed to perform in-depth, multi-step research using data on the public web. It’s fine-tuned on the upcoming OpenAI o3 reasoning model and can autonomously search for and read information from diverse online sources. This enables it to create thorough, documented, and clearly cited reports on complex topics.

Thompson es un reputado analista que lleva más de 10 años escribiendo una de las listas de correo de referencia del sector tecnológico, Stratechery. Como fiel suscriptor, cuando leí su opinión tras sus pruebas con Deep Research no pude evitar sentir cierta excitación.

Much of this is in the (not-so-distant) future; for now Deep Research is one of the best bargains in technology. Yes, $200/month is a lot, and yes, Deep Research is limited by the quality of information on the Internet and is highly dependent on the quality of the prompt. I can't say that I've encountered any particular sparks of creativity, at least in arenas that I know well, but at the same time, there is a lot of work that isn't creative in nature, but necessary all the same. I personally feel much more productive, and, truth be told, I was never going to hire a researcher anyways.

Ejemplos de uso de Deep Research

Thompson comenta los resultados de tres pruebas en su artículo. En primer lugar, le pide a la IA generar un artículo comentando la última presentación de resultados de Apple, centrándose en tres ideas concretas y siguiendo su propio estilo en Stratechery. Si bien reconoce que no encuentra nada especialmente novedoso, reconoce que la IA hace un buen trabajo.

El segundo ejemplo gira en torno de la preparación de una entrevista. Thompson, quien para preparar cualquier entrevista invierte varias horas documentándose, le pide en esta ocasión a Deep Research que le prepare un informe sobre su siguiente invitado. Con la respuesta, un informe de 28 páginas, Thompson ya da por amortizados los 200$ que cuesta la suscripción PRO de ChatGPT.

I found the results eminently useful, although the questions were pretty mid; I did spend some time doing some additional reading of things like earnings reports before conducting the Interview with my own questions. In short, it saved me a fair bit of time and gave me a place to start from, and that alone more than paid for my monthly subscription.

Pero no todo iba a ser glorioso. En su último ejemplo, Thompson le pide un análisis sobre una industria en concreto. Deep Research hace su trabajo preparando un extenso informe, pero omite información clave de la industria que no es de dominio público.

The issue with the report I generated — and once again, I'm not going to share the results, but this time for reasons that are non-obvious — is that it completely missed a major entity in the industry in question. This particular entity is not a well-known brand, but is a major player in the supply chain. It is a significant enough entity that any report about the industry that did not include them is, if you want to be generous, incomplete.

El valor del conocimiento

El último ejemplo sirve para demostrar una verdad fundamental de los LLMs y cualquier herramienta de investigación que nos provean: no pueden ver más allá de lo que está públicamente accesible en Internet.

Una primera derivada de este hecho, es que aquello que está publicado en abierto, tendrá poco valor. Por ejemplo, Thompson cuestiona el valor que tendrá para un analista invertir muchas horas buceando en los reportes financieros de una empresa, cuando probablemente una IA será capaz de proveer un informe casi perfecto a cualquiera que se lo pida en minutos.

Por contraposición, si el valor de lo que conoce todo el mundo cae, el valor de lo que conocen sólo unos pocos aumenta. Habrá de hecho, un incentivo en las empresas por mantener la información lo más oculta posible.

What is interesting to consider is what this means for AI tools like Deep Research. Hedge funds have long known the value of proprietary data, paying for everything from satellite images to traffic observers and everything in between in order to get a market edge. My suspicion is that work like this is going to become even more valuable as security by obscurity disappears; it's going to be more difficult to harvest alpha from reading endless financial filings when an AI can do that research in a fraction of the time.

Mis pruebas con Deep Research

Este artículo podría ser tan sólo un comentario sobre el de Stratechery, pero necesitaba probarlo por mí mismo, así que no me quedó otra que sacar la tarjeta de crédito y pagar los 242$ (200$ + IVA) que cuesta la suscripción de ChatGPT Pro desde España.

No me arrepiento. Me he pasado literalmente todo el sábado haciendo pruebas y estoy bastante alineado con los comentarios de Thompson. Deep Research es una herramienta impresionante, y tiene la capacidad de ahorrar cientos de horas de trabajo de aquellos que necesitan recabar información profunda sobre cualquier tema del que haya la suficiente cantidad de datos en Internet.

Una de mis primeras consultas fue pedirle que redactara un informe listando los princiales casos de empresa que se estudian en escuelas de negocio como Harvard, Stanford o Wharton. Es una lista que siempre he querido hacer, pero que no es fácil sin invertir una apreciable cantidad de tiempo.

Deep Research fue capaz de crear un detallado informe de 43 páginas, que se dice pronto, en menos de 10 minutos.

Tiene un pequeño truco también, y es que el prompt ya eran tres páginas. ¿Escribí yo las tres? Por supuesto que no. Le pedí a ChatGPT O1 Pro que escribiera el mejor posible para la generar un informe con Deep Research.

Casi toda la tarde la pasé así. Pensaba en ejemplos que pudiera usar, y le pedía a ChatGPT que creara un prompt para obtener el informe que necesitaba. Luego le pasaba la pregunta a Deep Research, y unos minutos después, obtenía el informe.

Algunos casos de uso interesantes que probé:

• Un análisis de mercado sobre una industria determinada.

• Una comparativa de uno de nuestros productos contra la competencia generando una matriz SWOT.

• Un estudio sobre las quejas y peticiones más comunes sobre una funcionalidad de un producto en Internet.

• Un análisis estratégico de dos empresas que compiten entre sí y la generación de escenarios y posibles acciones a tomar.

• Varios análisis de empresas públicas que sigo en bolsa.

Deep Research brilló en cada caso, generando extensos informes y ahorrándome una cantidad de tiempo considerable. Ahora bien, como comentaba Thompson, Deep Research no me aportó ningún insight particularmente novedoso. Simplemente me ahorró trabajo descubriendo, agregando y condensando información que ya existía de por sí en Internet.

¿Vale eso los 200$ de la suscripción? Para ciertos casos de uso no tengo la menor duda. Algunos de esos informes podrían haber llevado varios días a un analista júnior. ¿Es un gasto justificado para todo el mundo? Probablemente no al precio actual. Pero esto avanza muy deprisa y muy pronto habrá más alternativas a una fracción del coste de Deep Research. Google y Perplexity, por ejemplo, ya tienen las suyas propias aunque desde mi punto de vista están un orden de magnitud por debajo de la de Open AI.

Conclusión

En definitiva, Deep Research me ha sorprendido gratamente y me parece una herramienta que sin duda me sería extremadamente útil en determinados momentos. Ahora bien, también me impresionó NotebookLM de Google y aquella historia de amor duró apenas dos semanas.

Mi gran duda es en saber si un informe generado a través de la información que está públicamente accesible en Internet tendrá algún valor cuando todo el mundo tenga acceso a herramientas como Deep Research. Tiendo a pensar que no.

Sí estoy seguro de que, a futuro, dos cuestiones serán críticas: el acceso a fuentes de datos propietarias y la creatividad humana para unir los puntos de formas que ninguna IA pueda imitar.