En Buenos Aires, a los días 21 de septiembre de 2021 se reúne la comisión evaluadora del llamado a Pronósticos Económicos, con el objetivo de evaluar las propuestas recibidas. La comisión está compuesta por:
- María Lorena Garegnani
- Alejandro Avenburg
- Gabriel Vommaro
1. Propuestas evaluadas
Las siguientes instituciones se presentaron a la mencionada convocatoria y superaron la etapa de admisibilidad.
- Instituto Interdisciplinario de Economía Política (IIEP-BAIRES, Universidad de Buenos Aires) y CINEA (Universidad Nacional de Tres de Febrero).
- UNICEN (Universidad Nacional del Centro de la Provincia de Buenos Aires). Facultad de Ciencias Económicas.
- Escuela Interdisciplinaria de Estudios Sociales (IDAES) de la Universidad de San Martín (UNSAM).
2. Criterios
Los criterios utilizados para la evaluación surgen de las bases y condiciones de la convocatoria:
- El CV del grupo responsable del proyecto presentado se evaluará de acuerdo a:
- formación de posgrado.
- competencias en análisis cualitativo y cuantitativo identificables tanto en publicaciones como en participación en proyectos de investigación y/o de consultoría.
- antecedentes de investigación en temas afines al de la convocatoria, identificables tanto en publicaciones como en participación en proyectos de investigación y/o de consultoría.
- El CV del equipo de trabajo se evaluará de acuerdo a:
- formación de posgrado.
- competencias en análisis cualitativo y cuantitativo identificables tanto en publicaciones como en participación en proyectos de investigación y/o de consultoría.
- antecedentes de investigación en temas afines al de la convocatoria, identificables tanto en publicaciones como en participación en proyectos de investigación y/o de consultoría.
- La calidad, pertinencia y factibilidad del diseño de la propuesta de investigación se evaluará en relación a cuatro de los cinco componentes identificados en la convocatoria: componente comparado, componente cualitativo, componente cuantitativo y componente multi-métodos.
- Se evaluará también la calidad general de la presentación (entendida como la solidez y originalidad general de la propuesta y la relación entre los cinco componentes identificados en la convocatoria).
Puntajes
| Rubro | Puntaje máximo |
| CV del grupo responsable | 20 |
| CV del equipo de trabajo | 10 |
| Diseño de los 4 componentes (15 puntos por componente) | 60 |
| Calidad global de la presentación | 10 |
| TOTAL | 100 |
Cada una de las propuestas recibirá en las distintas categorías una calificación de Insuficiente (correspondiente al 0% del puntaje), Cumple (correspondiente al 75% del puntaje) o Sobresaliente (correspondiente al 100% del puntaje) de acuerdo a los criterios que a continuación se detallan. En algunos casos se incluirá la calificación Cumple parcialmente (correspondiente al 50% del puntaje).
Al evaluar el CV del grupo responsable, el requisito para la calificación Cumple es que todos/as los/las miembros cuenten con formación universitaria de posgrado en disciplinas afines (al menos uno/a con doctorado terminado), que tengan en conjunto al menos 4 publicaciones en revistas de buena indexación (Scopus) relacionadas con el tema (que incluyan análisis cualitativo y cuantitativo) o publicaciones especializadas en instituciones de prestigio vinculadas con la actividad económica (Banco Centrales, organismos multilaterales, etc.) y que hayan dirigido al menos un proyecto de investigación y/o de consultoría en áreas afines en el que se hayan empleado métodos cualitativos y cuantitativos. Para alcanzar el nivel de Sobresaliente, es necesario que todos/as los/las miembros del equipo tengan doctorado terminado, que cada miembro tenga al menos 2 publicaciones en revistas de buena indexación (Scopus) relacionadas con el tema (que incluyan análisis cualitativo y cuantitativo) o publicaciones especializadas en instituciones de prestigio vinculadas con la actividad económica (Banco Centrales, organismos multilaterales, etc.) y que hayan dirigido o sido parte del equipo responsable de al menos un proyecto de investigación y/o de consultoría en el área específica de esta convocatoria (pronósticos, econometría, estudios sobre expertos en economía y medición).
Para evaluar el CV del equipo de trabajo, el requisito para la calificación Cumple es que los/las miembros tengan, en conjunto, al menos 2 publicaciones en revistas de buena indexación (Scopus) o publicaciones especializadas en instituciones de prestigio vinculadas con la actividad económica (Banco Centrales, organismos multilaterales, etc.) y que hayan formado parte de al menos un proyecto de investigación y/o de consultoría en áreas afines. En ambos casos debe identificarse fácilmente que se han empleado las técnicas relacionadas con la competencia que deben cubrir. Para alcanzar el nivel de Sobresaliente es necesario que tengan formación de posgrado en el área, al menos 4 publicaciones en revistas de buena indexación (Scopus) o publicaciones especializadas en instituciones de prestigio vinculadas con la actividad económica (Banco Centrales, organismos multilaterales, etc.) y que hayan formado parte de al menos dos proyectos de investigación y/o de consultoría en el área específica de esta convocatoria (pronósticos, econometría, estudios sobre expertos en economía y medición).
El diseño metodológico de los cuatro componentes descritos en la convocatoria se califica en base a un análisis de la coherencia, la robustez, la factibilidad y la originalidad de la propuesta en cada uno de los ítems. No se considerarán propuestas que hayan omitido o desarrollado de manera insuficiente alguno de los cuatro componentes. La calificación de Cumple se aplicará a las propuestas que posean un diseño completo, pertinente, coherente y factible y la de Sobresaliente destacará a los casos donde éste es especialmente robusto y original.
Finalmente, se califica la calidad de la presentación recibida, alcanzando la calificación de Cumple cuando se cumplen todos los requisitos requeridos y la de Sobresaliente para destacar a los casos donde tanto la calidad de los equipos como la del diseño metodológico es especialmente original y pertinente.
3. Análisis de las presentaciones
Se consigna aquí una breve síntesis de cada una de las presentaciones recibidas que justifique los puntajes asignados en el punto 4.
- Propuesta 1 UBA-UNTREF
El grupo responsable está conformado por: J. Daniel Aromí (IIEP UBA-Conicet), Pablo Mira (IIEP UBA-Conicet) y Leonor Pérez Bruno (CINEA UNTREF). J. Daniel Aromí es Máster en Economía de Gobierno (UBA) y Ph.D. en Economía (University of Maryland at College Park), Pablo Mira es Máster en Economía de Gobierno (UBA-ISEG) y Doctorando en Economía (UBA) y María Leonor Pérez Bruno es Especialista en Demografía Social (UNLU) y Doctoranda en Ciencias Sociales (FLACSO).
J. Daniel Aromí presenta 6 artículos en revistas de la más alta indexación y 1 en una revista indexada en Scielo. Pablo Mira cuenta con dos trabajos en revistas con buena indexación/publicaciones en instituciones de prestigio. María Leonor Pérez Bruno no tiene publicaciones en revistas con indexación Scopus ni en instituciones de prestigio asociadas con la actividad económica. Los tres integrantes del grupo responsable tienen amplia experiencia en actividades profesionales y de consultoría en temas afines con la convocatoria, tanto en relación a la temática como a las competencias metodológicas requeridas.
El equipo de trabajo está conformado por: M. Paula Bonel (IIEP UBA-Conicet), Pablo Llada (IIEP UBA-Conicet) y Marcos Muollo (CINEA UNTREF). M. Paula Bonel es Magíster en Economía por la UBA y Doctoranda en Economía (UBA), Pablo Llada es Magíster en Economía (UNLP) y Doctorando en Economía (UBA) y Marcos Muollo es Maestrando en Metodología de la Investigación Social (UNTREF).
M. Paula Bonel y Pablo Llada son co-autores de dos artículos en la revista del IDB. Pablo Llada es autor de un artículo en una revista indexada en Scopus y uno en una revista indexada en Scielo. Los tres integrantes del equipo de trabajo tienen experiencia en actividades académicas, profesionales y de consultoría en temas afines con la convocatoria, tanto en relación a la temática como a las competencias metodológicas requeridas.
La propuesta de investigación presentada es muy sólida y está bien articulada. Denota un conocimiento de la literatura económica sobre el tema, aunque en menor medida de la literatura de otras disciplinas, como la sociología o la ciencia política. También demuestra un conocimiento previo del mercado de la consultoría económica y de los pronósticos en particular. Propone preguntas de investigación pertinentes e identifica dimensiones de análisis que pueden servir de base para la selección de factores de los modelos descriptivos y/o explicativos.
En el componente cualitativo se plantea construir una muestra intencional (15 casos) basada en las organizaciones que forman parte del REM/BCRA (48 casos). Se realizará un estudio cuali y cuantitativo de los insiders de la industria. En el componente cuantitativo, para analizar los pronósticos macroeconómicos se delimita el período 2004-2021, el cual parece razonable para el estudio que se pretende realizar. En ese período se tomarán los pronósticos brindados por el REM (combinado con otras fuentes identificadas en la propuesta, en especial para períodos para los que no se cuente con información) en dos variables salientes, la inflación y el crecimiento del PIB. Respecto al componente multimétodos, uno de los puntos más destacables del proyecto es la propuesta de realizar, a partir de la combinación de la información cualitativa y el análisis cuantitativo, un monitor que reporte las medidas de desempeño de los agentes de la industria en las variables estudiadas. Para ello, se propone establecer comparaciones de precisión entre los pronósticos, así como un conjunto de modelos “benchmark”, fijar indicadores de rigidez informativa y proveer estimaciones para caracterizar situaciones de incertidumbre. El único punto débil de la propuesta es la falta de indicaciones exhaustivas sobre el modo en el que se llevará a cabo el componente comparado, que implica el estudio de experiencias en otros países.
La calidad general de la presentación, en relación a la solidez y originalidad de la propuesta, así como al modo en que es planteada la articulación entre los cinco componentes, es muy alta. Se evidencia el conocimiento de la industria, de la literatura sobre el tema y de la metodología para abordar los diferentes tópicos de la propuesta. Merece la calificación de sobresaliente.
- Propuesta 2 UNICEN
El equipo responsable está conformado por: Sebastián Auguste (UNICEN-UTDT) como director y Román Fossati (UNICEN – Universidad Diego Portales, Santiago de Chile) como co-director. Sebastián Auguste es Doctor en Economía (University of Michigan-Ann Arbor), Director del Instituto de Economía (UNICEN) y Director del CIF (UTDT). Román Fossati es Doctor en Economía por la Universidad Carlos III de Madrid. Sebastián Aguste presenta una publicación indexada en el Journal of Monetary Economics (indexado en SCOPUS) y varias publicaciones en organismos multilaterales de prestigio (BID). Román Fossati cuenta con una publicación en una revista indexada en Scopus (The World Economy) y varias publicaciones en la Dirección de Estadísticas Provinciales de la Provincia de Buenos Aires. Ambos poseen una muy sólida formación y trayectoria dentro del campo de la Economía y Econometría. Sebastián Aguste cuenta con antecedentes de dirección de proyectos en el área específica de la convocatoria (dirige actualmente un proyecto sobre pronósticos de inflación en UTDT). Por su parte, Román Fossati presenta antecedentes en el uso de estadísticas en el ámbito público y experiencia en el uso de diversos modelos econométricos que se incorporan a la presente propuesta (como el uso de modelos VEC).
El equipo de trabajo está integrado por: Mario Daniel Seffino (UNS), Andrea Belén Arditi (UNICEN), Alfredo Rebori (UNICEN), Mario Ravioli (UNICEN) e Isidro Adúriz (UBA). Mario Daniel Seffino es Magíster en Economía y Doctorando en Economía por la UNS, Andrea Belén Arditi es Magíster en Administración de Negocios y Doctoranda en Administración de la UNICEN y becaria doctoral del CONICET, Alfredo Rebori es Doctor en Economía por la UNICEN, Mario Ravioli es Magíster en Gestión de Empresas y Doctorando en Administración por la UNICEN e Isidro Adúriz es Sociólogo por la UBA, con una importante trayectoria en consultoría y dirección de proyectos.
Mario Ravioli y Alfredo Rebori presentan publicaciones en diversas revistas indexadas en Scopus, como Fuzzy Economic Review (Mario Ravioli) y Administrative Sciences (Alfredo Rebori). Asimismo, Isidro Adruiz y Mario Ravioli cuentan con publicaciones reconocidas de organismos internacionales, en Cuadernos de Administración (Alfredo Rebori), la OIT-UIA (Isidro Aduriz), BID (Isidro Aduriz), Banco Mundial (Isidro Aduriz) y redes como el Partnership for Economic Policy (Mario Ravioli). El equipo cuenta con una sólida experiencia en econometría, en investigación y consultoría en diversos temas de economía y en consultoría en diversas áreas de sociología, evaluación de políticas públicas y estudios de mercado.
La propuesta de investigación en términos globales es muy sólida y está bien lograda. El proyecto plantea una revisión de la literatura en la que se analizan, entre otros aspectos del fenómeno, el poder predictivo de las consultoras vs. consumidores. La revisión es utilizada también para evaluar cuáles son los métodos utilizados para testear la capacidad de los pronósticos. Esta revisión es utilizada para el componente comparado del proyecto, que, si bien incluye hallazgos de la literatura previa, tiene un desarrollo limitado, sin quedar claro cómo el aspecto comparado será utilizado para nutrir y ampliar los hallazgos del proyecto. El objetivo comparado sí está incluido en los objetivos específicos (en el punto 5), pero no se termina de identificar cómo se logrará este objetivo en el resto del proyecto.
El componente cualitativo se basa en un enfoque two tier. La primera parte está basada en entrevistas y focus group para detectar la hipótesis de trabajo e identificar preguntas, y la segunda parte se compone de entrevistas a encuestadoras, incluyendo un cuestionario cerrado. Las entrevistas permitirán comprender cualitativamente las opiniones y luego el cuestionario cerrado posibilitará generar una base de datos para ser explotada en forma analítica. La encuesta se enfocará en las variables y metodologías que se utilizan, en las características de los modelos, clientes, datos. La base de datos se utilizará para los estudios econométricos, para analizar el poder predictivo de cada una de esas variables.
El componente cualitativo de la propuesta es claro, aunque algunos puntos están más logrados que otros. Se destaca la integración del uso de un cuestionario cerrado que luego se completa con otros componentes del proyecto. Sin embargo, algunos ítems están insuficientemente explicados. En particular, no resulta claro para qué se utilizarán los focus groups ni queda clara la diferencia entre las entrevistas en la etapa 1 y en la etapa 2.
El componente cuantitativo es muy sólido. Hay una buena discusión de la literatura sobre testeo de errores de predicción y análisis de poder predictivo de los pronósticos. Los modelos están bien explicitados. Este componente está dividido en dos etapas. Para la primera etapa se recolectará información del REM, de las páginas web de los think tanks y consultoras. Para el análisis se utilizarán los diversos modelos que se detallan en la propuesta. La segunda etapa del componente cuantitativo propone un análisis econométrico transversal para analizar diversas preguntas (en qué indicadores se falla menos, metodologías más efectivas, si el poder predictivo varía con el ciclo económico, si hay entornos coyunturales que generen mayor error de predicción que otros).
Para el componente multimétodos se propone un análisis descriptivo en conjunto con un análisis econométrico a partir de datos de panel con modelos VEC (vector error correction models). A través del panel se busca conocer la relación causal entre factores y resultados al introducir análisis por subperíodos, identificando el rol de factores como ambiente de negocios e incertidumbre de contexto macroeconómico y ambiente de negocios. En este componente se observa una propuesta sólida muy bien integrada con la sección cuantitativa. Se especifica una búsqueda de relaciones causales a partir de datos de panel. La integración de la parte cualitativa se entiende a partir de la incorporación de datos de la encuesta cerrada para los modelos.
La calidad global del proyecto es muy sólida y merece la calificación de sobresaliente. Se destaca una muy buena integración entre los diversos componentes del proyecto y coherencia respecto a los objetivos planteados.
- Propuesta 3 IDAES/UNSAM
El grupo responsable está conformado por: Mariana Heredia (École des Hautes Études en Sciences Sociales de París – UBA), Pablo Bortz (Delft University of Technology – UBA) y Claudia Daniel (UBA). Mariana Heredia es Doctora en Sociología por la École des Hautes Études en Sciences Sociales de París y Licenciada en Sociología por la UBA, Pablo Bortz es Doctor por Delft University of Technology y Licenciado en Economía por la UBA y Claudia Daniel es Doctora en Ciencias Sociales por la UBA y Licenciada en Sociología por la UBA.
Los tres participan activamente de la Escuela Interdisciplinaria de Estudios Sociales (IDAES) de la Universidad de San Martin (UNSAM): Mariana Heredia es directora de la maestría en Sociología Económica, Pablo Bortz es codirector de la maestría en Desarrollo Económico y Claudia Daniel es profesora de “Sociología de la cuantificación”. Los tres presentan varias publicaciones de libros, capítulos de libros y trabajos en revistas con alta indexación. Mariana Heredia en História Unisinos y Revista Española de Sociología, Claudia Daniel en Journal of Latin American Studies e História Unisinos y Pablo Bortz en Journal of Globalization and Development y European Journal of Economics and Economic Policies: Intervention. Los tres integrantes del grupo responsable tienen amplia experiencia en actividades profesionales y de consultoría en temas afines con la convocatoria, tanto en relación a la temática como a las competencias metodológicas requeridas.
El equipo de trabajo está conformado por: Gabriela Benza (El Colegio de México), Fernán Gaillardou (UNSAM), Pedro Gaite (UNSAM), Rodrigo Contreras (Universidad de Chile), Lionel Stiglitz y Federico Zirulnik (UNSAM). Gabriela Benza es Doctora en Ciencias Sociales por El Colegio de México, Fernán Gaillardou es Doctor en Sociología (en curso) y Magíster en Sociología Económica por el IDAES, UNSAM, Pedro Gaite es becario doctoral de CONICET y Maestrando en Desarrollo Económico de la IDAES, Rodrigo Contreras es economista egresado de la Universidad de Chiley Maestrando en Desarrollo Económico de IDAES, Lionel Stiglitz y Federico Zirulnik son Maestrandos en Desarrollo Económico de IDAES.
El grupo tiene experiencia en investigación en temas afines a los que serán desarrollados. En particular, Rodrigo Contreras desempeñó tareas en la División de Desarrollo Económico de la Comisión Económica para América Latina y el Caribe (CEPAL). Además de participar en las tareas vinculadas al componente cualitativo (particularmente, las entrevistas), el grupo de economistas se encargará de realizar la comparación internacional y los análisis sobre la precisión de las proyecciones macroeconómicas. Los integrantes del equipo de trabajo tienen experiencia en actividades académicas, profesionales y de consultoría en temas afines con la convocatoria, tanto en relación a la temática como a las competencias metodológicas requeridas.
El equipo de trabajo cuenta con publicaciones en revistas indexadas tales como Revista de Ciencias Sociales, Economía e Sociedade, Revista de la CEPAL y Cuadernos de Economía Crítica.
La propuesta de investigación presentada es muy sólida y está bien articulada. En el componente comparado se propone consultar la literatura disponible para Argentina y desarrollar un análisis estadístico sistemático comparativo de los pronósticos con Chile, al contar con datos públicos semejantes al REM (Encuesta de Expectativas Económicas o EEE, publicadas desde 2007). Se evalúa con sobresaliente por lo robusto y original de hacer un estudio comparativo con Chile, considerando un Relevamiento semejante al REM.
En el componente cualitativo se plantea la identificación y caracterización de las principales consultoras económicas del país, la selecció́n de las coyunturas que serán analizadas en el período post-convertibilidad, el relevamiento de los espacios públicos y corporativos de circulación de pronósticos económicos, la realización de entrevistas en profundidad a miembros de las principales consultoras y la elaboración de bases de datos. Se resalta en este componente el especial cuidado al considerar la importancia de la confidencialidad de los datos.
En el componente cuantitativo, el proyecto propone el armado de series de datos sobre los pronósticos económicos formulados y un análisis de la calidad de los pronósticos realizados. Sobre la base de los pronósticos identificados, se analizarán los cambios en la precisión de las predicciones de corto y largo plazo a partir de la incorporación de nuevos métodos, nuevas tecnologías y nuevas fuentes de información. Dentro de este componente se resaltan dos propuestas. La primera consiste en comparaŕ la precisión de las proyecciones para Argentina con la precisión de las proyecciones macroeconómicas en otros países de la región, particularmente Chile, y solicitar formalmente al BCRA los datos sobre máximos, mínimos y desvíos estándares del REM como para constituir una proxy interesante del grado de consenso entre los pronosticadores y de las condiciones que les permiten converger en sus proyecciones. Respecto al componente multimétodos, el proyecto propone una mirada sobre los motivos y razones que organizan la tarea de los consultores económicos a la hora de la producción de pronósticos. Por otra parte, la evaluación de los pronósticos económicos elaborados por las consultoras privadas supondrá un contrapunto con las previsiones formuladas por las autoridades y su capacidad de darles cumplimiento.
La calidad general de la presentación merece la calificación de sobresaliente por la solidez y originalidad de la propuesta, la calidad de los equipos y lo pertinente del diseño metodológico.
4. Cuadro de puntajes
A continuación se presenta el cuadro de puntajes correspondiente a la evaluación de las propuestas recibidas de acuerdo a los criterios enunciados previamente.
| Universidad | CV del grupo responsable | CV del equipo de trabajo | Diseño componente 1 (comparado) | Diseño componente 2(cualitativo) | Diseño componente 3(cuanti.) | Diseño componente 4(multim.) | Calidad global | TOTAL |
| MÁX = | 20 | 10 | 15 | 15 | 15 | 15 | 10 | 100 |
| UNICEN | 20 | 10 | 11.25 | 11.25 | 15 | 15 | 10 | 92.5 |
| UBA | 17 | 9 | 11,25 | 15 | 15 | 15 | 10 | 92,25 |
| UNSAM | 20 | 10 | 15 | 15 | 12 | 15 | 10 | 97 |
5. Orden de mérito
La comisión evaluadora destaca la gran calidad de las tres propuestas, tanto en los equipos de trabajo como en los diseños metodológicos. De acuerdo a los puntajes obtenidos en cumplimiento de los requisitos establecidos para la convocatoria, se determina el siguiente orden de mérito:
- Escuela Interdisciplinaria de Estudios Sociales (IDAES) de la Universidad de San Martín (UNSAM).
- UNICEN (Universidad Nacional del Centro de la Provincia de Buenos Aires). Facultad de Ciencias Económicas.
- Instituto Interdisciplinario de Economía Política (IIEP-BAIRES, Universidad de Buenos Aires) y CINEA (Universidad Nacional de Tres de Febrero).
