LOS CRITERIOS DE CALIDAD EDITORIAL LATINDEX EN EL MARCO DE LA EVALUACIÓN DE LAS REVISTAS ESPAÑOLAS DE HUMANIDADES Y CIENCIAS SOCIALES

Adelaida Román Román, Manuela Vázquez Valero, Carmen Urdín Camino
Centro de Información y Documentación Científica (CINDOC). CSIC, Madrid. Correo-e: adelaida@cindoc.csic .es, mvazquez@cindoc.csic.es, curdin@cindoc.csic.es. Recibido: 4-7-02. 2.a versión: 10-8-02.

Resumen: Tras una breve presentación del Sistema regional de Información LATINDEX, se aportan los resultados de la aplicación de los criterios de calidad editorial a las revistas españolas de Humanidades y Ciencias Sociales. Partiendo de los datos obtenidos, se analiza la presencia de las revistas en el Catálogo y se describen los criterios complementarios de valoración aplicados para decidir la permanencia o no de las revistas en la base de datos ISOC. Se hace especial mención de los aspectos de difusión internacional y se perfila un estudio de valoración de contenidos para un próximo futuro.

Palabras clave: revistas científicas, ciencias sociales, humanidades, calidad editorial, difusión internacional, evaluación de revistas, LATINDEX, base de datos ISOC.

Abstract: After a short description of the regional information system LATINDEX, the results of the application of editorial quality criteria to the Spanish journals in Social Sciences and Humanities are given. The authors analyse, from the obtained data, the presence of Spanish journals in the LATINDEX Catalogue. Complementary assessment criteria to decide the permanence or not of journals in ISOC data base are explained, emphasizing the international diffusion aspects. Finally, a content evaluation is announced for a next future.

Keywords: social sciences, humanities, editorial quality, international disemination, journals evaluation, LATINDEX, ISOC data base.

1 Introducción

La incorporación del CINDOC al Sistema Regional de Información LATINDEX y los trabajos que se derivaron de esta incorporación, relacionados con el objetivo principal de dotar a las revistas científicas del área iberoamericana de una mayor presencia y difusión internacional, han supuesto un impulso definitivo para afrontar de manera sistemática el estudio y valoración de las revistas españolas en todos los campos del conocimiento.

El objetivo fundamental de este trabajo y de los dos que se publicarán posteriormente, es el de hacer públicos los resultados de esta valoración y de todas las actuaciones que de ella se han derivado. Dado que muchas de estas actuaciones han tenido en LATINDEX su pretexto fundamental, se hace necesario describirlo siquiera sea someramente.

La escasa visibilidad internacional que tienen las revistas de los países latinoamericanos y el convencimiento de que entre ellas hay muchas que contienen conocimientos científicos dignos de ser divulgados, han conducido a un grupo de científicos y de profesionales de la información de esos países a crear LATINDEX -Sistema Regional de Información en Línea para revistas Científicas de América Latina, Caribe, España y Portugal- cuya finalidad primordial es mejorar la calidad de las publicaciones periódicas producidas en esos países, difundirlas y hacerlas más accesibles.

El sistema LATINDEX fue creado en 1995 y actualmente está integrado por los siguientes países: Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, España, México, Puerto Rico, Portugal, Uruguay y Venezuela.

Además de su objetivo general de desarrollar un sistema de información para reunir y tener consultables los datos sobre las publicaciones periódicas, se ha propuesto unos objetivos más específicos que incluyen:

• Establecer políticas conducentes a integrar los esfuerzos que se realizan en los diferentes países participantes en materia de producción, difusión, sistematización y uso de la información científica.
• Reforzar y elevar la calidad y el impacto de las publicaciones científicas iberoamericanas y del Caribe.
• Dar a éstas una mayor visibilidad y cobertura a nivel internacional.
• Utilizar la información procesada como base para la elaboración de subproductos
• Influir tanto en los diferentes ámbitos nacionales como en el internacional en materia de información, documentación y edición científica.

Estos objetivos han requerido esfuerzos especiales orientados a desarrollar la infraestructura informática que soporta el sistema, establecer criterios de calidad consensuados entre los países participantes para la edición de las revistas científicas y finalmente, establecer relaciones con otros sistemas de información, bases de datos y editores científicos.

LATINDEX ha desarrollado hasta el momento dos productos de información, el Directorio y el Catálogo, accesibles al público

El Directorio (1), iniciado en 1997, proporciona hoy los datos normalizados de más de 11.000 revistas científicas, con datos de su trayectoria, especialización temática, organismo editor, responsables de edición, dirección completa, procedimientos de distribución, precios y bases de datos que cubren la revista, entre otros.

El Catálogo (2), accesible en línea desde Marzo de 2002, tiene una información descriptiva y adicional a la que ofrece el Directorio, incluyendo las características de calidad editorial de la revista objeto de cada registro. Los títulos incluidos en el Catálogo han sido seleccionados y clasificados según criterios previamente convenidos por LATINDEX. A comienzos de 2002, contenía unas 800 revistas iberoamericanas y este número irá creciendo a medida que se analice la totalidad de las revistas incluidas en el Directorio y se determine cuales cumplen un umbral mínimo de características editoriales, cuidadosamente seleccionadas. Además de estas características editoriales, para cada revista se da una breve descripción de sus objetivos y alcance. Cada revista incluida en el Catálogo tiene un enlace al correspondiente registro en el Directorio con la información básica.

Es importante destacar que el Catálogo, aunque da lugar a una distribución de las revistas entre las que cumplen los requisitos acordados y las que no los cumplen, no se ha concebido como un sistema de evaluación de revistas sino como un instrumento especializado para conocer la situación de las revistas e impulsar la calidad editorial de las mismas en todas las disciplinas del conocimiento. Su objetivo es proporcionar información sistematizada y fácilmente consultable sobre las revistas y sus características editoriales, a profesionales de la información científica, bibliotecarios, proveedores de información, editores, evaluadores de la actividad científica , investigadores y demás especialistas interesados.

Antecedentes de la evaluación de revistas

La bibliografía sobre evaluación de revistas pone de manifiesto la existencia de una variedad de métodos para su realización, y sobre este tema se han realizado algunos estudios que aportan una extensa bibliografía como el de Ferreiro y Jiménez-Contreras (3). Hay métodos que se basan en datos de utilización, bien de forma directa en las bibliotecas y servicios de suministro de documentos (4, 5), o indirecta, a través de las citas que sus artículos reciben (6,7). Otros métodos consideran la difusión en bases de datos (8, 9) o en otras fuentes de referencia (10, 11). Algunos computan la cantidad de artículos que publican (12, 13), y finalmente hay autores que basan la determinación de calidad en la opinión de los expertos (14, 15, 16, 17).

No obstante, la mayor parte de los procedimientos que se han utilizado en la evaluación de revistas tiene en cuenta una combinación de dos o más criterios (18, 19, 20, 21, 22, 23, 24).

El CINDOC, con objeto de seleccionar las revistas científicas de mayor relevancia para sus bases de datos sobre la producción científica publicada en revistas españolas, ha venido trabajando desde 1984 en el desarrollo de un método para su evaluación (25) que tiene en cuenta diversos criterios objetivos y medibles que se pueden obtener de las propias revistas, así como indicadores de su difusión nacional e internacional. En dicho método no se entra a analizar la calidad científica de los artículos, aunque se valoran algunos aspectos que pueden influir en ella. El procedimiento ha ido experimentando algunas modificaciones desde su desarrollo y ha sido aplicado a revistas de diferentes disciplinas científicas (26, 27, 28), y con algunas variantes, a algunas de las disciplinas de Ciencias Sociales y Humanidades (29, 30, 31).

Como representante español en LATINDEX y por su experiencia en evaluación de revistas, el CINDOC ha participado en la elaboración de los criterios de calidad editorial que deberían cumplir todas las revistas, así como en la fijación de los niveles mínimos de cumplimiento de esas características o criterios por parte de las revistas para poder ser incluidas en el Catálogo LATINDEX.

Estos criterios de calidad (ver Anexo) se agrupan en las siguientes categorías

• Características básicas. Incluye ocho características imprescindibles en una revista científica, sin las cuales la revista concernida no debe pasar a ser evaluada. Podría decirse que serían requisitos de partida.
  
  
• Características de presentación de la revista. Se reúnen aquí diversos aspectos formales de normalización que afectan a la identificación de la revista y a su presentación.
  
  
• Características de gestión y política editorial. En este apartado se agrupan elementos como: objetivos de la revista, mecanismos de selección de originales empleados, apertura de las contribuciones, presencia en bases de datos, etc...
  
  
• Características relativas a los contenidos. Las características aquí apuntadas no se refieren a la calidad de los contenidos sino a la proporción o peso de los contenidos científicos originales sobre otro tipo de materiales, a la presencia de elementos que faciliten la difusión de este contenido como resúmenes y palabras clave, así como a las orientaciones y normas que se dan a los autores.

Estas características son comprobadas mediante el análisis de los tres últimos fascículos publicados de cada revista, como mínimo. Para ser aceptadas en el Catálogo, las revistas deben cumplir con todas las ocho características básicas y con al menos 17 de los restantes parámetros definidos (ver Anexo). Es decir, cada revista debe cumplir con al menos un 75% de las características de calidad editorial establecidas por el sistema LATINDEX.

El estudio que ahora se presenta aporta los resultados del trabajo realizado con ocasión de la aplicación a las revistas científicas españolas de Humanidades y Ciencias Sociales de los criterios de calidad editorial LATINDEX. Dado que el trabajo ha sido realizado para todas las áreas del conocimiento, los resultados se presentarán en tres trabajos consecutivos dedicados correlativamente a las revistas de Humanidades y Ciencias Sociales, a las revistas de Ciencia y Tecnología y a las Revistas de Ciencias de la Salud.

2 Objetivos y metodología. Contexto en que se aplicaron los criterios LATINDEX a las revistas de Humanidades y Ciencias Sociales

A la hora de tener que abordar la aplicación de los criterios de calidad editorial LATINDEX a las revistas españolas de Humanidades y Ciencias Sociales se daba una confluencia de distintos intereses en el tiempo: necesidad de mejorar la cobertura de la base de datos ISOC, necesidad de incidir en una mejora de la calidad de las revistas y para ello de tener un diagnóstico de las mismas, en cada disciplina, etc. por último, necesidad de aplicar los criterios a las revistas españolas para considerar su entrada o no en el Catálogo LATINDEX que sin duda significaba por una parte una mayor difusión para las mejor situadas, pero también un acicate para las demás por alcanzar su incorporación al mismo en el menor tiempo posible.

La valoración de las revistas de Ciencias Sociales y Humanidades, desde la perspectiva de su inclusión o no en ISOC ha partido de la aplicación de los criterios LATINDEX de calidad editorial, complementados con algunos elementos de valoración dirigidos especialmente a medir la difusión internacional así como por una valoración global de las revistas (formas y contenidos) a juicio de los analistas documentales.

De manera que el objetivo de este trabajo es dar a conocer tanto las actuaciones dirigidas a aplicar los criterios LATINDEX a las revistas españolas de Ciencias Sociales y Humanidades y la incorporación de éstas al Catálogo, como aquellas actuaciones complementarias para decidir finalmente la permanencia o no de las revistas valoradas en la base de datos ISOC. Los resultados obtenidos en ambos casos se aportan también por separado

Metodología seguida en la valoración de las revistas de Ciencias Sociales y Humanidades

Se han contemplado todas las disciplinas cubiertas actualmente por la base de datos ISOC. En total se ha procedido al estudio de casi 1.300 títulos que se distribuyen por materias como aparece en la tabla I. No están incluidos aquí aquellos títulos que por no reunir las características básicas mencionadas más arriba, no han podido ser valoradas desde el punto de vista del cumplimiento de los demás parámetros de calidad editorial.

Tabla I Número de revistas valoradas por disciplinas

El análisis del cumplimiento de los criterios Latindex se realizó a partir de los ejemplares de cada revistas editados en los dos últimos años.

La idea inicial, ideal en principio, era complementar la valoración de los aspectos editoriales con posibles valoraciones sobre el contenido de las revistas. Ahora bien, la valoración de contenidos sólo podían hacerla los especialistas en cada campo. Pero ello requería unos plazos que entraban en contradicción con la necesidad de tomar decisiones a la hora de seleccionar las revistas que deberían permanecer en la base de datos ISOC. Por esta razón, y sin renunciar a esa valoración de contenidos por los especialistas, se decidió complementar la valoración formal con otros elementos cualitativos: la difusión de las revistas medida por su presencia en bases de datos internacionales (en el sentido de que su prestigio es internacional, aunque sean producidas por un país en concreto), y en Internet y la valoración global del analista encargado de indizar sus contenidos para ISOC, conocedor de todas las revistas de la disciplina a él encomendada, generalmente debido a sus especiales conocimientos de la misma.

De manera que el trabajo realizado se ha desarrollado en tres fases, dos de las cuales ya han concluido. En primer lugar se verificó para cada una de las revistas, tomando como base los ejemplares editados en los dos últimos años, cuál era el nivel de cumplimiento de los criterios de calidad editorial definidos por LATINDEX (consultar anexo). En una segunda etapa se estudió la difusión internacional de estas revistas, tomando nota de cuáles eran las bases de datos multidisciplinares o especializadas de prestigio internacional que las vaciaban sistemáticamente así como cuál era su presencia en Internet. En una tercera etapa se requirió asimismo la valoración global de la revista según el analista documental que la analizaba para incluirla en la base de datos ISOC y finalmente, se ha recurrido a los profesores universitarios e investigadores para que como especialistas aporten a las revistas una categorización atendiendo a su contenido. Esta etapa aun no está concluida.

Un sistema de asignación de puntuaciones a los diferentes aspectos estudiados trajo como consecuencia la posibilidad de marcar un umbral mínimo en función del cual decidir qué revistas había que excluir de ISOC.

3 Resultados de la aplicación de los criterios de calidad editorial LATINDEX a las revistas españolas de Ciencias Sociales y Humanidades

Cumplimiento medio por disciplina de los criterios LATINDEX

Se aportan a continuación los niveles de cumplimiento de los criterios Latindex según las diferentes disciplinas, poniéndose de manifiesto el diferente nivel de formalización de las revistas según el área temática a la que pertenecen. Obviamente esto es el resultado en buena medida de los diferentes hábitos editoriales, aunque en algunos casos pueda ser debido a la falta de información específica por parte de los editores.

Los datos aportados a continuación fueron tomados a lo largo de los años 2000 y 2001. Desde entonces y hasta el momento de redactar este trabajo varias revistas han introducido modificaciones para mejorar sus niveles de cumplimiento (Tabla II).

Tabla II Promedio de cumplimiento de los criterios de calidad editorial por disciplinas (excluidos los 8 básicos que cumplen todas las revistas evaluadas)

Pueden apreciarse grandes diferencias en las prácticas editoriales por disciplinas. Mientras la Psicología, las Ciencias de la Educación y hasta la Geografía cumplen mas de la mitad de los 25 parámetros considerados, las revistas de Ciencia Política o las de Arte son las que cumplen menos con los requisitos de calidad editorial. Por otra parte, aun siendo bajos estos promedios en la mayoría de las disciplinas, los porcentajes de revistas que en cada una de ellas cumplen estos promedios o los superan también son muy variables: sólo en cuatro casos mas de la mitad de las revistas tienen el nivel medio de cumplimiento. Este es el caso de las revistas de Arqueología y Prehistoria, las de Derecho, las de Estudios Latinoamericanos y las de Psicología.

Datos de cumplimiento de los principales parámetros contemplados

No todos los elementos de calidad editorial contemplados en este estudio son igualmente cumplidos por las revistas. Si se quiere intentar mejorar alguno de estos aspectos será bueno conocer antes el diagnóstico para luego poder insistir en aquellas situaciones que parezca más urgente o mas necesario ir corrigiendo. Se han seleccionado algunos elementos especialmente significativos para ver cual es, en general su nivel de cumplimiento (Tabla III)

Tabla III Revistas de Ciencias Sociales y Humanidades. Cumplimiento de los parámetros de calidad editorial (excluidos los criterios básicos)

A partir de los datos de la tabla pueden distinguirse parámetros con escaso cumplimiento por las revistas españolas de Ciencias Sociales y Humanidades. El menos cumplido, con diferencia, es el que exige la consignación de las fechas de recepción de los originales en la revista y de su aprobación para publicación. Esta ausencia casi total es muy expresiva de hábitos de publicación, bien diferenciados de los que siguen las publicaciones de Ciencia y Tecnología. Detrás de esa no consignación de fechas pueden esconderse muchas realidades: falta de planificación, falta de originales que no permiten al editor científico seleccionar los materiales para publicar, ausencia de una práctica formalizada de evaluación de los originales que llegan a la redacción , necesidades vinculadas a la programación aleatoria de números monográficos que hacen que pueda no interesar la consignación de las fechas de recepción, o incluso, simplemente, la falta de costumbre de funcionar de esa manera.

El segundo elemento cumplido por un número menor de revistas es el relacionado con la existencia de evaluadores externos. Aunque se han descubierto bastantes casos de revistas que pese a no mencionarlo en los ejemplares de manera expresa, tienen establecidos mecanismos de evaluación de los originales recurriendo a expertos ajenos a la revista, lo cierto es que son mayoría muy amplia las revistas que no utilizan este mecanismo de calidad. Una vez más, estamos en presencia de una diferente tradición frente a prácticas internacionalmente consagradas en la edición de revistas científicas.

Junto a estos dos parámetros ausentes en la mayoría de las revistas, cabe señalar como el más cumplido la existencia de un Consejo de Redacción y su presencia en los ejemplares de la revista. Si bien, casi nunca se acompañan los nombres de los miembros de esos CR con la Institución a la que están adscritos, lo que priva a los lectores y evaluadores de un elemento de información muy interesante para juzgar la apertura editorial de la revista.

Estos datos de cumplimiento se refieren al conjunto de revistas analizadas, pero las de cada disciplina presentan variaciones en el porcentaje de cumplimiento de los parámetros. Como puede observarse en las tablas IV y V que se presentan a continuación, referidas a cada una de las disciplinas, las variaciones de cumplimiento de los parámetros entre unas disciplinas y otras son muy grandes. Los parámetros peor cumplidos lo son en prácticamente todas las disciplinas analizadas. Si se observa el nivel de cumplimiento de la consignación de las fechas de recepción de los originales y de aceptación definitiva para publicación en la revista, podemos observar que, aun aceptando que generalmente no se cumple, hay tres disciplinas en las que lo cumplen al menos un 10% de las revistas. En parámetros más aceptados dentro de los hábitos de edición científica en Ciencias Sociales y Humanas, como puede ser la presencia de un resumen de los artículos, y con un nivel medio de cumplimiento de más del 40% para todas las disciplinas, se observan diferencias importantes en porcentajes de cumplimiento entre unas disciplinas y otras. Por citar los dos casos más distantes, en Derecho, sólo el 12,3% de las revistas cumple con la presencia de resumen, muy por debajo de la media, mientras que el nivel de cumplimiento más alto para este parámetro es el de Psicología con el 78,9 % de las revistas que cumplen con este requisito.

Tabla IV Porcentaje de revistas que cumplen los parámetros en las diferentes disciplina. I

Tabla V Porcentaje de revistas que cumplen los parámetros en las diferentes disciplinas. II

Estos datos permiten trazar unas líneas de actuación en relación con los editores de revistas científicas en cada una de las disciplinas, que deberán estar orientadas a mejorar los aspectos más importantes o aquellos que tengan más incidencia en la difusión de sus contenidos. A este respecto, quizás sea más interesante trabajar por conseguir la incorporación a los hábitos de edición de algunos de los parámetros más consagrados en los usos internacionales y que están incidiendo de manera muy negativa en la difusión y en la valoración de las revistas españolas. Será preferible, por ejemplo, conseguir que todas las revistas incorporen elementos como el lugar de trabajo de los autores, los datos de identificación que deben constar en cubierta y páginas de portada, un resumen al menos en el idioma original del trabajo y en otro idioma de amplia difusión en todos los trabajos publicados, que pretender que las revistas incorporen de golpe los 33 criterios analizados. Esto apunta a la necesidad de políticas didácticas en la relación con los organismos responsables de la edición de las revistas para que, poco a poco, vayan subsanando las carencias más graves.

Incorporación de las revistas de Ciencias Sociales y Humanas al Catálogo LATINDEX

Como ya se ha mencionado, el estudio de las revistas españolas de Humanidades y Ciencias Sociales desde el punto de vista del cumplimiento de los criterios de calidad editorial definidos por LATINDEX tenía como uno de sus objetivos más directos el saber qué revistas estarían en condiciones de ser incorporadas al Catálogo, en el momento de su apertura al público. El proceso de incorporación de revistas al Catálogo está siempre abierto y cualquier revista puede ser aceptada e incorporada con el único requisito de mantenerse en el cumplimiento de al menos 25 de los 33 criterios de calidad definidos. Obviamente, el proceso también está abierto para salir del Catálogo (en caso de dejar de cumplir los criterios de calidad acordados), aunque esto no tendría por qué producirse. A forales de 2001, de las 1.278 revistas evaluadas de Ciencias Sociales y Humanas, sólo han podido entrar en el Catálogo 174, distribuidas muy irregularmente por disciplinas. De manera que la presencia de la producción científica española, representada por las revistas de cada especialidad, es muy desigual, correspondiendo la mayor presencia relativa a las revistas de Psicología (40%) y la menor a las de Derecho (1.5%), como puede observarse en la Tabla VI.

Tabla VI Revistas de Ciencias Sociales y Humanas incluidas en el Catálogo

La situación mostrada en la tabla es, obviamente, una foto fija a la fecha de cierre de la toma de datos (diciembre de 2001). A lo largo del 2002 se han ido produciendo cambios a partir de la interacción con los editores, algunos de los cuales han iniciado procesos de adaptación de sus revistas que han podido ser incorporadas al Catálogo.

Este proceso continua dando sus frutos. Para evaluarlo deberá hacerse un nuevo análisis de la situación pasado algún tiempo.

4 Resultados de las actuaciones complementarias a la aplicación de los criterios LATINDEX para decidir qué revistas seguir incluyendo en la base de datos ISOC

Aunque los criterios de calidad editorial estaban definidos y su aplicación era factible, la selección final de qué revistas se incorporarían a ISOC y cuales dejarían de incluirse no podía basarse únicamente en criterios de calidad editorial algunos de los cuales tenían un contenido fundamentalmente normativo y formal. Por ello fue necesario contemplar un sistema de valoraciones complementarias que permitieran tomar unas decisiones más ajustadas.

Como es ya suficientemente conocido, los hábitos de publicación en las Humanidades y en las Ciencias Sociales difieren bastante de los que están más consagrados en las Ciencias experimentales, razón por la cual una exigencia muy fuerte en criterios normativos solamente, hubiera dado al traste con muy buenas revistas en más de una disciplina. Se expresan a continuación cuáles fueron los criterios complementarios aplicados.

Difusión de las revistas españolas de Humanidades y Ciencias Sociales en bases de datos de prestigio internacional

Las revistas fueron rastreadas en las bases de datos multidisciplinares y en las dos bases de datos especializadas más significativas de cada área del conocimiento. No se tuvieron en cuenta las revistas que son vaciadas por las BDI sólo ocasionalmente, ni tampoco aquellas que dejaron de ser incluidas partir de 1998. No se analizaron las bases de datos de producción exclusivamente nacional.

Los datos básicos de presencia en BDI se tomaron en el primer semestre del 2001 para verificar el criterio n.° 24 definido por LATINDEX. Posteriormente se revisaron los datos y se estudió la presencia de las revistas en Internet en el marco del proyecto AE 7007 financiado por la Dirección General de Universidades.

Se exponen a continuación los resultados del estudio de difusión de las revistas españolas de Humanidades y Ciencias Sociales en Bases de Datos. En la tabla puede verse como la BD FRANCIS, producida por el INIST (CNRS) es, con mucha diferencia, la que más revistas españolas de Humanidades y Ciencias Sociales recoge, influyendo sin duda en ello su carácter multidisciplinar y la proximidad cultural y geográfica.

Tabla VII Cobertura de las revistas de Ciencias Sociales y Humanas por BDI

Como puede observarse, los niveles de difusión varían mucho de unas disciplinas a otras. Los datos apuntan a una difusión relativamente mayor en las revistas de Lingüística y Literatura, Psicología, Arte e Historia y muy especialmente de las revistas especializadas en estudios americanistas, y a una mínima difusión de las revistas de Derecho y de Ciencias de la Educación. En este hecho pueden influir muchos factores, desde la propia naturaleza de las disciplinas hasta elementos subsanables como el rigor en el cumplimiento de las normas internacionales de edición científica. Los datos parecen poner de manifiesto que los estudios hispanistas e iberoamericanos, muy presentes en el mundo anglosajón y en Francia, actúan especialmente como generadores de buena parte de la difusión internacional de nuestras revistas (si se exceptúa el caso de la Psicología).

Tabla VIII Revistas españolas de Ciencias Sociales y Humanas presentes en BDI. Datos por disciplinas

Difusión de las revistas españolas de Ciencias Sociales y Humanidades en Internet

A la hora de analizar la presencia de las revistas analizadas en Internet, como un elemento de difusión evidente a valorar, se establecieron diversas categorías de presencia en la red, distinguiendo para cada revista si estaba presente a texto completo, si se ofrecían las referencias de los trabajos acompañados de resúmenes, si sólo se ofrecían los sumarios, o si la presencia se reducía a una mera noticia de los editores. Los datos obtenidos (en junio de 2001) pueden verse en la tabla IX. De ella se desprende que la presencia de las revistas de Humanidades y Ciencias Sociales en Internet es aun muy tímida. Sólo algo más del 35% de las revistas tienen alguna presencia, y en la mayor parte de las ocasiones ésta es pobre: sólo una nota, alguna descripción editorial, pero no se aprovecha la potencia difusora del medio para dar información sobre los contenidos más que en un porcentaje reducido de casos. Las revistas a texto completo no llegan al 5%. En la tabla pueden observarse las diferencias por disciplinas (Tabla IX).

Tabla IX Presencia de las revistas españolas de Humanidades y Ciencias Sociales en Internet

Valoración global de las revistas por los analistas documentales

Dado que no era posible contar en el corto plazo, con la opinión cualificada de los especialistas en cada campo para una valoración cualitativa del contenido de las revis

tas evaluadas, se optó por acudir al criterio de los analistas responsables de la indización de las revistas de cada disciplina, a fin de que emitieran sobre ellas un juicio global valorativo de los aspectos tanto formales como de contenido, ciertamente subjetivo, pero fundamentado en el conocimiento profundo de cada revista y de su comportamiento a lo largo de los años. Este juicio debía de ser expresado en términos de «muy buena», «buena», «regular» o «mala». Aportamos a continuación los resultados de las valoraciones por disciplina (Tabla X).

Sistema de ponderaciones establecido para decidir la inclusión o no de las revistas en ISOC

Ponderación de los criterios de calidad editorial LATINDEX

Se parte del principio de que cada criterio cumplido de los 25 adicionales a los básicos (9 a 33) se valora con un punto cada uno. Por otra parte y, en función de la situación tan precaria de algunas revistas en cuanto a su formalización, se decide primar con un punto adicional a aquellas revistas que cumplen algunos parámetros que se han considerado mas importantes: cumplimiento de la periodicidad, existencia de un Consejo de Redacción e indicación expresa de sus componentes, resumen de todos los artículos, datos de identificación en páginas de portada y/ o cubierta , institución de trabajo de los autores e instrucciones a los autores. De esta manera, estos seis parámetros se han valorado con dos puntos y los demás con un punto.

Tabla X Valoración global de las revistas por parte de los analistas documentales

Por el cumplimiento de los parámetros de calidad editorial, una revista podía alcanzar un máximo de 30 puntos (24 + 6). La puntuación por los parámetros LATINDEX sería de 25 puntos, puesto que hay 25 parámetros puntuables, pero el correspondiente a la presencia en Bases de Datos, se ha ponderado aparte. Los seis puntos adicionales corresponden a los parámetros de calidad que se decidió primar con puntuación doble.

Valoración de la presencia en bases de datos internacionales y en Internet

Se ha pretendido encontrar un sistema de ponderación que valorase de manera equivalente la presencia en las bases de datos de prestigio internacional y la presencia en Internet, para lo cual se estableció un máximo de seis puntos para valorar la presencia mejor en cada uno de estos dos medios. Así, la presencia en bases de datos se valoró con dos puntos por base de datos hasta un máximo de seis puntos. De manera que la revista vaciada por una BDI tendría dos puntos, la vaciada en dos BDI tendría 4 puntos y la que lo fuera en tres o más BDI tendría 6 puntos.

La valoración de la presencia de las revistas en Internet se hizo otorgando dos puntos por la presencia de los sumarios, 4 puntos por la presencia de referencias bibliográficas y resúmenes y 6 puntos por la presencia en Internet de la revista a texto completo. La simple noticia se decidió no puntuarla.

Por visibilidad y difusión, cada revista podía alcanzar un máximo de 12 puntos (6+6).

Ponderación de las revistas en función de la valoración de los analistas documentales

Las puntuaciones acordadas para las revistas en función de la calificación asignada a las mismas por los analistas documentales fueron: 15 puntos para las "muy buenas", 10 puntos para las «buenas», 7 puntos para las «regulares» y 0 puntos para las «malas».

Por la valoración de los analistas cada revista podía tener un máximo de 15 puntos.

En total, cada revista podía alcanzar un total de 57 puntos. La exigencia para ser aceptada en la base de datos ISOC se estableció en superar un tercio de esta puntuación. De manera que era necesario llegar a los 20 puntos. En algunas áreas en que esta exigencia dejaba fuera muchas revistas valoradas como buenas por los indizadores, se aceptó transitoriamente mantener su inclusión, haciendo en paralelo una llamada de atención a los editores para que mejorasen la normalización de la revista, cuya inclusión sería revisada en el transcurso de un año.

En la tabla que se aporta a continuación, se consigna el resultado final de este trabajo.

Tabla XI Porcentaje de revistas rechazadas por disciplinas

Estos datos ponen de manifiesto la diferencia de resultados entre disciplinas. A este respecto, hay que tener en cuenta, como ya se ha indicado, la provisionalidad de los datos en algunas disciplinas que habrán de revisarse antes de finalizar el 2002.

5 Actuaciones en curso: valoración de las revistas por la calidad de sus contenidos.

En el segundo semestre del año 2001, y con el apoyo financiero de la Dirección General de Universidades, se procedió a encuestar al 20% del profesorado universitario de las disciplinas de Ciencias Sociales y Humanidades en relación con la calidad científica de las revistas españolas. Básicamente se pedía a cada uno de los profesores encuestados que calificara cada una de las revistas que aparecían listadas en la encuesta y que ellos conocieran, adjudicándole una de estas cuatro categorías: A (muy buena) B (buena) C (de interés general) y D (marginal).

El informe con los resultados se entregó en Enero de 2002. La Dirección General de Universidades estimó que merecía la pena intentar ampliar la encuesta a la totalidad del profesorado universitario de plantilla, pues ello daría mas fuerza a los resultados que se obtuvieran.

En el momento de redactar este trabajo, se están recibiendo las respuestas a esta segunda encuesta y los resultados de la misma podrán estar disponibles a finales de año. Por otra parte, a partir de los resultados que se obtengan, se va a proceder a realizar estudios complementarios dirigidos a conocer cuáles son las revistas españolas más citadas en cada una de las disciplinas analizadas. Ello complementará la valoración de contenidos pues, además de las calificaciones de los profesores, se podrá contar con los datos de uso, a través de las citas que realmente hacen los investigadores en sus artículos.

6 Discusión de los resultados y conclusiones

Para referirse a los resultados apuntados en este trabajo será necesario distinguir: a) los resultados de la aplicación de los criterios LATINDEX a las revistas y de la incorporación de éstas al Catálogo, b) los resultados en relación con el mantenimiento o no de las revistas analizadas en ISOC.

En relación con el primero de los puntos, el ejercicio realizado ha permitido establecer para cada disciplina y para cada revista dentro de ellas un diagnóstico no solo en relación con el cumplimiento de las normas internacionales de publicación, sino también con diversos aspectos cualitativos que atañen fundamentalmente a las prácticas internacionalmente consagradas de gestión editorial tales como los sistemas empleados para la selección de originales, la existencia o no de un sistema de «peer review», la apertura de las contribuciones, la pluralidad institucional expresada en la composición de los consejos de redacción o consejos editoriales, etc.

Las conclusiones que se derivan de los datos obtenidos se resumen en el hecho de que sólo un 12% de los títulos analizados hayan podido incluirse en el Catálogo. Es decir, estamos ante una lista muy abultada de títulos, desigual de unas disciplinas a otras, muy pocos de los cuales cumplen con los requisitos que serían deseables.

Aunque se puede argumentar la falta de tradición en las Humanidades y las Ciencias Sociales de ciertas prácticas editoriales, es cierto que muchas de estas prácticas son demostrativas de cierta salud en los mecanismos de publicación y además no son incompatibles con las disciplinas estudiadas. Buena prueba de ello es que hay un 12% que las cumple. ¿Por qué no podría hacerlo el resto? Conseguirlo no será cuestión de un día, pero es un objetivo perseguible a medio plazo.

En resumen, los objetivos planteados al principio de este trabajo han sido cumplidos: se tiene ya la situación y el diagnóstico, título a título, de las revistas analizadas y por consiguiente, la posibilidad de establecer pautas o diseñar acciones que permitan ir mejorando la situación de las revistas. Estas actuaciones deberán contar con los resultados de las valoraciones cualitativas para poner el énfasis en adecuar la normalización y la gestión editorial especialmente de aquellas revistas que resulten de mejor calidad de contenido: es relativamente fácil que una revista buena en contenidos mejore sus aspectos normativos, lo contrario ya es más difícil.

En cuanto al segundo de los objetivos planteados, la selección más rigurosa de las revistas que deberían mantenerse en ISOC, los resultados son menos evidentes.

Si repasamos los elementos considerados en el modelo de valoración aplicado, se han manejado criterios muy objetivos, con la sola excepción de la valoración de los analistas.

Tanto el resultado de la aplicación de los criterios Latindex como la presencia en BDI o en Internet, tienen un peso importante en el modelo y no admiten sesgos. Se dio más peso a los criterios LATINDEX, ya que se pensó que valoraban aspectos muy variados y amplios. La equiparación en puntuaciones de la presencia de las revistas en BDI y en Internet puede ser más discutible. Sin embargo se quería expresar aquí el hecho de que la presencia en Internet de las revistas era ya un elemento imprescindible para su difusión.

La valoración global de las revistas por parte de los analistas documentales que son responsables de la indización de los contenidos de éstas para su inclusión en la BD ISOC, es un elemento metodológicamente novedoso, pues no tiene antecedentes conocidos en otros estudios de evaluación de revistas.

A1 plantear este parámetro, se tenía conciencia de los riesgos de subjetividad que podría incorporar su aplicación. Sin embargo se consideró que merecía la pena correr el riesgo. Es más, se otorgó un peso considerable a este elemento en el conjunto del sistema, por encima del peso asignado a la difusión internacional.

Los resultados pueden ser discutibles desde el punto de vista de la eficacia, especialmente si se tenía la expectativa de una reducción drástica del número de revistas a incluir, ya que sólo resultaron rechazadas un 12% de las revistas valoradas (220 revistas).

Quizás si se hubiera respetado en todos los casos la < ley del tercio» de puntos como frontera para la inclusión o no de las revistas en ISOC la selección hubiera sido más rigurosa. De cualquier manera, hay que considerar que el modelo aun no está cerrado y que falta incorporar la valoración de los expertos a los resultados obtenidos hasta ahora. Falta aun decidir qué peso deberá tener este nuevo elemento en el conjunto. Pero esto es ya hablar del futuro.

7 Agradecimientos

Las autoras quieren expresar su agradecimiento a todas las personas que han hecho posible este trabajo, aplicando los criterios de calidad a las revistas: M. T. Abejón, L. Alcaín, N. Anta, P. Baranda, M. Barreales, J. Campos, M. Espinosa, G. Fainstein, M. García, A. Maldonado, A. Pérez, C. Rubio, M. Ruiz-Gálvez, A. Valverde, A. Villagrá y L. R. Yunta.

8 Bibliografía

1. Directorio LATINDEX. Disponible en: http://www.latindex.unam.mx/directo.html

2. Catálogo LATINDEX. Disponible en: http://www.latindex.unam.mx/ catalogo/index.html

3. FERREIRO L., JIMÉNEZ-CONTRERAS E. Procedimientos de evaluación de las publicaciones periódicas. Estudio crítico de su empleo en las revistas científicas españolas. Revista española de documentación científica, 1986, v. 9 n. 1, p. 9-44

4. LAMBERT J., TAYLOR, S. Evaluating a journals collection in an academic library. Serials, 1996, v. 9, n. 3, p. 317-321

5. VENKATARAMANA V. , PRADEEP C. Managing information the productive way. International Information Communication and Education, 1996, v. 15, n. 2, p. 194-203

6. GARFIELD, E. Citation analysis as a tool in journal evaluation. Science, 1972, n. 178, p.471-479.

7. MARSHAKOVA SHAIKEVICH, I. The standard factor impact as an evaluation tool of science fields and scientific journals. Scientometrics, 1996, v. 35, n. 2, p.283-290

8. MÉNDEZ A., VIESCA R., BLANCO C. Valoración de las revistas de alimentación españolas. Revista española de documentación científica, 1978. v. 1, n. 2, p. 159-168

9. THOMAS, K. K. Evaluation of Indian agrobiology journals: coverage in abstracting/indexing services. Quarterly Bulletin of the International Association of Agricultural Information Specialists, 1996, v. 41, n. 3/4, p. 245-250

10. TODOROV, R. Journals in informatics. International forum on information and documentation, 1982, v. 7, n. 3, p. 22-30.

11. MARICIC, S., SOROKIN, B., PAPES, Z. Scientiiic communicability indicators of the periodicals in the Croatian bibliography. Informatologia, 1992, v. 24, n. 3-4, p. 109-128

12. PÉREZ ALVAREZ-OSSORIO, J. R. Un ensayo de evaluación de las revistas químicas españolas. Revista española de documentación científica, 1977, v. 1, n. 1, p. 21-29

13. RASHID HASEEB, F. Bibliometric analysis as a tool in journals evaluation. Serials Librarian, 1991, v. 20 , n. 2-3, p. 554-64

14. SPAGNOLO F. Avaliaçao da qualidade dos periodicos científicos brasileiros. Revista de Biblioteconomia de Brasilia, 1990, v. 18, n. 1, p. 93-95

15. NEDERHOF, A. J., ZWAAN, R. A. Quality judgments of journals as indicators of research performance in the humanities and the social and behavioral sciences. Journal of the American Society for Information Science, 1991, v. 42, n. , p. 332-340

16. GLENN, N. D. American sociologists' evaluations of sixty-three journals. The American Sociologists, 1971, n. 6, p. 283-303.

17. ROMÁN, A.; GIMÉNEZ, E. Prestigio de las revistas españolas de Economía. Hábitos de trabajo de los profesores de los departamentos de Economía en las universidades públicas españolas. Disponible en: http://econwpa.wustl.edu/eprints/get/papers/0012/

18. BRAGA, G. M., OBERHOFER, C. A. Directrices para a avaliaçao de periodicos cientificos e tecnicos brasileiros. Revista Latinamericana de Documentación, 1982, v. 2, n. 1, p. 2731.

19. URBIZAGASTEGUI, R. Evaluation of periodical publications in agricultural sciences from Latin America. Quarterly Bulletin of the International Association of Agricultural Information Specialists, 1986, v. 31, n. 2, p. 55-66

20. BERGER, M., DEVINE, J. Serials evaluation: an innovative approach. Special Libraries, 1990, v. 81, n. 3, p. 183-188

21. MIRANDA, M. A., MONGEAU, D. An evaluation of journals in physical education, athletics and sports) Serials Librarian, 1991, v. 21, n. 1, p. 89-113

22. GÓMEZ, M. A. P. Las revistas y la productividad académica y científica. Revista interamericana de Bibliotecología, 1994, v. 17, n. 1, p. 29-39

23. SITTIG, F., KAALAAS, J. A quantitative ranking of the biomedical informatics serials. Methods of Information in Medicine, 1995, v. 34, n. 4, p. 397-410

24. GIMÉNEZ TOLEDO, E.; ROMÁN, A. Evaluación de revistas científicas: análisis comparativo de dos modelos y su aplicación a cinco revistas españolas de Biblioteconomía y Documentación. Interciencia, 2000, v.25, n. 5, p. 234-241

25. ORTEGA, C., VÁZQUEZ, M. Valoración de las publicaciones periódicas españolas de Ciencia y Tecnología. Actas del I Congreso Iberoamericano de Informática y Documentación, 1985, p. 475-480

26. ORTEGA, C., VÁZQUEZ, M. Estudio comparativo de las revistas españolas de Geología. Prospectiva en Ciencias de la Tierra, 1986. Encuentros en la Universidad Internacional Menéndez Pelayo, junio-julio 1986, 84-00-06449-6 8, p. 175-185

27. ORTEGA, C., VÁZQUEZ, M. Estudio comparativo de las revistas españolas de Química. Química 2000, 1987, n. 14, p. 35-39

28. ORTEGA, C., PLAZA, L. M., MARTIN, M. J.; URDIN, M.C. Spanish scientific and technical joumals. State of the art. Scientometrics, 1992, v. 24, n. 1, p. 21-42.

29. GARCÍA MARÍN, A.; ROMAN, A. Las publicaciones periódicas de Historia Antigua, Prehistoria y Arqueología: difusión internacional. Trabajos de Prehistoria, 1998, v. 55, n. 1, p. 139-146.

30. GIMÉNEZ TOLEDO, E.; ROMÁN, A.; SÁNCHEZ NISTAL, J. M. Aplicación de un modelo de evaluación a las revistas españolas de Economía: una aproximación metodológica. Revista Española de Documentación Científica, 1999, v. 22, n. 3, p. 309-324.

31. ROMÁN, A.; GIMÉNEZ TOLEDO, E. Las revistas españolas de Economía: una propuesta de evaluación. Información Comercial Española, 2000, n. 783, p.134-161.

ANEXO Criterios de calidad editorial LATINDEX aprobados para el Catálogo en la reunión de Lisboa, 14-16 de febrero de 2001

Características básicas (prerrequisitos, para evaluar la revista)

1. Mención del cuerpo editorial: se deberá mencionar la existencia de un consejo editorial, de redacción o responsable científico

2. Contenido científico: para calificar positivamente, al menos el 40% de los documentos publicados en los fascículos a evaluar estará constituido por: a) artículos originales; b) artículos técnicos; c) comunicaciones en congresos; d) cartas al director o artículos breves; e) artículos de revisión, estados del arte, etc.

3. Antigüedad mínima de un año: para ser analizada una publicación deberá haber comenzado a editarse al menos 12 meses antes del momento de hacer el análisis.

4. Identificación de los autores: Los trabajos deberán estar firmados por los autores con nombre y apellidos o declaración de autor institucional

5. Lugar de edición: Deberá hacerse constar en lugar visible el lugar de edición de la revista.

6. Entidad editora: Deberá hacerse constar en lugar visible la entidad o institución editora de la publicación

7. Mención del Director: En la revista deberá constar el nombre del director de la publicación

8. Mención de la dirección de la revista: deberá aportarse en lugar visible la dirección postal o de correo electrónico de la administración de la revista a efectos de solicitud de suscripciones, canje, etc.

Parámetros relativos a la presentación de la revista

1. Páginas de presentación (Cubierta/portada): Deberán incluir título completo, ISSN, volumen, número, fecha y membrete bibliográfico

2. Mención de periodicidad: Es condición inexcusable que la revista exprese o mencione su periodicidad o, en su defecto, el número de fascículos que editará al año

3. Tabla de contenido: Califica positivamente cuando existe en cada fascículo tabla de contenido, índice o sumario en los que consten los datos de título, autor y al menos página inicial.

4. Membrete bibliográfico al inicio del artículo: Califica positivamente si el membrete bibliográfico aparece al inicio de cada artículo e identifica la fuente.

5. Membrete bibliográfico en cada página: Califica positivamente si el membrete que identifica la fuente aparece en cada página de los artículos publicados

6. Miembros del Comité editorial o Consejo de Redacción: Califica positivamente si aparecen los nombres de los miembros del Comité Editorial o Consejo de Redacción de la revista

7. Afiliación institucional de los miembros del Comité editorial o Consejo de Redacción: Califica positivamente si se proporcionan los nombres de las instituciones a las que están adscritos los miembros del Comité editorial (a no confundir con el Consejo Asesor o Comité Científico, cuyos miembros también deberán ir acompañados de sus lugares de trabajo). No basta que se indique solo el país.

8. Afiliación de los autores: Deberá proporcionarse al menos el nombre de la institución de trabajo del autor o autores de cada artículo. Esta información podrá encontrarse tanto al principio como al final de cada artículo, así como en las "listas de colaboradores" o "información sobre los autores" que aparecen entre las primeras o entre las últimas páginas de cada fascículo.

Parámetros relativos a la gestión y la política editorial

9. Fecha de recepción y aceptación de originales: Califica positivamente sólo si se indican ambas fechas.

10. ISSN: Califica positivamente la existencia de código ISSN.

11. Definición de la revista: Califica positivamente si en la revista se menciona el objetivo, cobertura temática y/o público al que va dirigida .

12. Sistema de arbitraje: en la revista deberá constar el procedimiento empleado para la selección de los artículos a publicar

13. Evaluadores externos: califica positivamente si el sistema de arbitraje recurre a evaluadores externos a la entidad o institución editora de la revista

14. Autores externos: Califica positivamente si al menos el 50% de los trabajos publicados provienen de autores externos a la entidad editora de la revista. En el caso de revistas editadas por asociaciones se considerarán autores pertenecientes a la entidad editora los que formen parte de la directiva de la asociación o figuren en el equipo de la revista.

15. Apertura editorial: Califica positivamente si al menos una tercera parte del Comité editorial o Consejo de Redacción es ajena a la entidad editora de la revista.

16. Servicios de información: califica positivamente si la revista está incluida en algún servicio de indización, resúmenes, directorios o bases de datos. Este campo califica positivamente tanto si la base de datos es mencionada por la propia revista como si lo agrega el calificador (a partir de la búsqueda hecha para tal fin).

17. Cumplimiento de la periodicidad: Califica positivamente si la revista edita al año el número de fascículos correspondientes con la periodicidad expresada.

Parámetros relativos a las características de los contenidos

18. Contenido original: Califica positivamente si al menos el 40% de los artículos son trabajos de investigación, comunicación científica o creación originales.

19. Instrucciones a los autores: Califica positivamente si aparecen las instrucciones a los autores sobre el envío de originales y resúmenes en cada fascículo.

20. Elaboración de las referencias bibliográficas: En las instrucciones a los autores deberán indicarse las normas de elaboración de las referencias bibliográficas para calificar positivamente.

21. Exigencia de originalidad: Califica positivamente si en la presentación de la revista o en las instrucciones a los autores se menciona esta exigencia para los tra­bajos sometidos a publicación.

22. Resumen: Califica positivamente si todos los artículos van acompañados de un resumen en el idioma original del trabajo.

23. Resumen en dos idiomas: Califica positivamente si se incluyen resúmenes en el idioma original del trabajo y en un segundo idioma.

24. Palabras clave: Califica positivamente si se incluyen palabras clave en el idioma original del trabajo.

25. Palabras clave en dos idiomas: Califica positivamente si se incluyen palabras clave en el idioma original del artículo y en otro idioma,