EVALUACIÓN DE RECURSOS DIGITALES EN LÍNEA: CONCEPTOS, INDICADORES Y MÉTODOS

Lluís Codina
Universidad Pompeu Fabra. Departamento de Ciencias Políticas y Sociales. Sección de Biblioteconomía y Documentación. Correo-e: lluiscodina@cpis.upf.es. Web: <http://camelot.upf.es/-lcodina/>.

Resumen: Resumen: Discusión de las propiedades principales de los recursos digitales. Se propone una metodología de evaluación de recursos digitales en la que se identifican los parámetros esenciales que pueden ser objeto de evaluación y se facilitan indicadores para realizar estimaciones sobre los mismos.

Palabras clave: recursos digitales, evaluación de recursos digitales, descripción, metadatos.

Abstract: A discussion on the main properties oí the digital resources. Proposal of a methodology of evaluation of digital resources. The methodology identifies the essential parameters that can be object of evaluation, and facilitates indicators to make estimations on the parameters oí evaluation of digital resources.

Key words: digital resources, digital resources evaluation, description, metadata.

PRIMERA PARTE: INTRODUCCIÓN, DEFINICIONES Y CONCEPTOS

1 El método del método

En este trabajo se propone una metodología de evaluación de recursos digitales que pueda ser útil en diversos contextos, aunque se han tenido en cuenta, sobre todo, las necesidades profesionales del mundo de la documentación científica y técnica.
En concreto, el objeto de este trabajo consiste en el intento de desarrollar una metodología de evaluación de recursos digitales que reúna las siguientes características:

1. Potencia.
2. Operatividad.
3. Capacidad didáctica.
4. Articulación.
5. Compatibilidad.

Más adelante se explicará el significado que se atribuye a esas cuatro propiedades. Ahora corresponde decir algo sobre la forma en la que se ha intentado llegar a este resultado.
Es decir, la elaboración de metodologías requiere, a su vez, de alguna metodología. Exponemos a continuación cuál ha sido ésta. En primer lugar se ha realizado un estudio en profundidad de las agencias de evaluación más significativas de nuestro entorno internacional, particularmente de Estados Unidos y del Reino Unido (actualmente se está imponiendo la denominación de "information gateways" para este tipo de organismos, véase Desire, 1999). En el anexo 1 se indica la relación de las agencias de evaluación que se tomaron como objeto de estudio. Del citado estudio se extrajeron las primeras listas de parámetros a considerar en la evaluación de recursos digitales
En segundo lugar, se procedió a la realización de una investigación en línea para localizar documentación relevante sobre la cuestión. En la bibliografía se indican algunas de las referencias correspondientes. Es ya un tópico afirmar que Internet es la mejor fuente de información sobre Internet, y en este tema se ha confirmado esta aseveración, como podrá comprobar el lector. En tales trabajos, los autores suelen proponer sus propias listas de parámetros e indicadores a considerar en la evaluación de recursos digitales.
Por tanto, con los datos precedentes, se procedió a realizar un estudio comparativo de los criterios y parámetros propuestos tanto por las mencionadas agencias de evaluación como en la bibliografía sobre el tema. Algunos parámetros e indicadores se desecharon por diversos motivos, siendo el más habitual la trivialidad de algunos de ellos o la dificultad práctica de su ensayo en condiciones realistas de trabajo, mientras que, con otros, se vio que eran asimilables entre sí, de manera que dos o más indicadores podían reducirse a uno solo.
En segundo lugar, se intentó incorporar al grupo de indicadores la clase de requerimientos propios de lo que viene dándose en llamar "arquitectura de la información", uno de cuyos mejores representantes es la obra de Rosenfeld y Morville (1998). La arquitectura de la información, por lo menos tal como la consideran los citados autores, aporta abundantes elementos críticos de diseño de sedes web desde el punto de vista de los intereses de la Documentación, y de aquí su adopción como parte integrante del, por así decirlo, "background" teórico del proyecto.
En tercer lugar, apoyados en la experiencia de otro proyecto paralelo, del que se dan los detalles en el anexo 2, se añadieron algunos indicadores propios. Con el resultado de ese estudio comparativo/crítico se estructuró una lista inicial de parámetros e indicadores que se fue depurando en sucesivos análisis y pruebas de viabilidad.
Después, y apoyándonos en las pruebas señaladas, se procedió a la compilación de la lista final de indicadores, la cual debía satisfacer un doble requerimiento: potencia y operatividad.
La potencia significa que debía proporcionar un conjunto suficiente de indicadores para poder afrontar las necesidades de escenarios diversos. La operatividad significa que el conjunto de indicadores no podía ser arbitrariamente grande y, en todo caso, no podía ser tan grande que lo hiciera inmanejable en la mayor parte de los contextos reales de trabajo de bibliotecas, centros de documentación y otros organismos interesados en actuar como agencias de evaluación.
Finalmente, la metodología se puso a prueba en tres escenarios distintos: formó parte de una práctica real de evaluación de recursos digitales que se encargó a un grupo de unos treinta alumnos, como parte de su trabajo en un curso de postgrado en documentación digital, buena parte de los cuales eran profesionales de la documentación en activo.
Los alumnos, muchos de los cuales nunca habían evaluado recursos digitales, e incluso algunos carecían de experiencia previa en la utilización de Internet como herramienta profesional, pudieron aplicar la metodología y, en un período de tiempo relativamente breve (entre dos y tres semanas), fueron capaces de analizar, cada uno de ellos, hasta cinco recursos digitales distintos y producir los análisis críticos correspondientes. Posteriormente, se pidió a los participantes en la experiencia que contestaran de forma anónima para que evaluaran la efectividad del método empleado y la respuesta fue, casi unánimemente, de alta satisfacción (detalles sobre el curso y las evaluaciones sobre la evaluación en el anexo 2).
Una experiencia similar se realizó con un grupo de 10 alumnos participantes en un master internacional sobre creación digital (Artes Digitales, ver dirección web en anexo 2), con resultados semejantes a los anteriores: a saber, con un entrenamiento específico en esta metodología, los alumnos fueron capaces de evaluar recursos digitales con criterios que nunca antes habían considerado.
Finalmente, esta metodología ha sido utilizada como parte del futuro proyecto de Centro de Documentación Digital, una sección permanente de la web que forma parte del curso telemático de postgrado en Documentación Digital, ya mencionado. El Centro de Documentación Digital contendrá, entre otras, una subsección de evaluación y descripción de recursos digitales. Los primeros trabajos de esa evaluación se iniciaron a lo largo del curso 1999?2000 aplicando la metodología que se presenta aquí a discusión.
Se han hecho otras aplicaciones de esta metodología, de las que solamente daremos una breve referencia, tales como su uso en un curso de doctorado para formar periodistas expertos en recursos digitales, así como se ha aplicado como parte del proceso de realización de auditorías de comunicación en organismos que disponen de sedes web.
El punto que nos interesa destacar aquí es que, como consecuencia del proceso de trabajo señalado, se llegó a la conclusión de que una metodología de evaluación de recursos digitales debería poseer:

- Capacidad didáctica. Es decir, evaluar recursos digitales debería incluir el aprendizaje para ver propiedades que, sin una didáctica apropiada, pasan desapercibidas a un ojo no educado.
- Una articulación en tres elementos bien diferenciados: conceptos, indicadores y métodos. Sin embargo, la mayoría los criterios de evaluación examinados para la realización de este trabajo, ignoraba esa diferencia o bien simplemente carecía de algunos de ellos, conteniendo, a duras penas, una lista de indicadores, a menudo sin ninguna explicación o justificación
- La máxima compatibilidad con las metodologtas generales aplicables en sistemas de información. En realidad, este requerimiento y el anterior son dos caras de una misma moneda.

Si a estas tres consideraciones sumamos los otros dos requerimientos indicados más arriba, es decir, que una metodología debe combinar las propiedades de potencia y operatividad, entonces tenemos las cinco propiedades que esta metodología pretendía satisfacer y que hemos indicado más arriba (potencia, operatividad, capacidad didáctica, articulación y compatibilidad).
Una última advertencia sobre la naturaleza de este método. No se pide al lector que lo acepte como artículo de fe. Buena parte de este método es indecidible en el más puro sentido lógico, es decir, no es posible decir de él si es verdadero o es falso. No se pide a nadie que crea algo así como que este método "es verdadero" (tampoco es falso).

La razón es que a un método de estas características no le corresponde ser verdadero o falso, porque no hace proposiciones sobre la realidad al estilo de "la luna es un satélite de la tierra". Es decir, este método no pretende hacer descubrimientos sobre la naturaleza de la realidad, sino que presenta propuestas para abordar determinados aspectos de la realidad. Entendemos que a un método de estas características no le corresponde ser verdadero ni falso, sino que le corresponde tratar de:

a) primero y ante todo, ser útil;
b) segundo, ser racional, es decir, estar basado en conocimientos previos racionales y derivar de inferencias realizadas de manera racional y plausible;
c) tercero, ser compatible con el grueso de nuestros conocimientos en materia de sistemas de información y de sistemas de información documentales.

Puede estar seguro el lector de que las tres cosas precedentes se han perseguido con ahínco en esta metodología.
Corresponde ahora señalar, brevemente, qué no es este trabajo. No trata sobre catalogación, ni sobre análisis documental. El método que se propone aquí no contradice, sino que se complementa, con los métodos de catalogación y análisis documental convencionales, motivo por el cual no entra en tales aspectos.
Unas palabras sobre las fuentes y la bibliografía: nos hemos limitado voluntariamente a las fuentes y las obras que hemos utilizado a fondo para este trabajo. Ahora bien, en algunas de las fuentes mencionadas aquí, por ejemplo, en la sede web del proyecto Desire (www.desire.org), o en la web dedicada a Information Quality de la WWW Virtual Library (www.vl.org), se listan decenas o centenares de buenos recursos que el lector interesado puede consultar.

2 ¿Por qué evaluar?

Antes de presentar y de discutir esta metodología puede resultar conveniente tratar de responder a esta pregunta: ¿por qué evaluar? Examinemos algunas respuestas.
A medida que la Internet vaya creciendo, será más y más necesario para los profesionales de la documentación disponer de criterios sólidos para saber evaluar recursos digitales y determinar su valor o su capacidad relativa para cumplir sus objetivos.
Es una situación que comenzó a manifestarse hace ya algunos años en el seno de las organizaciones que crean y mantienen directorios de recursos digitales, el ejemplo por excelencia de las cuales, no por calidad, sino por popularidad, es Yamo <www.yahoo.com>, y que ahora se han multiplicado, hasta el punto que un solo país como España cuenta ya con varias decenas de empresas comerciales dedicadas a esa labor.
En concreto, y en el ámbito general, el meta directorio Buscopio <www.buscopio.com>, un servicio creado por el grupo Prisa, contabilizaba 35 directorios españoles de recursos digitales a mediados de 1999, a los que habría que sumar unos 40 directorios o buscadores más de ámbito autonómico.
Todo lo anterior sin tomar en considerar los directorios especializados, sobre los que únicamente podemos decir que pueden contarse por varios cientos, pues no olvidemos que muchos de ellos son accesibles únicamente en el seno de intranets o exeranets. En total, y solamente para un país como España, una estimación muy conservadora nos proporcionaría un censo de unos 500 lugares webs, pertenecientes a organismos o empresas del sector público o privado, que destinan personal y otros recursos a evaluar y elaborar directorios de recursos digitales.
Ahora bien, la cuestión no termina aquí, porque la necesidad de contar con profesionales capaces de desarrollar esta clase de evaluaciones se está extendiendo a otros ámbitos y entornos profesionales muy distintos. Citaremos tres de ellos: en primer lugar, en muchos departamentos de universidades existen profesionales que se ocupan de seleccionar, evaluar y describir recursos digitales para los profesores, alumnos e investigadores de la universidad.
En segundo lugar, las empresas que diseñan sistemas de información basados en tecnología web o que ofrecen consultoría sobre información, documentación y comunicación necesitan profesionales preparados para poder auditar las sedes web de sus clientes y ofrecerles consejos para que sus páginas sean navegables, para que la información esté bien organizada y para que los motores de búsqueda les otorguen puntuaciones altas.
En tercer lugar, centros de documentación de empresas de comunicación de todo tipo (prensa, radio, televisión) están incorporando directorios y bases de datos de recursos web como un servicio más para sus clientes o usuarios y, siguiendo una acreditada tradición documental, procuran no reseñar webs que no satisfagan unos mínimos de calidad.
En todos los escenarios señalados la situación es parecida: se requieren instrumentos intelectuales para poder decidir cuándo un recurso debería figurar en un directorio o cuándo no y en función de qué parámetros. La razón es que uno de los valores más apreciados de las selecciones de recursos digitales es que son, precisamente, selectivas. Por otro lado, las empresas que disponen de sede web están cada vez más interesadas en disponer de criterios para saber si su web posee elementos de calidad, más allá de la evidencia de la calidad de contenidos o de la vistosidad del diseño.
Por último, se necesitan también indicaciones operativas para describir y representar esos recursos, puesto que va a ser necesario que formen parte de alguna compilación. A1 mismo tiempo, muchas de las operaciones que aquí se describirán resultarán útiles también para que una sede web pueda obtener mejor puntuación en los motores de búsqueda de Internet.
Por tanto, ahora ya podemos dar respuesta a la pregunta: necesitamos evaluar porque conforme se populariza la publicación a través del web, más se necesitan profesionales que realicen una labor de selección que separe el ruido de la información; profesionales que señalen qué está bien y qué no está bien en un recurso digital, y ya que necesitamos seleccionar y señalar, necesitamos criterios claros y funcionales para realizar esas labores.

3 Estructura

Esta propuesta metodológica se articula en tres partes:

1. Conceptos.
2. Indicadores.
3. Procedimientos.

Se acepta que, en sistemas de información, una metodología que llega al nivel de la implantación, es útil que se presente de manera articulada, de manera que en esa metodología se pueda diferenciar, por lo menos, entre conceptos, herramientas y fases o procesos, también llamados a veces ciclo de vida (Longworth, 1992; Consejo Superior de Informática, 1993; Yourdon, 1993; Codina, 1997).
De este modo, los conceptos proporcionan un conjunto de definiciones explícitas y de propuestas conceptuales que establecen su marco intelectual. Los indicadores son equivalentes a las herramientas en las metodologías generales de sistemas de información. Finalmente, los procedimientos incluyen las indicaciones y métodos, así como proporcionan orientaciones sobre el principal producto resultante: la descripción evaluada del recurso digital.

4 Conceptos

4.1 Definiciones

Cuando se evalúan y describen recursos digitales tenemos que adoptar decisiones sobre el nivel en el cual situaremos el análisis y la consiguiente evaluación, así como debemos tener claro qué es un recurso web. Además, es fácil que surjan dudas a propósito de cuestiones como las siguientes: ¿es lo mismo una URL que una web? ¿es lo mismo una web que una página web? ¿qué diferencia hay ente una sede web y un recurso digital? etc.
Para discutir los anteriores puntos proponemos el grupo de definiciones siguientes:

A partir del conjunto de definiciones precedentes, proponemos la siguiente definición:

Si nos proponemos establecer un procedimiento para determinar la calidad de un recurso digital, parece que debemos comenzar por identificar cuáles son las propiedades más importantes de los recursos digitales. A ello dedicamos la siguiente sección.

4.2 Propiedades de la información digital

Los dos ingredientes que hacen que un recurso digital sea valioso parecen estar muy claros en una primera aproximación: forma y contenido. Ahora bien, a efectos de evaluación, esos dos criterios, forma y contenido, solamente son un punto de partida, no un punto de llegada. En primer lugar, podemos tener una web con contenidos de alta calidad, pero inutilizables por estar mal organizados.
Con las cuestiones de forma podemos llegar a conclusiones parecidas: una web puede estar exquisitamente diseñada, pero ser tan poco navegable que no comunique bien con los usuarios.
Además, si queremos mejorar una web o si queremos asignar puntuaciones, necesitamos articular con precisión qué se entiende por un buen contenido y una buena forma. Los criterios que siguen pretenden proporcionar elementos que nos permitan avanzar e ir más allá de esa idea correcta, pero insuficiente, de que una buena web es una combinación de calidad de contenido más calidad formal.
Ahora bien, antes de proponer criterios de evaluación es necesario conocer cuáles son las propiedades más características de la información digital. Para ello, discutiremos tres propiedades de la información digital que suelen ser mal entendidas cuando se crean sedes web, y por tanto, a las que corresponde prestar una mayor atención, a saber: la virtualidad, la recuperabilidad y la computabilidad (Codina, 1996).

4.2.1 Virtualidad, o la cantidad deviene calidad

La virtualidad de la información digital tiene numerosas dimensiones, pero en este trabajo nos interesa una de ellas en concreto, la que se refiere a la capacidad (virtualmente) ilimitada del medio digital como contenedor de información. Lo que nos dice esta propiedad es que no solamente es importante la calidad de la información que contiene una sede web, sino también la cantidad. ¿Cómo puede ser esto así?
La razón es que, en el mundo analógico, muy pronto se saturan las capacidades de los soportes: un libro no puede tener mucho más de mil páginas, una cinta de vídeo puede tener poco más de tres horas, un fascículo de un diario o de una revista puede tener apenas unos centenares de páginas, etc.
¿Qué sucede en el mundo digital? ¿Existe alguna limitación a que la web de una revista proporcione acceso a la totalidad de los números anteriores? En principio, la única limitación es de tipo logístico o práctico, pero no hay ninguna limitación, digamos ontológica, es decir, basada en la naturaleza del medio, para que una web no pueda ser la interfase unificada que proporciona acceso a grandes volúmenes de información.
Algún cambio cualitativo se ha producido cuando en lugar del límite de unas pocas miles de páginas en una guía de cine en papel, por ejemplo, podemos disponer de información sobre centenares de miles de filmes y sobre millones de cineastas en línea en una sola fuente de información (AllMovie).
Esa cualidad, por tanto, debe ser considerada y apreciada cuando se examinan las propiedades de la información digital. Sin embargo, la pregunta más importantes es, seguramente, la siguiente: ¿deben proporcionar las sedes web grandes volúmenes de información para ser valiosas?

Nuestra opinión es que sí, por lo menos siempre que se tenga la oportunidad, este debería ser un objetivo claro. Dicho de otra forma, si es posible poner una gran cantidad de información valiosa, hágase así y procure ponerse toda la información posible. Podemos preguntarnos qué sucede si la institución que desea crear una web dispone de poca información. Lo que nosotros nos preguntaríamos, por nuestra parte, es: si disponen de poca información, ¿para qué desean ponerla en formato digital?
Sea como sea, la cantidad de información que proporciona un lugar o una sede web debería considerarse como un elemento de calidad. No existe una contradicción aquí: una de las leyes filosóficas mejor contrastadas en múltiples dimensiones de la realidad es que, a partir de cierto umbral, lo cuantitativo deviene cualitativo. Es decir, la "mera" cantidad de información se transforma, tan pronto como supera una masa crítica, en calidad de información.
No podemos establecer dónde está el umbral que separa a mucha de paca cantidad de información. En primer lugar, porque dependerá de la clase de sede web o de recurso digital considerado; en segundo lugar, porque buena parte de las veces, qué es mucho o qué es poco será una propiedad relativa, es decir, comparativa entre sedes webs: a igualdad de los demás factores, será más valioso el recurso que proporcione mayor cantidad de información.
Por tanto, en relación al tema de la capacidad digital, la lección es doble: en primer lugar, la cantidad de información es una auténtica calidad del medio digital. Cuando evaluamos sedes web podemos permitirnos el lujo de apreciar esa dimensión cuantitativa que, como decimos, deviene cualitativa. En segundo lugar, si la tenemos presente cuando estemos involucrados en el diseño de una sede web, deberíamos poner en nuestra lista de chequeo un ítem que nos obligue a preguntarnos por la manera de conseguir que nuestra sede web tenga no solamente buena información, sino también mucha información.

4.2.2 Recuperar versus navegar

La navegación es una prestación que, mejor o peor, está prevista en casi cualquier recurso digital; en cambio la recuperación suele obviarse. Empecemos por definirlas. Ambas cosas son operaciones de obtención de información, pero presentan diferencias importantes de tipo cognitivo y tecnológico.
Presentan diferencias cognitivas porque constituyen procedimientos distintos de satisfacción de necesidades de información, y presentan diferencias tecnológicas porque se basan en métodos y en tecnologías efectivamente distintos.
La navegación es un procedimiento de obtención de información basado en desplazarnientos sucesivos a través de una red de nodos de información. Estos nodos pueden estar o pueden no estar organizados. El caso más frecuente, en webs de una cierta calidad, es que la navegación se haga a través de estructuras jerárquicas organizadas en forma de árbol. Pero navegar también consiste en desplazarse por una red sin estructura definida, como es el caso de la (falta de) estructura de algunas webs, o de la propia Internet vista en su conjunto.
Por su parte, la recuperación de información es un procedimiento que consiste en extraer información de un fondo documental en base a comparar las necesidades de información de los usuarios con los documentos existentes en ese fondo. De realizar el proceso de comparación se encarga un programa informático sin intervención directa del usuario, quien únicamente debe expresar su necesidad de información al programa a través de una interfase al uso.
El lector reconocerá la diferencia entre ambas operaciones si piensa en la diferencia que existe entre buscar información desplazándose a través de la estructura en árbol de un directorio como Yahoo o buscar información escribiendo una o más palabras en la ventana de búsqueda de un motor como A1taVista.
La cuestión que nos interesa considerar aquí es la siguiente: no es suficiente un sistema de navegación para garantizar el acceso a la información que contiene una web, sino que, en realidad, y salvo excepciones muy determinadas, cualquier sede web medianamente compleja requerirá de un sistema de recuperación para complementar al sistema de navegación si se desea garantizar el acceso a la información.
La recuperación se construye de diversas maneras. La más fácil y accesible consiste en añadir un programa de indización al programa servidor de la web. Este mismo programa de indización permite que el cliente web pueda enviar preguntas al servidor, a través de un formulario que se presenta como una página HTML al navegador del usuario. Otras opciones más complejas pasan por el uso de un programa completo de gestión de bases de datos. Actualmente, buena parte de los sistemas de gestión de bases de datos del mercado puede trabajar en estrecha unión con el servidor web, de manera que los usuarios pueden utilizar su navegador para hacer operaciones de recuperación a través de esas bases de datos.
Un ejemplo de programa indizador a gran escala lo tenemos en los motores de búsqueda como A1taVista. Muchas sedes web utilizan un indizador de ese mismo tipo para permitir la recuperación de información. Podemos ver un buen ejemplo de esto en la web de la Unesco <www.unesco.org>, donde es posible navegar por la información o entrar términos en una ventana de búsqueda para hacer recuperación de información (se puede ir directamente a la página HMTL que tiene el formulario de búsqueda si se entra esta dirección en el navegador: <http://www.unesco.org/general/eng/util/seareh.html".
Un ejemplo de utilización de bases de datos completas para hacer recuperación de información lo tenemos en la web del Ministerio de Cultura <http:www.mcu.es> que permite la consulta de diversas bases de datos, entre ellas bases de datos de cinematografía y de libros. En concreto, se puede consultar, por ejemplo, la base de datos del ISBN (http://www.mcu.es/bases/spa/isbn/ISBN.html>, que contiene información sobre todos los libros editados comercialmente en España desde 1972.

4.2.3 Computabilidad: más allá de la interactividad

Los medios digitales permiten una forma de interactividad muy avanzada cuando explotan para ello una de las propiedades más genuinas de la información digital: la computabilidad.
La primera consecuencia de la digitalización de la información es que puede ser tratada por un programa informático. Esto es la computabilidad. La información registrada en un soporte analógico, en cambio, es estática. Pongamos un ejemplo. Un directorio de cine en papel puede contener la fecha de nacimiento de los cineastas. Un directorio en soporte digital nos puede indicar, para cada día del año, quiénes cumplen años y cuántos cumplen, y la información cambiará, naturalmente, según qué día y qué año hagamos la consulta.
El poder de la computabilidad es tan grande como el poder mismo que demuestran los ordenadores día a día. Intentaremos mostrarlo desarrollando el ejemplo anterior. Imaginemos que disponemos de una base de datos de cineastas y para aprovechar esa información queremos publicar en papel un directorio sobre el mundo del cine que informe, para cada día del año, qué edad tiene cada uno de los cineastas.
La única vía para lograrlo sería la de compilar la información para cada personaje, para cada día del año. Supongamos que queremos que el anuario abarque varios años, digamos cinco años. Tendríamos que hacer esa misma compilación, variando el dato de la edad, para cada uno de los cineastas y para cada uno de los días, en los cinco años durante los cuales queremos que el directorio sea útil. Una tarea titánica, tanto que no es probable que ninguna empresa se anime a editar un proyecto de ese tipo, aún disponiendo de la base de datos de cineastas.
¿Podría proporcionarse esa misma utilidad en un sistema digital de una manera más fácil? La respuesta es que sí, ya que gracias a la computabilidad no tendríamos que compilar y almacenar toda la información, sino simplemente escribir una fórmula que la generase automáticamente cada vez, y de manera interactiva y adaptada al contexto.
Por tanto, en lugar de almacenar la información, bastaría con almacenar una fórmula del estilo, "tómese la fecha del sistema operativo y declárese fecha del día, selecciónense los personajes cuyo día de cumpleaños coincide con la fecha del día; ahora, y para cada personaje, réstese el año de nacimiento al año de la fecha del día", y con esta fórmula que, debidamente codificada puede ocupar unas cuantas decenas de líneas de programación, podemos generar más información, y de forma más fiable, que compilando miles de páginas de información. En términos de bytes, la fórmula ocupará unos cuantas decenas de bytes como máximo; si tuviéramos que compilar la información, necesitaríamos varios megabytes, posiblemente centenares de megabytes, y esto solamente para unos pocos años, mientras que la fórmula tiene una validez virtualmente infinita.

Desire (www.desire.org) es un proyecto de la UE que ha publicado en formato digital un interesante trabajo sobre la creación de agencias de evaluación (información gateways)

Aunque el ejemplo anterior puede parecer rebuscado, nos muestra claramente la potencia que proporciona poder almacenar una fórmula en lugar de almacenar información. Claro que no siempre es posible elegir entre fórmula e información. El ejemplo descrito trata de un caso real, en concreto esta prestación puede encontrarse en la versión en CD?ROM, ahora también en DVD, de AllMovie (la versión web de este directorio puede verse en <allmovie.com> donde, sin embargo, no puede utilizarse esta prestación).
Pueden verse otras posibilidades de la computabilidad, como una forma avanzada de interactividad, en las siguientes sedes web: en Nova, de la cadena de televisión PBS <www.pbs.org>, así como en la ya mencionada All Media Guide <allmovie.com>; en este segundo caso se pueden apreciar especialmente en las opciones de búsqueda.
La Internet nos está familiarizando con otras formas de interactividad netamente basadas en la computabilidad: por ejemplo, algunas web ofrecen recomendaciones de compra por una vía, en principio, poco intuitiva, pero que se ha revelado de gran eficacia: cuando alguien adquiere un libro, llamémosle la obra X, a través de un servicio por Internet, por ejemplo a través de Amazon <www.amazon.com>, el sistema informa sobre otros títulos que han adquirido quienes también adquirieron la obra X. El resultado suele ser asombrosamente eficiente, pues a veces es capaz de proporcionar información más relevante que haciendo una búsqueda por títulos o palabras clave.
Es previsible que, en el futuro, la computabilidad nos proporcione nuevas formas de interactividad que ahora son desconocidas. Solamente dependemos para ello de la capacidad y la imaginación de los futuros creadores de sedes web. La computabilidad, por tanto, es cualquier forma de interacción que involucra la explotación de las capacidades de computación propias de los ordenadores y exclusivas, por tanto, del medio digital.

SEGUNDA PARTE: PARÁMETROS E INDICADORES

5 Parámetros

Ahora estamos en mejores condiciones de discutir una propuesta de criterios o indicadores de evaluación. Lo primero que debe decirse es que no existe un consenso sobre todos los elementos o parámetros que deben considerarse, y que diversas agencias de evaluación utilizan criterios diversos que, por tanto, solamente coinciden parcialmente.
En concreto, un grupo de profesores de la Universidad de Georgia, realizó una investigación sobre el tema y encontró una lista de 509 posibles criterios de evaluación. (Puede consultarse información sobre esta investigación en:
<http://itech1.coe.uga.edu/faculty/gwilkinson/webeval.html>).

La lista de indicadores de calidad que se ofrece aquí, por tanto, es tan discutible como cualquier otra, aunque no es arbitraria y el autor, naturalmente, apuesta por ella.
Creemos que la característica principal de esta lista de indicadores es su carácter, si no razonable, por lo menos sí razonado. A diferencia de otras listas de indicadores, que se limitan a proponer un rótulo para cada criterio, aquí se ha procurado justificar (razonar) cada uno de ellos y proponer indicios para su evaluación.
Además, se ha procurado articular los indicadores en tres niveles (l, 2, 3) siempre que ha sido posible. En el sistema articulado de evaluación que proponemos aquí, la superación de cada uno de los tres niveles corresponde a la siguiente escala nominal de calidad:

· Nivel 1: Aprobado.
· Nivel 2: Notable.
· Nivel 3: Excelente.

Lo que significa que un recurso que satisface el nivel 1 en un parámetro determinado alcanza la suficiencia, etc. Naturalmente, ni esta puntuación, ni la escala nominal propuesta, ni la articulación precisamente en tres niveles, etc., es esencial al método, pero puede añadirle utilidad. El motivo es que se puede comprobar, para cada parámetro, si una web determinada está en el nivel suficiente o bien llega a la excelencia, etc.

5.1 Parámetros e indicadores básicos de evaluación

En primer lugar, y aunque ya hemos señalado que no existe un acuerdo total sobre todos los aspectos que deben contemplarse, hay unos cuantos de ellos sobre los que existe bastante unanimidad y que son los siguientes:

1. Contenido.
2. Autoría.
3. Ergonomía.
4. Representación de la información.

Ahora bien, si quisiéramos reducir aún más la lista, podríamos elegir los dos primeros criterios exclusivamente:

1. Contenido.
2. Autoría.

Por su importancia, dedicaremos a estos dos primeros criterios unos comentarios por separado, sin perjuicio de que volveremos a tratarlos en la lista completa de indicadores.
En concreto, el criterio de contenido debe contemplar indicadores tanto sobre la calidad como de cantidad de la información. Entre los primeros tenemos a los siguientes: el rigor, la exhaustividad, la actualización, la edición, la sistematización, el interés intrínseco y la originalidad.
Sobre la cantidad de información tenemos como indicador el grado de cobertura o exhaustividad de la información respecto al campo tratado. Vamos a examinar los indicadores señalados:

5.1.1 El contenido: indicadores de calidad

1.1. Rigor. Se refiere al cuidado con el que ha sido preparada la información. No siempre podemos estar seguros respecto a esto, y con frecuencia debemos guiarnos por indicios más o menos (in)directos. Algunos de estos indicios son: la mención de otras fuentes, la mención de datos concretos (fechas, autores, estadísticas), la ausencia de errores factuales, la ausencia de juicios de valor gratuitos, la separación cuidadosa entre opinión e información, etc., por no mencionar la ausencia de errores ortográficos.
1.2. Exhaustividad. Este indicador se refiere al grado en el cual las informaciones se presentan de modo más o menos completo. Por ejemplo, un dato bibliográfico puede consistir solamente en un título y un nombre de autor, o incorporar también la fecha de edición, el lugar de edición, el nombre de la editorial, el número de páginas de la obra y el número de ISBN. Un directorio de empresas puede dar un nombre y una ciudad para cada empresa o la ficha completa de la misma, incluyendo el nombre de los miembros del consejo de administración; una biografía puede dedicar un párrafo a cada personaje o el equivalente a varias páginas de información, etc.
1.3. Actualización. Señala la frecuencia o la fecha de la última actualización. Es evidente que, en general y a igualdad de otros factores, cuanto más actualizada sea una información, mayor valor tiene. Si consultamos un atlas geográfico de Centroeuropa desearemos, con toda seguridad, que sea lo más actualizado posible.
1.4. Edición. Este indicador se refiere al grado, tanto explícito como implícito, y más o menos evidente según los casos, en el que la información ha sido tratada, revisada, completada, editada en una palabra, antes de ser publicada.
Ofrece evidencias de edición una web que presenta un título, un nombre de autor (o una indicación de autoría) y una fecha de creación, por no mencionar, una vez más, la ausencia de errores ortográficos o la simple presentación descuidada.
Las menciones de autor, la titulación y la datación deben repetirse en todas las secciones o documentos de la web si procede, es decir, si la naturaleza del recurso lo exige. Por ejemplo, la web de una publicación periódica deberá indicar no solamente los datos del organismo editor, el nombre del director o directora de la publicación, cte., sino que deberá presentar esos datos para cada artículo de la publicación, cte.
1.5. Sistematización. El tratamiento sistemático proporciona una gran calidad a la información, por eso debe considerarse un indicador de primera magnitud. En el punto anterior hemos mencionado un factor de sistematización, pero cada tipo de recurso tiene los suyos propios. Por ejemplo, en un directorio hay sistematización si cada web está descrita de la misma forma. Hay sistematización en una base de datos cuyos registros poseen todos la misma estructura básica, cte.
1.6. Interés intrínseco. Aunque sea una obviedad, hay que recordar que existen temas completamente triviales, y muchas webs dedicadas a ellos. De hecho, la trivialidad y el esnobismo parece ejercer una atracción fatal en el mundo de la WWW. Deben evitarse, simplemente, webs dedicadas a temas de interés ridículo. Dicho de otro modo, debe considerarse el interés intrínseco de la información por encima de consideraciones de estética o de esnobismo. En este sentido, otro motivo de sorpresa es la enorme atención que algunas webs de contenidos voluntariamente triviales merecen en los medios de comunicación.
1.7. Originalidad. Este parámetro se refiere al grado en el cual un recurso ofrece informaciones únicas o exclusivas en algún sentido. Muchas webs ofrecen informaciones relacionadas con temas de actualidad, pero solamente algunas webs ofrecerán, además, tratamientos en profundidad de tales temas o recursos complementarios, como gráficos, mapas, infograffas, datos estadísticos, puntos de vista opuestos, cte. Muchas webs ofrecen listas de recursos digitales, pero solamente algunas evalúan esos recursos, cte. Este indicador mide, en definitiva, el grado en el cual un recurso ofrece algo que únicamente puede encontrarse en el mismo.

5.1.2 El contenido: factores de cantidad

Ya hemos hablado antes de la importancia de la cantidad como indicador de calidad en los contenidos, y de cómo no existe ninguna paradoja en ello. Lo que debe estimarse aquí son dos cosas:

1. Superación del umbral de la trivialidad. Una web bien diseñada, pero con una cantidad trivial de información no supera este umbral. La WWW está repleta de ese tipo de webs. Deben evitarse en una política de evaluación de recursos digitales.
2. Cobertura relativa. La cobertura relativa es una estimación de en qué medida, dado el tema o dominio de interés del recurso, se ofrece o no una cobertura completa de ese tema o dominio. Los indicadores aquí varían mucho según la clase de recurso, pero en general, el indicador adopta una forma muy simple: más es mejor. Entre dos directorios dedicados a medios de comunicación será mejor, a igualdad de otros factores, el más completo.

Es cierto que hay veces en que la cantidad parece reñida con la calidad, pero si se examina con atención la cuestión, se verá que la mayor parte de las veces no existe esa contradicción. Hablamos de cantidad de información útil, o de cantidad de información valiosa, no de cantidades indiscriminadas de información. Además, este parámetro es relacional o comparativo. La cantidad es aquí un factor de calidad que sirve para comparar dos recursos que, en otros extremos, pueden ser similares. Por ejemplo, si comparamos AllMovie (allmovie.com) con IMBD (www.imdb.com), el factor cantidad debería inclinarnos por considerar mejor a la primera; sin embargo, sorprendentemente, la mayoría de guías de recursos mencionan a la segunda e ignoran a la primera.

5.1.3 La autoría

Por su parte, el parámetro de la autoría puede evaluarse a través de tres aspectos o indicadores diferentes (aunque muy relacionados entre sí, claro está):

1. La .solvencia del autor ylo de la institución que ha creado, producido o editado el recurso. Es evidente que no merece el mismo crédito una web sobre salud producida por un doctor o una doctora en Medicina que por un curandero, para poner un ejemplo de los llamados "de manual". Por tanto, un indicador de calidad en este sentido será la adecuación curricular del autor al tema tratado.
Por parecido razonamiento, es evidente que no podemos otorgar el mismo crédito a un informe sobre política cultural publicado en la web de la Unesco que uno publicado en la web de un grupo que haga llamamientos al exterminio de media humanidad. Por tanto, respecto a la figura del editor o distribuidor, su solvencia pública será otro indicador de importancia capital.
Como regla general, es evidente que existen organismos que ofrecen mayores garantías, de entrada, que otros. Por ejemplo, siempre suele ser un buen indicador de calidad el que un recurso haya sido publicado por una universidad, o por una editorial de prestigio, cte.
2. La existencia de declaraciones explícitas de autoría. Sorprende el elevado número de webs que carecen de indicaciones claras sobre a quién cabe atribuir la paternidad, la propiedad o la responsabilidad intelectual de la misma.
Por eso, de entrada, es ya un indicador de calidad la simple presencia de esa información. Una web bien concebida debe tener un apartado donde se explique sin ambigüedad y con el máximo detalle posible: a quién o a quienes debe atribuirse la responsabilidad del recurso; quién o quienes son los editores o distribuidores del recurso. Esta declaración debería ir acompañada de datos complementarios sobre los autores y los editores: institución donde trabajan; dirección postal de los editores, etc. Por el contrario, una web sin tales indicaciones debe considerarse, de entrada, poco solvente.
3. La esperanza de vida del recurso. Salvo excepciones notables, parece más razonable concentrar los esfuerzos de descripción y evaluación en recursos que disponen de alguna clase de soporte empresarial o institucional que en recursos producidos como resultado de iniciativas estrictamente personales.
Las páginas personales son muy numerosas y tanto su vida media como su calidad no solamente son muy irregulares, sino que su fiabilidad y solvencia en relación a los temas tratados es muy difícil o imposible de contrastar; de aquí el principio de evitar la evaluación de páginas producto de iniciativas estrictamente personales.

5.2 Lista completa de parámetros e indicadores de calidad

Una vez discutidos por separado, a causa de su gran valor intrínseco, los parámetros e indicadores del contenido y de la autoría, vamos a proponer ahora la lista completa de parámetros de evaluación de recursos digitales. En esa lista volveremos a considerar, pero ahora en su contexto global, a los dos anteriores.
Para organizar tales criterios, y debido a la propia naturaleza hipertextual de la WWW, los dividiremos en dos grandes apartados (Rada, 1991):

1. Micronavegación.
2. Macronavegación.

La razón es que creemos que es útil separar los aspectos de navegación interna de una web, a la que denominaremos micronavegación, de los aspectos relacionados con su encaje en el resto de la Internet a través, tanto de los enlaces emitidos como de los enlaces recibidos, aspecto que llamaremos macronavegación, y que incluye también la capacidad de una web para ser avista" por los internautas.
Cada uno de los parámetros contiene subparámetros que ayudan, o bien a precisar su significado, o bien a proporcionar indicadores de calidad, o bien a ambas cosas.

Micronavegación

1. Calidad y volumen de la información. Los indicadores que deben ser evaluados son los siguientes (su significado se ha discutido con más detalle más arriba):

Nivel 1
1. Interés intrínseco. El tema del recurso, ¿posee un interés intrínseco o, por el contrario, es de interés trivial?
2. Rigor. ¿Existen indicios de que la información está tratada con el cuidado y rigor adecuados al contenido?
3. Volumen: ¿supera el umbral de la trivialidad? ¿posee un adecuado grado de cobertura de la información, dado el tema o dominio abarcado?
4. Edición. ¿La información ha recibido tratamiento editorial? ¿Está identificado y datado el recurso? En particular, ¿dispone la web de título, mención de responsabilidad y fecha de edición, y esta información se encuentra cada vez que el contenido de la web lo requiera?

Nivel 2
5. Exahustividad. En el nivel en el que corresponda en cada caso, ¿son completos, o tienden a ser lo más completos posibles los datos?
6. Actualización. ¿Se actualiza la información con frecuencia?

Nivel 3
7. Sistematización. ¿Está tratada la información de manera sistemática, incluyendo en este tratamiento sistemático los aspectos no textuales o ¡ónicos?
8. Originalidad. ¿Presenta informaciones que, en alguna medida, son originales o exclusivas de este recurso?

2. Autoría: responsabilidad y solvencia.

Nivel I
1. ¿Contiene indicaciones claras y explícitas sobre la autoría y/o la responsabilidad intelectual del recurso?

Nivel 2
2. ¿Existen indicios de que la web está creada, producida, realizada, etc., por un organismo o institución de reconocido prestigio en su campo?

3. Legibilidad y ergonomía.

Nivel I
1. ¿Existe una correcta relación entre figura y fondo que facilite la lectura de la información'?
2. ¿En el caso concreto de los textos, pueden leerse con facilidad. es decir, hay espacios en blanco repartidos regularmente, no hay un abuso de recursos tipográficos, adornos, cte.?

Nivel 2
3. ¿Tiene la información textual una tipografía adecuada y son elegantes los elementos ¡cónicos?

Nivel 3
4. ¿Presenta la web, en general, un diseño elegante. funcional y atractivo?

4. Navegación y representación de la información.

Nivel I
1. ¿Posee la web un sumario general que representa su contenido global?
2. ¿En caso de existir, es la primera sección de la web y puede verse la totalidad de los elementos del sumario sin necesidad de utilizar la barra de desplazamientos?
3. ¿Posee el sumario principal un número reducido de elementos, de manera que es fácil captar su contenido global con un mínimo esfuerzo?
4. ¿Es posible ir, con un solo clic, desde cualquier nodo, no importa a qué nivel de profundidad se encuentre, al sumario principal?

Nivel 2
5. ¿Se ha evitado la existencia de nodos aislados, es decir, que no lleven al nodo principal o a otro nodo que lleve al nodo principal?
6. ¿Es posible ir, con un solo clic, desde cualquier nodo, no importa a qué nivel de profundidad se encuentre, a cualquiera de las secciones principales de la web?
7. Las secciones o nodos extensos, ¿poseen navegación local?
8. ¿Es posible recorrer la totalidad de la web mediante desplazamientos sucesivos a través de su estructura?
9. ¿Contiene la web enlaces entre nodos no relacionados jerárquicamente?

Nivel 3
11. ¿Contiene la web algún tipo de índice, por ejemplo, temático, cronológico, alfabético, de nombres, etc., que complemente los otros elementos del sistema de navegación?
12. ¿Mantiene la web un estilo informativo coherente: colores, iconos, tipos de menús, etc.?
13. ¿El tipo de menús, etiquetas, iconos, cte., de la web es claro y uniforme y permite anticipar en cada momento el efecto de las acciones?
14. ¿Es coherente el sistema de navegación, tanto en cuanto a aspectos lógicos como al uso de etiquetas textuales y recursos ¡cónicos, es decir, se usan siempre los mismos códigos textuales e ¡cónicos para representar las mismas funciones, acciones o datos?

5. Recuperabilidad.

Nivel 1
1. ¿Proporciona servicios de recuperación de información, es decir, es posible ejecutar operaciones de búsqueda por palabras o frases?

Nivel 2
2. ¿Es posible utilizar operadores booleanos?
3. ¿Es posible utilizar otros operadores: de proximidad, de comparación, cte.?

Nivel 3
4. ¿Existen ayudas y sistemas de recuperación de información adicionales: tesauros, listas de temas, cte.?

6. Interactividad/Computabilidad.

1. ¿Se pueden plantear preguntas, sugerencias o enviar mensajes al administrador de la web?
2. ¿Existe alguna otra forma de interactividad, aparte de la recuperabilidad?
3. ¿Se puede realizar alguna clase de actividades o transacciones?
4. ¿Existen otros servicios avanzados de interactividad?

7. Velocidad de descarga.

1. ¿Ha sido rápida la descarga de la página o, por el contrario, la abundancia de elementos gráficos, programas, scripts, cte., ha hecho excesivo el tiempo de descarga?

8. Servicios adicionales.

1. ¿Proporciona algún servicio adicional, por ejemplo, permite descargar software o ficheros gráficos?

Macronavegación

Las sedes web suelen contener enlaces a otras sedes web de la Internet. De hecho, poner una web en la Internet presupone que forma parte de una gran red de webs, por eso la calidad de algunas sedes se puede medir también en función de cómo realiza ese encaje con el conjunto de la Internet.

9. Luminosidad. La luminosidad de una web se refiere a la cantidad de enlaces que contiene hacia otras sedes web. Por tanto:

1. ¿Contiene enlaces externos esta web?

10. Calidad de los enlaces.

1. ¿Existen indicios de que los enlaces han sido seleccionados y evaluados?

11. Actualización de los enlaces.

1. ¿Están actualizados los enlaces de esta web?

12. Descripción, selección y evaluación.

1. ¿Propone una simple lista de enlaces a otras sedes web o, por el contrario, éstas se encuentran descritas?
2. ¿Presenta evidencias de que las sedes web han sido evaluadas o parece tratarse de una lista acrítica de recursos?
3. ¿Presenta alguna evaluación explícita que asigne puntuaciones a las sedes web?

13. Visibilidad. La visibilidad se mide por el número de otras webs que mantiene enlaces hacia la web objeto de análisis. La visibilidad también se denomina a veces popularidad.
Algunas estrategias de cálculo de relevancia empleadas por motores de búsqueda utilizan la visibilidad o popularidad como un factor determinante en la estimación de dicha relevancia. En particular, sigue esa estrategia el buscador Google (www.google.com).
En cualquier caso, el indicador que tomaremos aquí es el siguiente:

1. ¿Existen otras sedes web que apuntan hacia ésta?

Es posible saber cuántas webs poseen enlaces hacia una web determinada utilizando motores de búsqueda. En concreto, AItaVista <www.av.com> proporciona la posibilidad de hacer una búsqueda precedida por el término <link:> más una dirección del estilo <www.upf.es>, de este modo:

La respuesta será una lista de todas las páginas que, según el índice de A1taVista, contienen enlaces a <www.upf.es>.
Otros motores proporcionan opciones parecidas. Por ejemplo, en HotBot, la misma búsqueda se puede hacer seleccionando, de la ventana desplegable situada bajo la ventana de las búsquedas, la opción <links lo this URL>, con la diferencia que en HotBot hay que entrar la dirección indicando el protocolo, en este caso, <http>. De este modo:

El tratamiento que realiza BUBL (www.bubl.ac.uk) una de las agencias de evaluación consideradas en este trabajo, dista de limitarse a la típica lista acrítica de títulos de recursos.

14. Autodescripción. Las sedes web son más accesibles a través de motores de búsqueda y de agencias de evaluación si están bien (auto) descritas. Una sede web puede estar bien (auto) descrita cuando se dan las siguientes circunstancias:

1. Titulo. El título que aparece en la barra del navegador es transparente, por ejemplo, si la web trata de historia del cine musical, un título transparente podría ser <Historia del cine musical> pero no, por ejemplo, <La Página personal de Nosferatu>. ¿Tiene titulo la web?
2. Contenido. Los primeros párrafos de la web y los primeros nodos de la web contienen texto, no gráficos, donde se hace explícito el contenido. ¿Hay texto explicativo del contenido de la web?
3. Metaetiquetas. El elemento HEAD de la web contiene las meta etiquetas <Keywords> y <Description> y su contenido es coherente. ¿Posee meta etiquetas?
4. Meta datos. Eventualmente, el elemento HEAD contiene un sistema avanzado de meta datos, como Dublin Core. ¿Posee meta datos?

TERCERA PARTE: PROCEDIMIENTOS

6 Procedimientos

Con los 14 elementos anteriores disponemos de un conjunto de parámetros de evaluación con algunos indicadores de calidad y procedimientos más o menos explícitos y más o menos generales para medirlos, pero aún no tenemos un auténtico procedimiento de evaluación.
El método de evaluación debe comenzar por determinar criterios de inclusión; después, debe otorgar prioridades a los parámetros y, finalmente, debe indicar procedimientos para otorgar puntuaciones a cada uno de los parámetros.

6.1 Criterios de inclusión/exclusión

En la mayoría de las situaciones típicas de la Documentación, cualquier web que suspenda los puntos 1 y 2 ya no debería ser objeto de evaluación.
Uno de los objetivos de las evaluaciones es seleccionar recursos de calidad. Si un recurso suspende cualquiera de los dos primeros puntos, no vale la pena registrar ese recurso y, por tanto, no vale la pena seguir evaluando esa web. Por tanto, en realidad, los indicadores 1 y 2 son criterios de inclusión/exclusión.
En concreto, si una web no presenta indicios de contener informaciones que superen un cierto umbral, tanto de calidad como de cantidad, entonces se trata de una que, o bien es trivial o bien es de interés ridículo, o ambas cosas a la vez y, por tanto, ha suspendido el indicador 1.
Por otro lado, si no existe modo de conocer la autoría o bien no presenta indicios de tratarse de una autoría solvente en relación al tema que trata, en particular cuando los citados contenidos son de tipo sensible, por ejemplo, informaciones sobre salud, medio ambiente, política, ciencia, etc., entonces se trata de una web que ha suspendido el indicador 2.
Por tanto, para ser objeto de evaluación y descripción, una web debe superar a la vez los indicadores 1 y 2.

6.2 Prioridades y niveles

Para casi cualquier objetivo y contexto de evaluación, parece posible aplicar los puntos 1 a 4 para juzgar la calidad de un recurso digital.
Más allá de estos primeros 4 parámetros, las prioridades y los pesos que deberán otorgarse a cada parámetro dependerán del objetivo del evaluador.
Por ejemplo, en la realización de una auditoría interna de comunicación, el parámetro 14 deberá tener un gran peso, mientras que en una evaluación con el objetivo de ofrecer webs seleccionadas en el seno de un centro de documentación o de servicio de referencia de un medio de comunicación, los parámetros 13 y 14 serán muy poco (o nada) relevantes y, en cambio, los puntos 1 a 4, más el punto 9, serán cruciales.
Aqui propondremos a continuación tres escenarios de evaluación, de complejidad creciente, y cada de los cuales es adecuado para un tipo de propósito de evaluación distinto:

- Escenario 1. Contempla el uso de los puntos 1 al 4. Este nivel puede ser útil para crear y mantener directorios de recursos en Intemet que necesiten verificar y mantener varios miles de ellos sin dejar de ofrecer un valor añadido a sus usuarios. Ejemplos: Cercador (www.cercador.com); Buscopio (www.buscopio.com).
- Escenario 2. Contempla los puntos 7 al 10. Puede ser útil para agencias de evaluación que trabajen en el mundo académico, científico y técnico.
Su contexto natural serán centros de documentación e instituciones del mundo de la enseñanza media y universitaria, grupos de investigación, departamentos e institutos de universidad, cte. Ejemplos: Bubl (www.bubl.ac.uk); Adam (www.adam.ac.uk); Sosig (www.sosig.ac.uk).
- Escenario 3. Contempla todos los puntos, del 1 al 16. Será útil para realizar auditorías internas de evaluación de sedes web.

Una vez decididos cuáles son las prioridades y cuál es el tipo de evaluación según el contexto o escenario, se pueden construir tablas donde se asignen puntos a cada parámetro, de manera que sea fácil sumarlos y conceder puntuaciones globales a cada web, si es el caso. Decimos si es el caso, porque algunas agencias de evaluación asignan puntuaciones a las sedes web, mientras que otras renuncian a ello.
Por ejemplo, se puede construir una tabla tomando los 16 indicadores anteriores y asignando entre 0 y 2 puntos a cada uno de ellos, de manera que asignamos un 0 a la ausencia del parámetro o a una realización totalmente insatisfactoria, un 1 a un realización correcta y un 2 a partir de una buena realización.
Somos conscientes de que, con semejante sistema, se perderán matices importantes, por ejemplo, no podremos discriminar entre una realización buena y una realización excelente, pero a cambio tendremos un método de evaluación bastante operativo. Naturalmente, nada impide desarrollar tablas de grano tan fino como se desee, de manera que la escala vaya, por ejemplo, de 0 a 10 en lugar de 0 a 2, pero reflexiónese sobre la dificultad de aplicar tales tipos de escala.
Después deben sumarse los puntos que arroja cada parámetro y, si se estima conveniente, convertir la suma final a una escala sencilla, por ejemplo, a una escala de 1 a 4 puntos, lo que es muy útil para los usuarios en algunos contextos. Agencias de evaluación como las mencionadas a continuación, o bien no hacen explícita ninguna puntuación, o bien usan escalas limitadas.
El método de evaluación se completará con algún procedimiento de descripción, lo que se discute más adelante.

6.3 Descripción de recursos digitales

La descripción de un recurso digital puede seguir, en parte, las mismas pautas que observamos cuando describimos un documento convencional, a saber, libros o revistas publicadas en papel.
La mejor fuente de información para seleccionar los elementos que deben formar parte de una descripción documental siguen siendo las normas ISBD, las cuales, gracias a su alto nivel de abstracción, son útiles para describir cualquier tipo de documento, incluyendo documentos digitales.
Ahora bien, al igual que la evaluación puede asumir diversos niveles, la descripción de un recurso digital puede asumir también diversos niveles. Salvo que necesitemos catalogar recursos digitales en un contexto de lectura pública, tema del que no nos ocupamos aquí, la descripción tomará únicamente una parte de tales elementos.
Recordemos que, según las ISBD, todo documento es susceptible de presentar ocho zonas o grupos de elementos, a saber:

1. Zona del título y la mención de responsabilidad
2. Zona de edición
3. Zona específica del material
4. Zona de la publicación
5. Zona de la descripción física
6. Zona de la colección
7. Zona de las notas
8. Zona del número normalizado

Para la mayor parte de los propósitos relacionados con el tema que estamos discutiendo aquí, parece que es suficiente tomar las zonas 1, 4 y 8. Únicamente tendremos que añadir una zona para los datos de acceso (URL). Con tales zonas, la estructura de la descripción de un recurso digital puede quedar como se ve en la figura siguiente (los números no señalan ahora zonas, sino elementos):


FIGURA1
Modelo simple de descripción de recursos digitales

La descripción de cada recurso puede incluir elementos adicionales de información, como la lengua del recurso, la última fecha de revisión, además de otros elementos de caracterización de contenidos, como una descripción, uno o más códigos de clasificación, un conjunto de palabras clave y una evaluación, en cuyo caso, el modelo extendido puede quedar como se indica en la figura 2.
A continuación mostramos un ejemplo de tal descripción en la figura 3.
Naturalmente, si el contexto así lo aconseja, pueden adoptarse esquemas de descripción más sencillos. Por ejemplo, el servicio BUBL, del que hemos hablado más arriba, utiliza únicamente seis elementos:

1. Título.
2. Descripción.
3. Autor
4. Clasificación
5. Tipo de recurso
6. Lugar

Figura 2
Modelo extendido de descripción de recursos digitales

Figura 3
Ejemplo de ficha descriptiva de un recurso

Y como se ve, no asigna valoración. La razón, probablemente, es porque únicamente selecciona y describe recursos de alto valor, por lo cual debe entenderse que el valor de estos recursos va desde "muy bueno" a "excelente", con lo que la necesidad de indicar puntuaciones concretas se relativiza. En cambio, otros servicios, como Argus (también comentado más arriba) o el de la Enciclopedia Británica, otorgan puntuaciones que van de 1 a 5, aunque únicamente listan recursos que superan un cierto umbral de calidad.
Por tanto, la necesidad de utilizar puntuaciones detalladas y, en su caso, de hacerlas explícitas, depende del contexto y de los objetivos de la evaluación.

6.4 Meta datos: meta etiquetas y la norma Dublin Core

Se puede entender la descripción y representación de recursos web desde el punto de vista de la meta descripción o auto descripción, y así es como vamos a enfocar ahora este asunto en esta sección.
La razón es doble. La más frecuente deriva del hecho que las sedes web compiten por obtener altos lugares en los motores de búsqueda como resultado de las preguntas de los usuarios, así como proporcionar descripciones inteligibles en los resúmenes de contenido que ofrecen esos motores.

6.4.1 Meta etiquetas

La vía más habitual para ello es utilizar etiquetas (tags) de tipo <META> (por meta tags) que se ubican en la sección <HEAD> de un documento HTML. La norma HTML no proporciona una lista cerrada de meta etiquetas, sino un método para declarar meta etiquetas con el propósito de representar la información sobre el documento. El procedimiento para declarar una meta etiqueta comienza invocando el elemento META; después hay que darle un atributo con NAME (por ejemplo, "Author") y otorgarle un valor con CONTENT (por ejemplo, "Lluís Codina").
Por tanto, si queremos decir con meta etiquetas que determinado documento tiene por autor a Umberto Eco, podemos hacerlo así:

Hemos dicho que no existe una lista cerrada de meta etiquetas, pero se está imponiendo un discreto acuerdo tácito entre la comunidad de creadores de páginas web en torno al conjunto mínimo siguiente de tres etiquetas: <author>, <keywords> y <description>.
Todas las meta etiquetas o meta tags tienen la misma estructura; por lo tanto, después de la invocación del elemento, <META>, aparecerán los atributos <NAME> y <CONTENT>. Por ejemplo, si tuviéramos que describir este documento mediante meta tags, la codificación HTML correspondiente tendría la forma que puede verse en la figura 4.

Figura 4
Ejemplo de codificación con meta tags

Cada vez hay más motores de búsqueda que "entienden" estas tres etiquetas (author, keywords, description), y que les dan una triple utilidad: en primer lugar, suelen otorgar una mayor relevancia a los documentos cuyas palabras están en esa sección; en segundo lugar, permiten una búsqueda más similar a la búsqueda por campos y, en tercer lugar, cuando un motor de búsqueda o un directorio encuentra la etiqueta <description> utiliza el texto que contiene esa etiqueta como resumen del documento, en lugar de intentar generarlo de manera automática.

6.4.2 Dublin Core

La norma Dublin Core <purl.org/de/> es un solvente intento multidisciplinar e internacional de especificación de un conjunto estándar de meta datos que sirvan para identificar con mayor precisión el contenido de los documentos y recursos web. Al igual que en el caso anterior, los meta datos que especifica Dublin Core tienen la forma de meta tags que se escriben como código HTML en la sección <HEAD> de los documentos web.
Pero, a diferencia de los meta tags señalados antes, la norma Dublin Core propone un conjunto de 15 meta datos sobre los que existe suficiente acuerdo internacional para confiar en que, muy pronto, podrán ser un instrumento de gran capacidad para describir documentos y recursos digitales en Internet. Por tanto, se confía en que pronto sea un sistema útil para realizar lo que, en terminología Dublin Core, se denomina resource discovery, es decir, para descubrir recursos a través del uso de motores de búsqueda y bases de datos. Su uso, por tanto, no sustituye a las operaciones de catalogación de documentos tal como suelen hacerse en el seno de las bibliotecas del sector público.
Uno de los objetivos principales del Dublin Core es proporcionar un método estándar para que sean los propios organismos creadores o editores de documentos HTML quienes describan los recursos de manera que sea fácil realizar después búsquedas mucho más precisas de lo que permiten los motores de búsqueda actuales.
Su uso está previsto, principalmente, en el seno de instituciones académicas, culturales y de investigación, es decir, en general en contextos donde el esfuerzo de descripción venga justificado por la calidad intrínseca y la condición no volátil de los recursos, por lo cual es fácil prever que también será utilizado por todas aquellas instituciones y empresas que deseen beneficiase de un estándar de descripción de datos de estas características.
La idea es que, en principio, el uso de esos meta datos sea útil a nivel de intranets, de extranets y de redes formales o ad hoc formadas por organismos de disciplinas científicas o de intereses culturales y académicos compartidos. En concreto, a primeros del año 1999, la web oficial de la norma Dublin Core informaba de 42 instituciones científicas, culturales o académicas de todo el mundo que habían adoptado Dublin Core como el estándar para describir recursos <purl.oclc.org/dc/projects/index.htm>.
Se confía, además, en que más pronto que tarde, los motores de búsqueda generalistas, como AltaVista y otros, no tardarán en utilizar esa clase de meta datos para incrementar su eficacia.

Página principal de Internet Detective (www.sosig.ac.uk/desire/internet?detective.html) un tutorial interactivo sobre evaluación de recursos digitales, parte de los proyectos conjuntos de Desire y SOSIG, ésta última otra de las agencias de evaluación consultadas para la realización de esta metodología.

Figura 5
Los elementos de la norma Dublin Core

FUENTE: purl.org/dc/

El conjunto de meta datos que especifica Dublin Core es el que indica la figura 5. La norma Dublin Core establece que todos los elementos son opcionales, cada uno de los elementos se puede delimitar o precisar con atributos específicos y se puede repetir tantas veces como sea necesario con el fin de representar adecuadamente el contenido de cada recurso. Por ejemplo, el elemento Title puede repetirse si el recurso tiene más de un título, digamos con un titulo traducido, además de un título principal. Lo mismo puede hacerse con Creator, si hay más de un autor, etc.

Tabla I

Cada elemento puede precisarse con la ayuda de un atributo <Type> o <Scheme>. El atributo <Type>, se usa para precisar el tipo del elemento. Por ejemplo, en el elemento <Identifier> se puede precisar si el identificador es un URL u otro tipo de identificador. <Scheme> se usa para indicar la norma que se ha utilizado para proporcionar el contenido del elemento. <Scheme> es especialmente apropiado, por ejemplo, para indicar el uso de tesauros o clasificaciones en el elemento <Subjec>.
Para los elementos <Date>, <Type>, <Format>, <Language> y <Relation>, la norma recoge algunas propuestas, que aparecen en la tabla I.
La sede oficial de la norma recomienda, aún con la categoría de "work in progress", el uso de lo que llaman "simple dublin core" <purl.oclc.org/dc/documents/working?drafts/wd?guide?current.htm>, que es el que ilustraremos aquí más adelante.
Los elementos Dublin Core se pueden codificar igual que los elementos meta tag de HTML, es decir, dentro del elemento HEAD, precedidos de las letras DC, por Dublín Core, y con la combinación de la etiqueta META más sus dos atributos NAME y CONTENT, según la figura 6, si quisiéramos representar ahora este artículo.
A partir de la codificación precedente, podemos observar dos cosas: en primer lugar, como puede verse, hemos combinado meta etiquetas de HTML con meta datos de Dublin Core, para asegurarnos la mayor cobertura posible. En segundo lugar, hemos eludido las etiquetas para las cuales no era procedente indicar nada.

Figura 6
Ejemplo de codiricación con Dublin Core

7 Conclusiones

1. La evaluación de recursos digitales es una actividad cada vez más necesaria, bien para evaluar recursos externos y construir directorios de alto valor añadido, o bien para auditar nuestras propias webs o las de nuestros clientes. La evaluación integral de recursos debería contemplar tres aspectos: la micronavegación, la macronavegación y la auto descripción.
Cada uno de estos apartados debe contener parámetros razonados e indicadores sobre la manera de enjuiciar la adecuación de esos parámetros.
2. Una metodología de evaluación debería contemplar, asimismo, la posibilidad de incluir criterios de inclusión/exclusión de recursos, así como un procedimiento de ponderación de los parámetros.
3. Se está produciendo un deterioro creciente de la capacidad de motores de búsqueda como A1taVista (www.ay.com) o HotBot (www.hotbot.com) para recuperar documentación e información solvente.
La selección de documentos a partir del mero requerimiento de que contengan determinada palabra puede ser útil si antes se ha realizado una selección que separe los documentos triviales o sin ninguna solvencia científica de documentos valiosos o científicamente relevantes.
Ante esta situación, las agencias de evaluación serán cada vez más importantes y, por ese mismo motivo, disponer de agencias de evaluación (o de information gateways en el argot de la UE) con criterios de selección bien determinados será cada vez más importante.

8 Fuentes

8.1 Webs sobre criterios e indicadores de evaluación

Argus Clearinghouse
Http://clearinghouse.net/ratings.html

Bibliography en Evaluating Internet Resources
Http://www.lib.vt.edu/researeh/libinst/evaibiblio.html

Evaluating the Quality of Internet Information Sources
http://itcchl.coe.uga.edu/faculty/gwilkinson/webeval.html

Evaluation of Information Sources
Http:/www.vuw.ac.nz/?agsmith/evaln/evaln.htm

Internet Detective
Http://www.sosig.ac.uk/desire/internet?detective.html

OMNI Guidelines for Resource Evaluation http://omni.library.nottingham.ac.uklageclevalguid.html

Scout Project http://scout.cs.wisc.edu/scout/report/criteria.html

Sección Yahoo sobre Evaluación de Recursos Digitales
Http:/ldir.yahoo.com/Computers?and?lr)ternet/lnternet/World Wide Web/Informa
tion and Documentation/Evaluation/

The WWW Virtual Library: Information Management
Http://www.ciolek.com/WWWVL-InfoQuality.html

8.2 Webs sobre citación y descripción

Cómo citar recursos electrónicos (guía de estilo creada por los profesores Assumpció Estivill y Cristóbal Urbano, de la Universidad de Barcelona) http://www.ub.esíbiblio/citae-e.htm

Electronic References & Scholarly Citations oí Intemet Sources Http://www.spaceless.com/WWWVL/

Ifa: Electronic Collections and Services http://www.ifla.org/IUindex.htm

Dublin Core Metadata Initiative
Http://purl/org/dc/

8.3 Bibliografía (documentos citados o consultados para la realización de este artículo, además de las fuentes digitales señaladas en los puntos anteriores)

1. BAIGET, T. (1986). Análisis de sistemas de información. Barcelona: Institut Catalá de Tecnologia, 1986, 64 p. (documento reprografiado).
2. BELCHER, M. et al. (1999). DESIRE information gateways handbnok. Http://www.desire.org/handbook/, 10 november 1999.
3. CODINA, L. (1996). El (libre digital: una exploració sobre la infórmació electrónica i el futur (le Pedició. Barcelona: Generalitat de Catalunya. Centre d'Investigació de la Comunicació, 1996, 191 p. 4.
4. CODINA, L. Metodología de análisis de sistemas de información y diseño de bases de datos documentales: aspectos lógicos y funcionales. En: BARó, .1.; CID, P. (eds.). Anuario SOCADI de Documentación e Infornmción 7998. Barcelona: SOCADI, 1998, p. 195-2105.
5. CONSEJO SUPERIOR DE INFORMÁTICA. (1993). Metodología de planificación y desarrollo (le sistemas de inforrnación. Madrid: Ministerio para las Administraciones Públicas, 1993, 243 pp.
6. IPLA. (1999). 1SBD(ER): Descripció bibliográfica normalitzada internacional per a recursos electrónics. Barcelona: Biblioteca de Catalunya, 1999, 81 pp. (traducción al catalán de la obra: ISBD(ER), International standard bibliographac description for electronic resources).
7. ISO. (1999). Excerpts from International Standard ISO 690-2. Information and documentation. Ribliographic references. Part 2: Electronic documents or part,s thereof. <http://www.nlc?bne.caliso/tc46sc9/standard/690-2e,htm>, 10?02-1999.
8. LONGWORTH, G. (1992). Introducing SSADM version 4. Oxford: NCC Blackwell, 1992, 180 pp.
9. ORTIZ-REPISO, V. Nuevas perspectivas para la catalogación: metadatas versus MARC. Revista Española de Documentación Científica, v. 22, n. 2, 1999, pp. 198-219.
10. RADA, R. (1991). Hypertext: from test to expertext. London: MeGraw Hill, 1991, 237 pp.
11. ROSENFELD, L.; MORVILLE, P. Information architecture for the world wide web. Cambridge: O'Reilly, 1998, 204 p.
12. ROVIRA, C. (1998). L'hipertext: la recuperació finformació per navegació en el web. En Baró. J. Cercar i col locar informació en el World Wide Web. Barcelona: Llibres de (Índex, 1998, p. 57-80.
13. ROVIRA, C. (1999). Diseño de documentos y sistemas hipertextuales de información. En: Curso de Documentación Digital (CD-ROM). Barcelona: UPF, 1999.
14. SMITH, A. (1997). Criterio for evaluation on Internet information resourees. <Http://www.vuw.ac.nz/-agsmith/evaln/index.htm>, 2 March 1997
15. YOURDON, E. (1993). Análisis estructurado moderno. México: Prentice-Hall Hispanoamericana, 1993, 735 pp.

ANEXOS
Anexo 1. Principales agencias de evaluación consideradas para este estudio

Anexo 2. Proyecto del curso telemático de posgrado en Documentación Digital

Características

El curso de postgrado en Documentación Digital es un curso que se impartió totalmente a través de Internet, entre febrero y junio de 1999; se hizo una nueva edición que comenzó en febrero del 2000. En cada edición se inscribieron unos 30 alumnos, principalmente de España, pero también participaron algunos alumnos de Latinoamérica.
Para impartir el curso fue necesario diseñar y desarrollar, por primera vez y sin que existieran experiencias semejantes previas, una sede web, basada en una combinación de principios de diseño hipertextual, docentes y documentales, que diera soporte a los procesos de enseñanza y aprendizaje.
La experiencia en el diseño de la web de este curso proporcionó criterios e indicadores para la metodología de evaluación de sedes web y, a su vez, le fueron aplicados tales criterios.

Dirección de la web del proyecto

Pueden consultarse más datos sobre el proyecto en:
http://docdigital.upf.es.

Evaluación del método de evaluación

En la mencionada dirección puede verse la evaluación anónima que efectuaron los alumnos de las prácticas consistente en evaluar recursos digitales con una primera versión de trabajo de la metodología expuesta en este artículo (véase en la mencionada web, la evaluación del Módulo 1, Unidad 5, correspondiente a la experiencia mencionada), que mereció una valoración global de 9,73 (sobre un máximo teórico de 10).

Máster en Artes Digitales

Los datos sobre el Master en Artes Digitales, donde también se ha puesto a prueba el método que se describe en este trabajo, se pueden consultar en:
http://www.iua.upf.es/iua_e.htm