x

¿Aún no esta registrado?

Crea tu cuenta. Registrate en Elsevier y obtendrás:

Registrarme ahora
España | Cambiar
Ayuda - - Regístrese - Teléfono 902 888 740
Buscar en

Factor de Impacto:
2012

2,102
© Thomson Reuters, Journal Citation Reports, 2012

Indexada en:

Social Sciences Citation Index, SCOPUS, IN-RECS

Índice SCImago

SCImago Journal & Country Rank

Validez y fiabilidad del Researcher ID y de «Web of Science Production of Spanish Psychology»

José Alonso Olivas-Ávila a, Bertha Musi-Lechuga a

a Universidad Autónoma de Ciudad Juárez, México

Keywords

Researcher ID; Web of Science; Research evaluation; Database; Descriptive study of document analysis

Palabras Clave

Researcher ID; Web of Science; Evaluación de la investigación; Bases de datos; Estudio descriptivo de análisis de documentos

Resumen

La creación de sistemas integradores de productos de investigación, como el Researcher ID de Thomson Reuters, ha sido una necesidad emergente debido a lo complejo que es para los investigadores demostrar de manera periódica el impacto y difusión de su investigación. Sin embargo, estos sistemas se alimentan de información proveniente de las diversas bases de datos y cada vez son más inclusivos para captar productos de investigación. Varios estudios bibliométricos han demostrado que las bases de datos contienen imprecisiones de varios tipos, que afectan directamente a los sistemas integradores. Como consecuencia, se plantea este estudio descriptivo con el fin de analizar la precisión de los registros del Researcher ID de los miembros del consejo de www.psy-wos.es y de una muestra de usuarios de esta página para cotejar los registros con los contenidos en la base de datos Web of Science, diferenciándolos de contenidos ajenos a esta base de datos. Los resultados reflejan que existen imprecisiones y errores considerables en los Researcher ID de la muestra analizada, tales como duplicidad de registros y la inclusión de registros ajenos a la Web of Science. Se concluye que los Resercher ID así como el www.psy-wos.es no son válidos ni fiables.

Artículo

Uno de los retos que tienen que afrontar los investigadores hoy en día es el de demostrar la difusión e impacto de su investigación. La revisión por pares o el «peer review» ha sido un método tradicional para medir la calidad de la investigación a través de la publicación de artículos. Sin embargo, en la actualidad existe una tendencia en la demanda de métodos que de manera objetiva, válida, fiable y cuantificable, simplifiquen la medición del impacto de los investigadores a través de indicadores bibliométricos (Abramo, Cicero, & D´Angelo, 2013; Abramo & D´Angelo, 2007; Bourne & Flink, 2008; Buela-Casal, 2003, 2010; Moghadasi, Ravana, & Raman, 2013; Purnell & Quevedo-Blasco, 2013). Dichas evaluaciones a los investigadores predeterminadamente se traduce en atribuciones de calidad para la contratación, incremento de salarios y promoción, entre otras cosas, en función de beneficiar a quien lo mere-ce (Olivas-Ávila & Musi-Lechuga, 2012b); también en la evaluación de la producción científica de una universidad con respecto a las demás (Bengoetxea & Buela-Casal, 2013). Paralelo a lo anterior, se plantea como necesaria una clara comprensión de los sistemas que agrupan los productos de investigación y, por consiguiente, el nivel de impacto en la comunidad académica. Además, aun no existe un sistema automatizado que garantice la evaluación de la calidad de la investigación; es más, diversos parámetros son tomados en cuenta para hacerla válida (factor de impacto de las revistas, número de citas, índice h, etc.), pero es difícil tomar en cuenta unos cuantos criterios por si solos para tener un dictamen justo acerca de toda su actividad (Agasisti, Catalano, Landoni & Verganti, 2012; Balaban, 2012; Cheek, Garnham, & Quan, 2006; Más-Bleda & Aguillo, 2013; Olivas-Ávila & Musi-Lechuga, 2010; Olivas-Avila, Musi-Lechuga, Quevedo-Blasco & Luna-Hernández, 2012). Muy recientemente la American Society for Cell Biology (2013), en colaboración con un grupo de editores y autores muy productivos, se han manifestado y asentado en la The San Francisco Declaration on Research Assessment (DORA) para reclamar mejores formas para evaluar los productos de investigación poniendo en tela de juicio algunas medidas cuantitativas para evaluar la calidad de la investigación.

Hoy en día existe una serie de canales de comunicación a través de los cuales los investigadores difunden su investigación, tal es el caso de los blogs, páginas web institucionales, repositorios o bases de datos especializadas. La creación de sistemas integradores de productos de investigación ha sido una necesidad emergente debido a lo complejo que ha sido para los investigadores demostrar de manera periódica, a las instancias evaluadoras, el trabajo que han venido realizando (Más-Bleda & Aguillo, 2013). Recientemente se ha introducido una nueva aplicación, el Open Researcher and Contributor ID (ORCID), que tiene como finalidad facilitar el proceso de integración de productos desde diversas bases de datos y diferentes tipos de registros, permitiendo la identificación de autores y dando solución a la ambigüedad en los nombres con homónimos en las bases de datos, por lo cual resulta en una herramienta de utilidad, ya que es integral. Sin embargo, también se sabe que los sistemas bibliométricos o bases de datos presentan una serie de deficiencias derivadas de la precisión de los registros, por lo que esto puede repercutir en los perfiles automatizados (Bourne & Flink, 2008; García-Pérez, 2010; Jacso, 2008; Strotmann & Zhao, 2010).

Actualmente, se puede encontrar una serie de sistemas y/o páginas web en donde se muestra la producción científica, por ejemplo, repositorios institucionales, páginas institucionales de listado de investigadores adscritos y sus Curriculum Vitae (CV), redes sociales virtuales (Research-gate, Academia, Linkedin, etc.) o incluso los propios sistemas de identificación de investigadores proporcionado por Web of Knowledge-Resercher ID, SCOPUS, GOOGLE, etc. Cada uno de estos sistemas automatizados permite a los investigadores organizar sus productos de investigación, libros y capítulos de libro, subvenciones solicitadas y otorgadas, informes de investigación publicados en las propias universidades, etc. Aun así, las páginas web que posibilitan la creación de los perfiles públicos son insuficientes para que, de manera integral, se muestre la información completa de todos los aspectos que pudieran ser automatizados y relacionados con la investigación; al margen de esto, no existen garantías del rigor científico de cada uno de los productos que allí se presentan.

Con independencia de lo que significa el factor de impacto y sus imperfecciones, el JCR ha dejado bien establecidos los parámetros (fuera de los bibliométricos) para que una revista entre en su sistema. La mayoría de ellos implica ciertos criterios de formalidad y calidad de las revistas, siendo por tanto parámetros que deben considerarse dentro de la comunidad científica (Buela-Casal & Zych, 2012). Como se ha aludido previamente existen diversos sistemas que intentan agrupar la información, ésta debería estar clasificada dentro de estos mismos tenores. De este modo, no sería lo mismo tener una publicación en una revista especializada de alto impacto, que en una que apenas alcanzara los estándares para contar con ISSN.

Recientemente se ha creado una página en donde se agrupan los Researcher ID de investigadores de Psicología en España «Web of Science Production of Spanish Psychology» que se puede acceder desde www.psy-wos.es. El sitio permite registrar a distintos tipos de usuarios españoles (becarios, asociados, catedráticos, profesionales, titulares, etc.). Estos perfiles se hacen bajo la responsabilidad y criterio de cada uno de los investigadores, dándoles la libertad de agregar los registros de sus productos de investigación. Aún así, estudios previos han mostrado errores importantes en este tipo de agrupaciones (Olivas-Ávila & Musi-Lechuga, 2012a, 2013). Para que este tipo de registros tengan validez y fiabilidad es necesario que sean revisados por evaluadores externos, con el mismo procedimiento que se utiliza en las revisiones sistemáticas en las que al menos dos revisores procederán, de forma independiente, revisando los criterios de selección (Perestelo-Pérez, 2013). Esto garantiza el control de qué documentos se incluyen (evitando sesgos personales en la selección), y el control de posibles errores como, por ejemplo, el duplicado de los registros.

Por lo tanto, ante dicha necesidad de tener un espacio en donde se agrupe la información proveniente desde diversas fuentes acerca de los resultados de investigación, el sitio www.psy-wos.es se alimenta de la información del Researcher ID de la Web of Knowledge. Según las normas de esta web solo se pueden incluir artículos y revisiones incluidas en la Web of Science (WoS), y para garantizar esto cuenta con un consejo asesor que dice que velará por su cumplimiento. A un nivel más globalizado, para hacer más inclusivo el Researcher ID, se ha incrustado a su sistema el ORCID que, además de ser similar al Researcher ID en la facilitación de un perfil que ayude a resolver el problema de la ambigüedad en los nombres de los autores, recupera productos de investigación desde repositorios universitarios, permite integrarse a otros perfiles como el de Scopus, entre otras. Estas novedades suponen un cambio en la interpretación que se le da al contenido del Researcher ID debido a que ahora no solo se encuentran incluidos registros desde la WoS sino que ahora se puede encontrar información ajena. Lo ideal para un investigador sería tener un sistema único en donde se pueda confeccionar y agrupar la información de todas las actividades que realiza, además de los relacionados con la investigación científica, y que las instancias evaluadoras verificasen la información en esos sitos en vez de hacer CV en diversas plataformas y modalidades. Sin embargo, las imprecisiones de los mismos investigadores para sistematizar su información, así como los errores en las bases de datos pueden hacer que aún no se le dé un voto de confianza a estos sistemas, pues los registros allí incluidos no se encuentran diferenciados.

El propósito de este trabajo es analizar la validez y la precisión de los registros del Researcher ID de los miembros del consejo de www.psy-wos.es, ya que siendo los administradores de dicha página se espera que su perfil cumpla las directrices establecidas, y de una muestra de miembros de esta página, cotejándolos con los contenidos en la base de datos Web of Science, diferenciándolos de contenidos ajenos a esta base de datos, para comprobar su validez, y revisando si el número de registros es exacto o si existen duplicidades (fiabilidad). De manera secundaria, y para propósitos de discusión en relación a la validez discriminativa e informativa del índice h entre los cuerpos de profesores de Psicología en España, se analizan los índices h de los 431 miembros de www.psy-wos-es, así como del total de los 29 Ayudantes Doctores registrados en esa página y de 29 Catedráticos de Universidad con el índice h más bajo.

Método

Análisis de contenido

Materiales

- Researcher ID. Es una página web en donde se puede administrar y compartir información profesional; esta herramienta se encuentra integrada en la Web of Knowledge, y fue consultada a través de www.psy-wos.es con datos actualizados hasta la primera quincena de julio de 2013.

- Base de datos Web of Science, la cual se encuentra disponible dentro de la plataforma Thompson Reuters Web of Knowledge, la cual se utilizó para el cotejo de registros consultados en el Resercher ID.

Unidades de análisis

- Registros de 40 investigadores en la base de datos WoS.

- Researcher ID de 20 investigadores que conforman el consejo asesor de psy-wos.es.

- Researcher ID de 20 investigadores catedráticos de universidad (CU) seleccionados al azar en el psy-wos.es.

- Veintinueve Catedráticos de Universidad con menor índice h y el índice h de 29 Ayudantes Doctores en www.psy-wos.es.

- Índice h proporcionado por www.psy-wos.es de cada uno de los miembros.

Procedimiento

Se ha planificado un estudio descriptivo de análisis de documentos. Los resultados de este trabajo se obtuvieron analizando los datos en el Researcher ID de 40 investigadores, 20 conforman el consejo asesor del psy-wos.es y 20 fueron seleccionados a través de un procedimiento legal de insaculación entre los catedráticos registrados en psywos.es. Para ello, se ingresó al Researcher ID de cada uno de los investigadores con la información actualizada a julio de 2013 y se cotejó con los registros en la WoS. Es decir, siguiendo los criterios que www.psy-wos.es establece se tomaron aquellos documentos catalogados como artículos y revisiones, y que son recuperables desde esa base de datos, excluyendo todos aquellos que incumplían estos requisitos. Es preciso tener presente que no se ha realizado una búsqueda de registros en la WoS, solamente se han cotejado con los que aparecen en dicho perfil, por lo que es probable que si después de la segunda mitad del mes de Julio de 2013 los perfiles han sido actualizados (agregar o eliminar registros), los resultados no serían replicables. Además, y dado que la actualización del Researcher ID depende de los investigadores, los resultados no deben interpretarse como una medición de la producción de artículos en la WoS.

Por último, y con el objeto de conocer la validez discriminativa e informativa del índice h entre los cuerpos de profesores de Psicología en España, se tomaron los índices h de los 431 miembros de www.psy-wos-es así como el total de los 29 Ayudantes Doctores registrados en esa página y se igualó la muestra seleccionando 29 Catedráticos de Universidad con el índice h más bajo.

Aunque el sistema de obtención de los datos es fundamentalmente mecánico por lo que no debería tener error, la clasificación de la investigación requiere de una interpretación y conteo del investigador. Por ello, los recuentos y clasificaciones fueron llevados a cabo por dos investigadores por separado, hallándose que los resultados eran totalmente coincidentes. En suma, los resultados de este análisis son fiables.

Resultados

En la tabla 1 se muestra la lista de registros del Researcher ID de cada miembro del consejo asesor de www.psy-wos.es, la lista de registros que corresponde a artículos y revisiones en la base de datos WoS, y el número de registros erróneos y las observaciones de cada uno de ellos. Tal y como se observa, solamente 4 de los 20 miembros del consejo asesor cumplen la norma que se establece en www.psy-wos.es, es decir, se exhorta a que cada investigador actualice su Researcher ID agregando solo registros correspondientes a artículos y revisiones en WoS. Los errores frecuentes son incluir registros catalogados como meeting abstracts, proceeding papers, editorial material, book reviews y, más sorprendente aun, la duplicidad de registros. Otro de los aspectos a destacar de estas observaciones es que el 40% de estos autores tiene indexado en su perfil contenidos ajenos a la WoS. En total, todo esto supone que el 75% de los miembros del consejo asesor, quienes supuestamente deben cumplir y hacer cumplir el criterio de que solo se incluyan artículos y revisiones, incumplen el criterio, introduciendo (en la fecha del análisis) 263 registros que o bien no son artículos o revisiones indexadas en WoS, o bien son registros repetidos. Por ejemplo, resultan llamativos los casos de Miguel Pérez Pereira, que incluye 73 registros que no están en WoS, o el de Juan Lupiáñez Castillo, que incluye 23 Meeting abstract.

Tabla 1 Researcher ID del 2013 cotejados con registros en WoS del consejo asesor de psy-wos.es

Tabla 1 (Cont.) Researcher ID del 2013 cotejados con registros en WoS del consejo asesor de psy-wos.es

En la tabla 2 se recoge la muestra de 20 Catedráticos de Universidad seleccionados por insaculación. Al igual que en el caso anterior, se observa la lista de registros del Researcher ID que cada miembro de www.psy-wos.es dice que tiene, la lista de registros reales que corresponde a artículos y revisiones en la base de datos WoS y, finalmente, el número de registros erróneos y las observaciones a cada uno de ellos. Tal y como se puede comprobar en la tabla, el 70% de los catedráticos analizados incluyen registros que no son ni artículos ni revisiones incluidos en WoS o bien son registros repetidos. En total, introducen 96 registros que no son artículos ni revisiones o registros repetidos.

Tabla 2 Researcher ID del 2013 cotejados con registros en WoS de 20 miembros de psy-wos.es

Para conocer la distribución de los miembros de la www. psy-wos.es en el índice h se confeccionó una tabla de contingencia para dicho índice (Tabla 3). Como se puede observar, la media es 6 y la moda es 2, registrándose 53 investigadores en esta categoría, esto es, con un índice h de 2; es decir, más del 21% de la población comparte este valor modal. Es más, 252 investigadores tienen un índice h con valor 5 o inferior, 43 autores tienen un valor de 1 y 18 investigadores un valor de cero. En otras palabras, casi el 60% de los investigadores se distribuyen entre 1 y 5. Según esto, es evidente que la población se distribuye en un grupo muy pequeño de categorías por lo que su potencial como valor discriminativo es muy reducido en los docentes de Psicología en España.

Tabla 3 Índice h de los miembros del psy-wos.es

Con el propósito de comprobar si el índice h puede discriminar entre distintos cuerpos de profesorado se comparó a 29 Catedráticos de Universidad que tienen el índice h más bajo con los 29 Ayudantes Doctores. Tal como se puede observar en la tabla 4, en la columna de Catedráticos el rango se encuentra entre 6 y 0 en relación al índice h con una media de 3,76 (DT = 1,78). En la columna de Ayudantes se muestra un rango de entre 11 como máximo y 1 como mínimo, y una media de 3,83 (DT = 2,53). Es decir, los Catedráticos menos productivos tienen el mismo índice h que los Ayudantes Doctores (t56= 0,12; p = 0,264). Por tanto, el índice h no tiene el esperado valor (a mayor categoría cabría esperar mayor índice) para la predicción o clasificación del profesorado.

Tabla 4 Índice h de Catedráticos de Universidad y de Ayudantes Doctores miembros de psy-wos.es

Discusión

Como ya se viene comentando desde la introducción de este trabajo, la sistematización de la información en la web relacionada con la producción científica de los investigadores y los análisis automatizados, como puede ser el análisis de citas a cada documento y todo esto integrado en un perfil exacto de cada autor, puede resultar muy beneficioso y simplificador para la realización de los CV; sin embargo, estos aún no alcanzan suficiente precisión y claridad en la interpretación de lo que implica esta sistematización. Es decir, los distintos sistemas de indexación tienen su razón de ser debido a la calidad atribuida a las revistas y, por consiguiente, la discutible calidad atribuible a los artículos de cada una de ellas.

La falta de supervisión en el manejo de las bases de datos ha producido inconsistencias en la información bibliográfica, sobre todo en lo que respecta a los autores, ya que a veces es imposible y ambiguo acreditar su identidad. Un autor puede ser referenciado a través de variantes de sus nombres y, por lo tanto, la identificación resulta una tarea compleja.

Desde hace ya bastantes años las bases de datos bibliográficas se han alimentado de registros cuya información no es suficiente debido a la falta de normalización en sus procesos. Lo anterior ha resultado en la inconsistencia y falta de uniformidad de los datos y esto es más evidente en la identificación de los autores, debido a varios aspectos. Por ejemplo, errores tipográficos, abreviaciones, uso de acentos, etc. Una solución a lo anterior es el empleo de identificadores digitales para autores, tal y como el Digital Object Identifyer (DOI) solucionó los registros de artículos dando un número concreto a cada registro de investigación.

Las reflexiones derivadas de los resultados presentados tienen varias implicaciones. Primero, dadas las características de las páginas web en donde se organiza la información sobre la producción científica (www.psy-wos.es), y por el hecho de estar expuestas públicamente, se deben seguir los lineamientos establecidos o reglas de operación ya que son contrarias a la realidad tal y como se ha demostrado en este estudio. En la sección de Información de www.psywos.es textualmente se dice: «Es importante que solo se incluyan documentos que sean artículos o revisiones, pero no resúmenes de congreso (meeting abstracts), notas, material suplementario o cualquier tipo de documento que conste en la WoS que no haya sido revisado por pares.» La inmensa mayoría de investigadores incluye registros de otro tipo de documentos de los que se supone supervisan los administradores de la página, sin embargo textualmente también se dice lo siguiente: «Los promotores de la web nos reservamos el derecho de excluir del listado de autores a cualquier investigador/a que proporcione datos erróneos (que no coincidan con su Researcher ID o que en él incluyan documentos que no sean artículos o revisiones)». No obstante, los mismos promotores no cumplen el primer criterio, ni verifican a los demás y, por tanto, no los eliminan. También es cierto que puntualizan: «La publicación del número de artículos con citas, número de citas recibidas, promedio de citas por artículos e índice h (junto con el número de Researcher ID) es un decisión personal y los datos que consten son responsabilidad de cada investigador...» ahora bien, la responsabilidad última de control de la exactitud de la información corresponde a los promotores, debiendo ipso facto expulsar a aquellos que incumplan, en este caso damos cuenta de 30 casos sobre 40 analizados. Los miembros del consejo asesor de www.psy-wos. es no sólo no controlan que los investigadores incluyan registros que no son artículos ni revisiones de WoS, o registros repetidos (lo cual ocurre en el 70% de los casos analizados, con un total de 96 registros incorrectos), sino que ellos mismos tienen un mayor incumplimiento de las normas; de hecho el 75% de estos incluye 263 registros (casi el triple de registros incorrectos que los miembros), que no son artículos ni revisiones, tal como se explicita en las normas. Además, existe una alta tasa de registros que son contabilizados más de una vez. Si analizando tan solo 40 investigadores se encuentran 359 registros erróneos es previsible que en total en www.psy-wos se encuentren más de tres mil registros que no cumplen los criterios y, por tanto, no deberían ser incluidos. Esto implica que los demás parámetros, como las citas y el índice h, también estarán mal. En resumen, si los miembros del consejo asesor aplicaran las normas que establecen y que publican, tendrían que eliminarse a si mismos en un 75% y a los demás miembros en un 70%.

Segundo, un visitante no documentado podría tener una interpretación sesgada de la información allí presentada. Además, la inmensa cantidad de errores genera una baja credibilidad de sus contenidos, tal y como es criticado la Google Scholar por lo impreciso de las citas. Pero más importante aun es que otros investigadores pueden utilizar esta fuente de información, dando por hecho que los datos son correctos, para realizar estudios sobre estos parámetros, sin saber que hay una gran cantidad de datos incorrectos. Véase, por ejemplo, el reciente estudio de García-Pérez (2013) que realizó con la información de esta base de datos, dando por hecho que la información analizada era correcta, sin saber que estaba utilizando muchos registros con datos incorrectos. Tercero, debido a los cambios que están sufriendo los distintos sistemas de integración de la información científica (Researcher ID, ORCID, Google Scholar, etc.), intentando ser más inclusivas en cuanto a los documentos que allí se indexan y, más aún, fusionándose entre sí, puede resultar confuso hasta a los propios autores. Lo anterior quiere decir que, el cotejo de registros del trabajo de los investigadores por parte de las instancias evaluadoras, resultaría complicado debido a que la información proviene desde distintas fuentes, incluso, duplicidad de registros. A nivel científico es deseable ser inclusivos para conocer el impacto de la investigación a través de sistemas más amplios, pero en términos de evaluación resultaría ambiguo por la baja validez y fiabilidad de esos sistemas.

Cuarto, si se tomara en cuenta como parámetro de calidad el índice h, los resultados pueden derivar en interpretaciones inesperadas. Por una parte, se demuestra, una vez más (véase García-Pérez, 2009), que el índice h no tiene capacidad de discriminación entre los investigadores de Psicología en España, pues tal como se pone de manifiesto en este estudio, la moda es 2 y el 60% de los 431 investigadores tienen un índice h con un valor entre cero y 5. En la misma línea, el índice h tampoco tiene capacidad de discriminación entre los distintos cuerpos de profesorado. Por ejemplo, en la tabla 4 se muestra la media del índice h de los Catedráticos de Universidad y Ayudantes Doctores, y estos últimos cuentan con un índice h similar al de los catedráticos. Lo anterior se podría interpretar como si los investigadores nóveles cuentan con productos de igual calidad que los catedráticos, algo que debería ser incongruente por la amplia trayectoria que los respalda en el ámbito de la investigación para llegar a ese nombramiento (p. e., Mishra & Smyth, 2013). Según estos datos, quienes defienden que el índice h es un buen indicador para medir los resultados de la investigación en Psicología en España deberían defender que los ayudantes doctores son igual de productivos en unos pocos años que estos catedráticos con varias décadas de investigación. Siguiendo está lógica ¿los Ayudantes Doctores deberían tener al menos el mismo rango y el mismo salario que los Catedráticos analizados en este estudio?, o bien ¿se debería reducir el rango y el salario de estos Catedráticos hasta el nivel de los Ayudantes Doctores? Y, curiosamente, quienes proponen el uso del índice h para evaluar la productividad en investigación son algunos catedráticos de Psicología de España1.

Se puede concluir que el Researcher ID y, por consiguiente, el www.psy-wos.es a pesar de ser un recurso tentador a utilizar por la cantidad de trabajo que ahorraría a las instancias evaluadoras, no cuenta con medidas necesarias para garantizar la validez ni la fiabilidad de la información, ya que ésta depende enteramente de la frecuencia y criterio de los investigadores en la actualización de la información. Por lo que, mientras que no se cuente con sistemas automatizados y fiables para evaluar la producción científica, es recomendable utilizar otros métodos que garanticen mayor precisión, o bien se utilicen evaluadores externos que garanticen una supervisión sistemática.

En resumen, en este estudio se demuestra de forma clara que el Researcher ID no es válido ni fiable, pues depende de la honestidad y de la cualificación de los investigadores en la selección de los documentos y en la búsqueda en las bases de datos. Tal como ya se había argumentado en estudios previos (Olivas-Ávila & Musi-Lechuga, 2012a, 2013) los Researcher ID no son válidos ni fiables y por tanto tampoco www.psy-wos.es. Los propios miembros de su consejo asesor son quienes más incumplen las normas, dado que el 75% de estos incluyen múltiples registros (263) que no son artículos ni revisiones de la WoS y otros que si lo son pero que se repiten, lo cual supone casi un tercio de los datos erróneos de los miembros. Por tanto, se concluye que los Researcher ID y www. psy-wos.es tienen tal magnitud de datos incorrectos que suponen graves problemas de validez y fiabilidad, que hacen que sea totalmente inviable para evaluar a los investigadores o para realizar cualquier tipo de estudio con los datos que contiene.


1 Aluja, A., Becoña, E., Botella, C., Colom, R., Echeburua, E., Forns, M., Pérez, M., & Vila, J. (2011). Indicadores de calidad de la producción en la Web of Science de diez profesores del Área de Personalidad, Evaluación y Tratamiento Psicológico: Aportaciones adicionales al estudio de Olivas-Ávila y Musi-Lechuga. Psicothema, 23, 267-273.


*Correspondencia:
Programa de Psicología,
Universidad Autónoma de Ciudad Juárez, Ave.
Universidad y H. Colegio Militar, s/n, Zona Chamizal,
32300 Ciudad Juárez, Chihuahua, México.
Correo electrónico: jolivas@uacj.mx (J.A. Olivas-Ávila).

Recibido el 12 de agosto de 2013;
aceptado el 10 de octubre de 2013


Referencias

Abramo, G., Cicero, T., & D´Angelo, C. A. (2013). Individual research performance: A proposal for comparing apples to oranges. Journal of Infometrics, 7, 528-539.

Abramo, G., & D´Angelo, C. A. (2007). Commentary. Measuring science: Irresistible temptations, easy shortcuts and dangerous consequences. Current Science, 93, 762-766.

Agasisti, T., Catalano, G., Landoni, P., & Verganti, R. (2012). Evaluating the performance of academic departments: An analysis of research-related output efficiency. Research Evaluation, 21, 2-14.

American Society for Cell Biology (2013). The San Francisco Declaration on Research Assessment (DORA). Disponible en: http:// am.ascb.org/dora/ [consultado 25 May 2013].

Balaban, A. T. (2012). Positive and negative aspects of citation indices and journal impact factors. Scientometrics, 92, 241-247.

Bengoetxea, E., & Buela-Casal, G. (2013). The new multidimensional and user-driven higher education ranking concept of the European Union. International Journal of Clinical and Health Psychology, 13, 67-73

Bourne, P. E., & Flink, J. L. (2008). I am not a scientist, I am a number. Plos Computational Biology, 4. doi:10.1371/journal. pcbi.1000247

Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15, 23-35.

Buela-Casal, G. (2010). Scientific journal impact indexes and indicators for measuring Researchers´ performance. Revista de Psicodidáctica, 15, 3-19.

Buela-Casal, G., & Zych, I. (2012). What do the scientist think about the impact factor? Scientometrics, 92, 281-292.

Cheek, J., Garnham, B., & Quan, J. (2006). What´s in a number? Issues in providing evidence of impact and quality research(ers). Qualitative Health Research, 16, 423-435.

García Pérez, M. A. (2009). The Hirsch h Index in a Non-Mainstream Area: Methodology of the Behavioral Sciences in Spain. The Spanish Journal of Psychology, 12, 833-849.

García-Pérez, M. A. (2010). Accuracy and completeness of publication and citation records in the Web of Science, PsycINFO, and Google Scholar: A case study for the computation of h indices in Psychology. Journal of the American Society for Information Science and Technology, 61, 2070-2085.

García Pérez, M. A. (2013). Limited validity of equations to predict the future h index. Scientometrics, 96, 901-909.

Jacso, P. (2008). Tha plausability of computing the h-index of scholarly productivity and impact using reference-enhanced data bases. Online Information Review, 36, 266-283.

Más-Bleda, A., & Aguillo, I. F. (2013). Can personal website be useful as an information source to assess individual scientists? The case of European highly cited Researchers. Scientometrics, 96, 51-67.

Mishra, V., & Smyth, R. (2013). Are more senior academic really more research productive than junior academics? Evidence from Australian law schools. Scientometrics, 96, 411-425.

Moghadasi, S. I., Ravana, S. D., & Raman, S. N. (2013). Low-cost evaluation techniques for information retrieval system: A review. Journal of Infometrics, 7, 301-312.

Olivas-Ávila, J. A., & Musi-Lechuga, B. (2010). Análisis de la producción de los profesores funcionarios de Psicología en España en artículos de revistas en la Web of Science. Psicothema, 22, 909-916.

Olivas-Ávila, J. A., & Musi-Lechuga, B. (2012a). Aprendiendo a buscar en la Web of Science: Réplica al estudio de Aluja, Becoña, Botella, Colom, Echeburúa, Forns, Pérez y Vila (2011). Psicothema, 24, 594-602.

Olivas-Ávila, J. A., & Musi-Lechuga, B. (2012b). Doctorados con Mención de excelencia en psicología: Evidencia en tesis doctorales y artículos en la Web of Science. International Journal of Clinical and Health Psychology, 12, 503-516.

Olivas-Ávila, J. A., & Musi-Lechuga, B. (2013). Aprendiendo a usar el Researcher-ID como indicador de la producción científica. International Journal of Clinical and Health Psychology, 13, 253-260.

Olivas-Ávila, J. A., Musi-Lechuga, B., Quevedo-Blasco, R., & Luna-Hernández, J. E. (2012). Índice de internacionalidad de las revistas iberoamericanas de psicología en el Journal Citation Reports (2011). Revista Latinoamericana de Psicología, 44, 175-183.

Perestelo-Pérez, L. (2013). Standards on how to develop and report systematic reviews in Psychology and Health. International Journal of Clinical and Health Psychology, 13, 49-57.

Purnell, P. J., & Quevedo-Blasco, R. (2013). Benefits to the Spanish research community of regional content expansion in Web of Science. International Journal of Clinical and Health Psychology, 13, 147-154.

Strotmann, A., & Zhao, D. H. (2010). Combining commercial citation indexes and open-access bibliographic databases to delimit highly interdisciplinary research fields for citation analysis. Journal of Infometrics, 4, 194-200.