Ahora se puede usar una portátil para analizar enormes cantidades de datos

Un nuevo software consigue hacer en una computadora pequeña y, en cuestión de minutos, lo que solo estaba al alcance de gigantes grupos de máquinas

Científicos informáticos de la Universidad Carnegie Mellon (Estados Unidos) han desarrollado un marco para la ejecución de cálculos a gran escala, para tareas como el análisis de redes sociales o búsquedas en Internet, de manera eficiente y desde un único ordenador personal.

El software podría ayudar a desarrolladores dedicados a trabajar en diversas tareas modernas: por ejemplo, el diseño de un nuevo motor de recomendación usando conexiones de redes sociales. Con el fin de hacer recomendaciones efectivas (como por ejemplo: «a tus amigos les ha gustado esta película, así que aquí tienes otra que no has visto todavía, pero que probablemente te gustará»), el software tiene que ser capaz de analizar las conexiones entre los miembros de una red. Este tipo de tarea se llama cálculo gráfico y cada vez es más común. Sin embargo, trabajar con grandes conjuntos de datos (como las redes sociales que funcionan en línea) requiere por lo general la potencia de procesamiento de muchos equipos agrupados, como los ofrecidos por el servicio en nube EC2 de Amazon.

El nuevo software, llamado GraphChi, aprovecha las unidades de disco duro de gran capacidad, que se están volviendo cada vez más comunes en los ordenadores personales. Un gráfico normalmente se almacenaría en la memoria temporal (RAM) para su análisis. Con GraphChi, el disco duro lleva a cabo esta tarea.

«Los PC no tienen suficiente memoria RAM para soportar un gráfico web entero, pero tienen unidades de disco duro que pueden almacenar una gran cantidad de información», afirma Carlos Guestrin, codirector del Select Lab de la Carnegie Mellon, donde se desarrolló GraphChi. No obstante, a la hora de leer y escribir datos los discos duros son lentos en comparación con la RAM, lo que tiende a reducir la velocidad de cálculo. Así que Aapo Kyrölä, un estudiante de Guestrin, ha diseñado un método más rápido y menos aleatorio de acceder al disco duro.

Según Guestrin, un Mac Mini que ejecute GraphChi puede analizar el gráfico social de Twitter de 2010 que contiene 40 millones de usuarios y 1,2 millones de conexiones en 59 minutos. «El anterior resultado publicado sobre este problema indica que tardó 400 minutos utilizando un grupo de cerca de 1.000 ordenadores», indica Guestrin.

A medida que la tecnología se vuelve más interconectada y los conjuntos de datos se hacen más grandes, la computación gráfica se está volviendo cada vez más relevante en muchos ámbitos, señala David A. Bader, experto en computación gráfica en Georgia Tech. «Tratar de entender cómo funciona el cerebro humano o tratar de darle sentido a los registros médicos de un paciente requiere computación gráfica», indica.

El análisis gráfico también impulsa el desarrollo de nuevos productos web, asegura Jeremy Kepner, investigador en el MIT (Instituto Tecnológico de Massachusetts, EE.UU.). «La búsqueda de documentos, la colocación de anuncios, la planificación de rutas, las reservas de viajes, la seguridad cibernética y todo lo demás depende del análisis gráfico», explica. «Permitir que los desarrolladores web realicen estos análisis en sus ordenadores de escritorio actúa como catalizador de estas industrias y acelera el desarrollo de productos».

Guestrin añade que GraphChi puede manejar gráficos en streaming, que modelan con mayor precisión las redes grandes, mostrando cómo cambian las relaciones con el tiempo. Bader y otros en Georgia Tech han creado un marco de computación gráfica, llamado Stinger, optimizado para superordenadores que trabajan con grandes gráficos en streaming.

«Las escalas de estos problemas, obviamente, van a seguir creciendo», afirma Guestrin. No obstante, afirma que GraphChi tiene capacidad para el manejo de muchos problemas de computación gráfica a gran escala sin recurrir a soluciones basadas en nube o supercomputadoras.

«Un investigador en biología computacional podría hacer cálculos a gran escala en su PC, un desarrollador que trabaje en un algoritmo de centro de datos puede probarlo en su ordenador portátil antes de subirlo a la nube», señala Guestrin. «Hay grandes cantidades de datos por todas partes, pero algunas no son tan grandes como antes, en términos relativos. Herramientas como GraphChi permitirán a muchas empresas y start-ups resolver todas sus necesidades de cómputo gráfico en una sola máquina. Es rentable, y también impulsa la innovación», concluye.

Fuente: Technology Review. Aportado por Eduardo J. Carletti

Más información: