Cluster vs modding

saludos buena noche antes que nada este post va dedicado a personas de medios a avanzados que tengan conocimientos de informatica y hardware a los super usuarios que han manejado worstation y aquellos IT que buscan soluciones asi que pues pasamos a los hechos
Nocion preliminar
a.Creciente eficiencia operativa de cada eslabón de la cadena.
b.Alta eficiencia de integración óptima entre los eslabones de la cadena de valor que caracteriza al cluster.
c.La poca capacitación ofertada
la ingenieria social nos permite tambien detectar que existen clusters sociales economicos turisticos de desarrollo etc.etc.
el cluster que nos importa e interesa es el que se puede fabricar y manipular con hardware economico ya existente en el medio, ¿puede esta "chatarra" competir contra el modding overclock de cpu mas poderosos? bueno, solo si cumple ciertos requisitos y contra que se le va a comparar la respuesta no es sencilla debido a que existen ciertos factores a considerar como el desgaste de el conjunto de las partes por separado y su interaccion en todo el conjunto combinado.
este conglomerado de cpus y tarjetas madre construidos mediante la utilización de componentes de hardware comunes y que se comportan como si fuesen una única computadora, asi tenemos que: un cluster es un grupo de múltiples ordenadores unidos mediante una red.
De estos se espera que de los siguientes servicios:
1.Alto rendimiento
2.Alta disponibilidad
3.Balanceo de carga
4.Escalabilidad
La construcción de los ordenadores del cluster es más fácil y económica debido a su flexibilidad.
A.- Cluster homogéneo.- la misma configuración de hardware y sistema operativo.
B.- Cluster semi-homogéneo.- diferente rendimiento pero con arquitecturas y sistemas operativos similares
C.- Cluster heterogéneo.- tener diferente hardware y sistema operativo.
Los tipos de clusters, establecidos de acuerdo con el uso que se dé son:
Alto rendimiento: Son clusters en los cuales se ejecutan tareas que requieren de gran capacidad
Alta disponibilidad: Son clusters cuyo objetivo de diseño es el de proveer disponibilidad y confiabilidad
Alta eficiencia: Son clusters cuyo objetivo de diseño es el ejecutar la mayor cantidad de tareas en el menor tiempo posible.
El cluster necesita de varios componentes de software y hardware para poder funcionar. A saber:
Nodos.-Pueden ser simples ordenadores, sistemas multi-procesador o estaciones de trabajo
Almacenamiento.-El almacenamiento puede consistir en una NAS, una SAN, o almacenamiento interno en el servidor.
Tecnologías en el soporte del almacenamiento en discos duros:
IDE o ATA: velocidades de 33, 66, 100, 133 y 166 MB/s
SATA: velocidades de 150, 300 y 600 MB/s
SCSI: velocidades de 160, 320, 640 MB/s. Proporciona altos rendimientos.
SAS: aúna SATA-II y SCSI. Velocidades de 300 y 600 MB/s
Las unidades de cinta (DLT) son utilizadas para copias de seguridad por su bajo coste.
NAS (Network Attached Storage) es un dispositivo específico dedicado al almacenamiento a través de red (normalmente TCP/IP) que hace uso de un sistema operativo optimizado para dar acceso a través de protocolos CIFS, NFS, FTP o TFTP.
Por su parte, DAS (Direct Attached Storage) consiste en conectar unidades externas de almacenamiento SCSI o a una SAN (Storage Area Network) a través de un canal de fibra. Estas conexiones son dedicadas.
Mientras NAS permite compartir el almacenamiento, utilizar la red, y tiene una gestión más sencilla, DAS proporciona mayor rendimiento y mayor fiabilidad al no compartir el recurso
Sistemas Operativos.- Un sistema operativo es un programa o conjunto de programas de computadora destinado a permitir una gestión eficaz de sus recursos<-eso es MUY IMPORTANTE
Ejemplos de S.O.:
GNU/Linux
ABC GNU/Linux[2]
OpenMosix
Rocks[3]
Kerrighed
Cóndor
Sun Grid Engine
Unix
Solaris
HP-UX
Aix
Windows
NT
2000 Server
2003 Server
2008 Server
Mac OS X
Xgrid
Solaris
FreeBSD
Conexiones de Red.-Los nodos de un cluster pueden conectarse mediante una simple red Ethernet con placas comunes (adaptadores de red o NICs), o utilizarse tecnologías especiales de alta velocidad como Fast Ethernet, Gigabit Ethernet, Myrinet, InfiniBand, SCI, etc
Ejemplos:
Ethernet
Son las redes más utilizadas en la actualidad, debido a su relativo bajo coste. No obstante, su tecnología limita el tamaño de paquete, realizan excesivas comprobaciones de error y sus protocolos no son eficientes, y sus velocidades de transmisión pueden limitar el rendimiento de los clusters. Para aplicaciones con paralelismo de grano grueso puede suponer una solución acertada.
La opción más utilizada en la actualidad es Gigabit Ethernet (1 Gbit/s), siendo emergente la solución 10 Gigabit Ethernet (10 Gbit/s). La latencia de estas tecnologías está en torno a los 30-100 μs, dependiendo del protocolo de comunicación empleado.
En todo caso, es la red de administración por excelencia, así que aunque no sea la solución de red de altas prestaciones para las comunicaciones, es la red dedicada a las tareas administrativas.
Myrinet (Myrinet 2000 y Myri-10G)
Su latencia es de 1,3/10gbs, y su ancho de Banda de 2/10Gbps, respectivamente para Myrinet 2000 y Myri-10G.(REALES)
Es la red de baja latencia más utilizada en la actualidad, tanto en clusters como en MPPs estando presente en más de la mitad de los sistemas del top500. Tiene dos bibliotecas de comunicación a bajo nivel (GM y MX). Sobre estas bibliotecas están implementadas MPICH-GM, MPICH-MX, Sockets-GM y Sockets MX, para aprovechar las excelentes características de Myrinet. Existen también emulaciones IP sobre TCP/IP, IPoGM e IPoMX.
InfiniBand
Es una red surgida de un estándar desarrollado específicamente para realizar la comunicación en clústers. Una de sus mayores ventajas es que mediante la agregación de canales (x1, x4 y x12) permite obtener anchos de banda muy elevados. La conexión básica es de 2Gbps efectivos y con ‘quad connection’ x12 alcanza los 96Gbps. No obstante, los startups no son muy altos, se sitúan en torno a los 10,956.

Define una conexión entre un nodo de computación y un nodo de I/O. La conexión va desde un Host Channel Adapter (HCA) hasta un Target Channel Adapter (TCA). Se está usando principalmente para acceder a arrays de discos SAS.
SCI (Scalable Coherent Interface) IEEE standar 1596-1992
Su latencia teórica es de 1.43 956 y su ancho de banda de 5333 Mbps bidireccional <-. Al poder configurarse con topologías de anillo (1D), toro (2D) e hipercubo (3D) sin necesidad de switch, se tiene una red adecuada para clústers de pequeño y mediano tamaño.
Al ser una red de extremadamente baja latencia, presenta ventajas frente a Myrinet en clusters de pequeño tamaño al tener una topología punto a punto y no ser necesaria la adquisición de un conmutador. El software sobre SCI está menos desarrollado que sobre Myrinet, pero los rendimientos obtenidos son superiores, destacando SCI Sockets (que obtiene startups de 3 microsegundos) y ScaMPI, una biblioteca MPI de elevadas prestaciones.
Además, a través del mecanismo de pre-loading (LD_PRELOAD) se puede conseguir que todas las comunicaciones del sistema vayan a través de SCI-SOCKETS (transparencia para el usuario).
Middleware.-El middleware es un software que generalmente actúa entre el sistema operativo y las aplicaciones con la finalidad de proveer a un cluster lo siguiente:
Una interfaz única de acceso al sistema, denominada SSI (Single System Image), la cual genera la sensación al usuario de que utiliza un único ordenador muy potente;
Herramientas para la optimización y mantenimiento del sistema: migración de procesos, checkpoint-restart (congelar uno o varios procesos, mudarlos de servidor y continuar su funcionamiento en el nuevo host), balanceo de carga, tolerancia a fallos, etc.;
Escalabilidad: debe poder detectar automáticamente nuevos servidores conectados al cluster para proceder a su utilización
Protocolos de Comunicación y servicios.
Aplicaciones
Ambientes de Programación Paralela.-Los ambientes de programación paralela permiten implementar algoritmos que hagan uso de recursos compartidos: CPU (Central Processing Unit), memoria, datos y servicios.
Se puede buscar la sig referencia:sc. Blue Gene con 8192 procesadores y una potencia de cálculo de 500 teraFLOPS (500 * 10^12 flops).
numeros

hechos caso especifico
BlackMamba

• Se disponian de varias computadoras que se encontraban en almácen debido a una inconsistencia del periodo compra/uso, en específico se habían adquirido 40 computadoras y nadie las usaba, por lo que se solicitaron para que el área de bioinformática las explotara en lugar de llenarse de polvo.

• De las cuales otorgaron 4 para pruebas (de las demas soy inocente no estan en mi casa).
  Las características de las computadoras son (todas son iguales):
• Procesador: 2 Intel Xeon @ 1.6GHz
• Memoria: 2 Gb
• Disco Duro: 150 Gb
• Tarjeta de Red: Ethernet 10/100/1000 y Wifi Atheros
• Tarjeta de video: NVidia QuadroPro 128Mb
  ->switch de 24 puertos 10/100 por menos de $1000 pesos, el equivalente con soporte 1000 triplicaba el precio, y los respectivos cables CAT-5 pero creo que hubiera sido mejor la adquisicion de 10/100/1000(Nota:cada computadora consume aprox. 5A)
• La configuración y administración esta montada en bases de datos en MySQL.
• Sistema integral que incluye todo lo necesario para instalar e usar de inmediato.
• Sistema de módulos de expansión con aplicaciones especificas, en mi caso, uno específico para bioinformática ya listo con muchos programas de uso estándar.
• Sistema de monitoreo y mantenimiento incluido y automatizado.
• Muchas herramientas de desarrollo incluidas y especificas de súper-cómputo.
• Totalmente escalable a nivel de equipo.
• Todas las ventajas de la GPL/GNU. (nota: se puede instalar vmware server para aquellos usuarios de windows que deseen jugar ? pero pues claro que si)
  (NOTA: el cluster profesional SGI Irix costaba en el 2008 5.200 dólares al mes en mantenimiento, mientras que un cluster de PCs con Debian reduce los gastos a tan solo 260 dólares mensuales {los numeros son bien frios}