|
Planeamento e Administração de
Clusters
Mestrados em
Informática e Eng.ª Informática
2010/2011
António Pina |
Semana:
1
| 2 |
3 |
4 |
5
|
6
| 7 |
8
|
9 |
10 |
11 |
12
| 13 |
14 |
15| 16
Ultima
Modificação:
28 Dez 2010
| departamento
de informática |
 |
AVISO
-------------------
PAC - Planeamento e Administração de Clusters
Objectivos
Gerais
o
identificar
os diferentes tipos de arquitecturas de cluster e grids e discutir as respectivas
vantagens e limitações
o
analisar
e avaliar os requisitos de hardware e software com vista ao planeamento e
instalação do equipamento
o
identificar
os requisitos dos utilizadores necessários para seleccionar o software a
instalar e a manter
o
identificar
e caracterizar políticas de gestão e escalonamento de trabalhos e
avaliar os resultados da sua aplicação
o
discutir
e avaliar o desempenho efectivo de programas paralelos em clusters e grids
-----------------------------------------------
HP-4 HE-4
Apresentação da UCE e todos os seus módulos conforme o primeiro sumário de SCD.
Semana 2 (05-Out-10)
HP-8 HE-4
PAC no
contexto da UCE30
•
Caracterização
do módulo PAC
•
Competências e
expectativas de formação dos discentes.
•
Discussão geral
de temas e problemas a abordar ao longo do semestre.
.
Introdução
à HPC e à Grid
•
Introdução à
e-science ?
•
High Performance
Computing:
◦
introdução/
conceitos/definições
◦
Computadores
Paralelos
◦
Clusters
(Agregados)
•
Grids
•
Estudo das
tendências (5 últimos anos)
◦
Análise de
desempenho
◦
Famílias de
processadores
◦
Tipos de
máquinas
◦
Sistemas de
interconexão
material de apoio
•
introdução
à
HPC/GRID
TPC1:
Top
500
◦
Visita do sítio
www.top500.org
◦
Desenvolvimento dos temas tendências em sistemas, processadores e interligação
HP-12 HE-8
Apresentação pelos estudantes do
TPC
Arquitecturas Modernas para HPC
• Classificação
das várias partes do computador tomando como base a hierarquia de desempenho
baseado em tempo de resposta dos dispositivos físicos de um sistema de
computação.
• Relacionar
as limitações físicas do hardware para os desempenhos diferentes de um tipo de
operação computacional.
• Apontar
possíveis gargalos nos cálculos podem ocorrer e como isso pode ser evitado.
Computação
Corporativa DI
•
Visita Guiada às
instalações do cluster Search no DI
•
On the Search for an advanced multi-purpose computing infrastructure
•
Vista Geral do
Cluster
◦
Missão
◦
Tecnologias
◦
Arquitectura
Física
◦
Evolução da
Arquitectura Lógica
•
Sistemas Actuais
◦
Top500 Junho
2009
◦
Intel/AMD
material de apoio
•
Modern architectures for HPC
•
Cluster
Search
•
nehalemPaper
•
2-Parallel Computer Architecture
Semana 4
(19/10/10)
HP-16 HE-12
Introdução
ao Unix/Linux
•
História
•
Variantes
•
Conceitos
Básicos
◦
Contas de
Utilizador
◦
Sistemas
Ficheiros
◦
Interacção
com o ambiente execução
◦
Atributos e
permissões de ficheiros
•
Comandos básicos
◦
Redireccionamento de E/S
◦
Encadeamento
de comandos
◦
Controlo de
tarefas
•
Programação
•
Editores
•
Ambiente de
execução
Sessão
laboratorial
•
Ambiente de
execução Shell
•
Desenvolvimento
de guiões em Bash
TPC2:
Programação em Bash
•
Particionamente
e ordenação de ficheiros de texto
◦
usando
comandos de utilizadores <awk, sort, cut ...>,
•
Análise de
desempenho e representação gráficas
◦
Utilização da
ferramenta <gnuplot>
material de apoio
•
Bash
•
Introdução ao LINUX
•
Unix Introduction-part1
HP- 20 HE -16
Introdução
ao Unix/Linux (continuação)
•
Unix Introduction-part2
•
Unix Introduction-part3
•
Utensílios para Linux
HP- 24 HE -20
Introdução
aos Clusters
•
Vista Geral
▪
Apanhado de Hardware para HPC
▪
Software Significativo
▪
Relação Hardware/Software
▪
NOW/Beowulf
Computação
corporativa em HPC
▪
Modelo Típico
▪
Componentes Básicos/Opcionais
▪
Outros tipos de computação corporativa
▪
HA (Alta Disponibilidade)
▪
Visualização
Linux
clusters para computação paralela
•
Estrutura lógica
•
Redes de
Interconexão
•
Comandos
essenciais
•
Ferramentas de
Administração
◦
Rocks
◦
Oscar
◦
MOSIX
material de apoio
•
Linux Cluster
•
Lab-Rocks
◦
Comandos Básicos
◦
Guia Prático
◦
Guia
Prático-Apêndice
◦
MPI
◦
Benchmarking
HP- 28 HE -24
Linux
clusters para computação paralela (continuação)
•
Modules
◦
um ambiente
flexível para utilizadores
•
Processamento de
tarefas em lotes
•
OpenPBS/Torque
visão do Utilizador
◦
Características
◦
Componentes
◦
Submissão de
trabalhos
◦
Recursos
◦
Trabalhos
Interactivos
◦
Estudo de
Casos
◦
Determinar
estado de trabalhos/sistema
◦
Execução
Trabalhos paralelos
Bibliotecas
de Passagem de Mensagens
•
PVM – Máquina
Paralela Virtual
•
MPI - Interface
para Passagem de Mensagens
material de
apoio
•
Modules
◦
Artigo
de referência
◦
Module-Manual
◦
Exemplos :
mpich2-intel,
mvpich2
•
MPI
◦
ExpClusterComp06
◦
01-MessagePassingFundamentals
◦
02-GettingStartedwithMPI
◦
04-Point-to-PointCommunication
TPC:
Avaliação
de desempenho de um cluster real
◦
HPL
Performance no cluster - Search
HP- 32 HE -28
Bibliotecas
de Passagem de Mensagens (continuação)
Avaliação
de desempenho de clusters (continuação)
•
Linpack
material de
apoio
◦
call_for_participation
◦
performance Dongarra
◦
benchmark
◦
HPL-dat.exemplos
HP-36 HE-32
Ferramentas
de Administração de Clusters
•
Rocks
•
Oscar
•
MOSIX
material de apoio
•
Rocks
◦
rocks what it is
◦
user-session1
◦ user-session
2
◦
user-session 3
HP-40 HE-36
Apresentação dos Projectos
• Programação
em Bash
•
Avaliação
de desempenho de um cluster real
Introdução
à GRID EGEE/EGI
material de apoio
•
GRID
◦
Introdução à GRID
◦
HowToGrid :
grid for e_science
•
Rolls
material de apoio
Lab-Rocks
•
roll-mpich2-intel-11-usersguide
•
roll-base-usersguide
•
roll-myrinet-usersguide
•
mpich2-user-guide
•
roll-myrinet_mx-usersguide
material de
apoio
•
Artigos
◦
Avalanche
◦
rocks-cluster-paper
•
Livros
◦
High-Perf-Clusters
◦
Beowulf_book
◦
BCC
HP-44 HE-40
Administração de Clusters:
cluster-management
- Gestor de Recursos: PBS
- Visão do administrador:
- Servidor, nós, fila
- Exemplos de configuração
- Escalonador: MAUI
- Visão do utilizador
- tipos de comandos
- Exemplos de utilização
- Visão do administrador
- Exemplos:MAUI
Semana 12 (14-12-10)
HP-40 HE-44
- Escalonador: MAUI *(continuação)
- Visão do administrador
Apresentação dos Projectos (continuação)
Avaliação
de desempenho de um cluster real (HPL)
Avaliação
de desempenho de sistemas de ficheiros (IOZONE)
Semana 13 (04-Jan-10)
HP-48 HE-44
Rocks: Cluster Software
- Informação do Estado
- Estático: MySql
- Dinâmico: Ganglia
- Funções dos Nós. Appliances
- Gestão/computação/Armazenamento
- Instalação de Software
- Repositório de Pacotes
- Automatização
- Gestão de software de Cluster
- RPMs
- Rocks-dist
- XML Kickstart
- Rolls
http://www.rocksclusters.org/rocksapalooza/2009/
http://www.rocksclusters.org/rocksapalooza/2008/
http://www.rocksclusters.org/rocksapalooza/2007/