Planeamento e Administração de
Clusters António Pina |
Semana: 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15| 16
Ultima
Modificação:
06 Mai 2014
departamento de informática |
|
AVISO
-------------------
O objectivo geral deste módulo é o estudo, o planeamento e a administração de
recursos computacionais em ambiente de computação distribuída corporativa
(cluster).
A expectativa é que daquele conhecimento possa resultar a possibilidade de, em
cada momento, em presença de uma determinada à capacidade física instalada
sermos capazes de compreender os limites de utilização do sistema, no seu todo,
e de cada um dos subsistemas que o compõem.
Em termos operacionais, pretende-se estudar as condições de optimização da
utilização dos recurso que garantam o máximo desempenho e escalabilidade, de uma
determinada carga computacional.
Linhas de Orientação
o identificar os diferentes tipos de arquitecturas de cluster e grids e discutir as respectivas vantagens e limitações
o analisar e avaliar os requisitos de hardware e software com vista ao planeamento e instalação do equipamento
o identificar os requisitos dos utilizadores necessários para seleccionar o software a instalar e a manter
o identificar e caracterizar políticas de gestão e escalonamento de trabalhos e avaliar os resultados da sua aplicação
o discutir e avaliar o desempenho efectivo de programas paralelos em clusters e grids
24-set-13 (9h-11h)
Atividades de receção e apresentação do curso (parte 1).
01-Out-13 (9h-11h)
Apresentação da UCE e todos os seus módulos conforme o terceiro sumário de SCD.
(14h-18h)
PAC no contexto da UCE30
Caracterização do módulo PAC
Competências e expectativas de formação dos discentes.
Discussão geral de temas e problemas a abordar ao longo do semestre.
Computação Corporativa DI
Vista Geral do Cluster
Missão
Tecnologias
Arquitectura Física
◦Evolução da Arquitectura Lógica
• Visita Guiada às instalações do cluster
TPC1: Top 500
Visita do sítio www.top500.org
Desenvolvimento dos temas tendências em sistemas, processadores e interligação
08-Out-13 (14h/18)
Introdução à HPC e à Grid
• Introdução à e-science ?
• High Performance Computing:
◦ Iintrodução/ conceitos/definições
◦ Computadores Paralelos
◦ Clusters (Agregados)
Grids
Estudo das tendências (5 últimos anos)
Análise de desempenho
Famílias de processadores
Tipos de máquinas
Sistemas de interconexão
Ambiente (Search)
Contas/Grupos
Privacidade e Segurança
Modelo de desenho de aplicações
Modelo de Execuçao
Ferramentas de Desenvolvimento:
Compiladores
Modules
Bibliotecas
Ferramentas de Gestão
Recursos fisicos
Policas de escalonamento
Material de apoio
TPC2: NAS Parallel Benchmarks:
Exercicios de instalação/compilação/Execução de Kernel
Exercícios de utilização do utilitário module e Gnuplot
Visualização de desempenho
15-Out-13 (14h/18)
Apresentação pelos estudantes do TPC1
Programação Paralela
Linux
Ambiente
Ferramentas
Processamento de tarefas em lotes
OpenPBS/Torque
Visão do Utilizador
Características
Componentes
Submissão de trabalhos
Recursos
Trabalhos Interactivos
Estudo de Casos
Determinar estado de trabalhos/sistema
Execução Trabalhos paralelos
material de apoio
PBS
Arquitetura Geral
Comandos / Utilizaçao
Modules
Exemplos : mpich2-intel, mvpich2
material de apoio (complementar)
22-Out-13 (14h/18)
Processamento de tarefas em lotes
Introdução ao Torque/PBS (continuação)
Visão do Sistema
PBS_server: configuração,
nós, comandos, filas
MOM: Configuração
Estudo de Caso: Search
Submissão de trabalhos sequenciais/paralelos (MPI)
Programação Paralela (continuação)
Breve Introdução ao MPI
Paradigma de Comunicação
Primitivas básicas
Exemplo de Programa
Sessão Laboratorial
o NAS Parallel Benchmark
material de apoio
Gestão Recursos
MPI
29-Out-13 (14h/18)
Programação Paralela (continuação)
Breve Introdução ao OpenMp
Paradigma de Comunicação
Conceitos Básicos
Exemplos de Programas
Processadores Intel Modernos
Introdução a Arquitectura Nehalem
Sandy Bridge e Ivy Bridge Processors
Sessão Laboratorial (continuação)
material de
apoio
OPenMP
5-Nov-13 (14h/18)
Palestra: José Luís Pinho, Dep. Engª Civil, Delft3D – Software for coastal processes modelling
Apresentação pelos estudantes do TPC2
material de apoio
12-Nov-13 (14h/18)
Palestra: Stéphane Clain, Dep. Mat & Aplicações, Modelling and numerical methods in Scientific Computing
Utilitarios de Monitorizaçao do Sistema
Uso Geral (vmstat, ...)
Informaçao de Sistema (iostat, ...)
Processos (ps, ...)
Memoria (free, ...)
Networking (netstat, ...)
material de apoio
19-Nov-13 (14h/18)
Palestra : "Manuel Melle-Franco, CCTC, Computer models for (carbon) nanotechnology"
Utilitarios de Monitorizaçao do Sistema (continuação)
Pseudo sistema de ficheiros (/proc, ...)
Informação dos dispositivos fisicos (lscpi ...)
Sistemas de Ficheiros (df ...)
Informação de utilizadores (who ...)
Tempo (time ...)
material de apoio
26-Nov-13 (14h/18)
Utilitarios de Monitorizaçao de Aplicações
Intel -PTU
Strace
E/S Dados Eficiente
Introdução
Dispositivos de Armazenamento
Cache de paginas
Monitotização de E/S
API Avançadas de E/S
material de apoio
02-Dez-13 (14h/18)
Testes de Desempenho E/S
Introduçao ao Iozone
Caracteristicas
Apresentação pelos estudantes do TPC 3
Palestra com discussão:
Palestra: Nuno Castro, "Dep. Física, Code optimization in High Energy Physics - challenges at the LHC "
material de apoio
09-Dez-13 (14h/18)
Utilitarios de Monitorizaçao de E/S
strace_analyzer
ioprofiler / ioreplay
Apresentação pelos estudantes do TPC 3 (continuação)
material de apoio (I)
Rocks: Cluster Software
- Informação do Estado
- Estático: MySql
- Dinâmico: Ganglia
- Funções dos Nós. Appliances
- Gestão/computação/Armazenamento
- Instalação de Software
- Repositório de Pacotes
- Automatização
- Gestão de software de Cluster
- RPMs
- Rocks-dist
- XML Kickstart
- Rolls
material de apoio (ii)
- Artigos
- Rocks
Lab-Rocks
16-Dez-13 (14h/18)
Avaliação: Prova escrita.
Planeamento do Projecto Integrado
Divisão em grupos
Definiçaode objectivos
Calendarização