Sumários & Notas de apoio:

Semana 1

23-set-14 (9h-12h)

Introdução: Caracterização do ambiente de trabalho para 2014/15: os alunos (e sua formação prévia), a equipa docente (2 docentes), a estrutura e objectivos das UCs do perfil de especialização (AA, PCP, AP, ESC), a metodologia de trabalho e proposta para discussão sobre a metodologia de avaliação a adoptar.
Identificação e caracterização de conceitos fundamentais genéricos em Arquiteturas Avançadas.

Trabalho para casa: rever conhecimentos adquiridos na licenciatura, para discussão na sessão da semana seguinte: organização de um computador com destaque para o par processador-memória e análise da interface entre este par e a execução de instruções de um programa desenvolvido num paradigma imperativo.

Semana 2

30-set-13 (9h-12h)

Aula teórica: Revisão de conceitos básicos de sistemas de computação: mecanismos de otimização da arquitetura interna do CPU e hierarquia de memória. Revisão e síntese das questões pertinentes que ligam o desempenho à arquitectura e organização do par processador-memória, com destaque para as diversas abordagens na introdução de paralelismo na evolução das arquitecturas dos processadores, nomeadamente ao nível do ILP (pipeline, multiple issue, SIMD/vectorial, multi-threading) e da organização da memória.

Sugestão de leituras: Material de revisão da licenciatura: página da unidade curricular (UC) de Sistemas de Computação da LEI (em http://gec.di.uminho.pt/lei/sc1314/), e em especial a leitura dos 3 primeiros capítulos do livro de Bryant & O'Hallaron (Computer Systems: A Programmer's Perspective), cuja versão beta se encontra em PDF aqui.
Slides desta sessão.
Material para aprofundar e para debate na próxima semana: capítulos 4 (4.10) e 5 (5.1, 5.2, 5.3, 5.8, 5.10) da 4* edição do livro Computer Organization and Design, COD.

Trabalho para casa:  (i) identificar a microarquitetura de todos os processadores Xeon da Intel, do Hammer e Core até às mais recentes, e construir uma tabela com: ano, max clock frequency, # pipeline stages, grau de superscalarity, # simultaneous threads, suporte vectorial , # cores, tipo/bandwidth de interfaces externas, ...; (ii) identificar as gerações de dispositivos CPU no cluster SeARCH . Ver sugestões no último slide disponibilizado.

Semana 3

07-out-14 (9h-12h)

Aula teórica: Revisão de conceitos básicos de sistemas de computação: análise da microarquitetura de processadores multicore e reflexão sobre estratégias de fabricantes para a redução da latência no acesso à memória; exemplo detalhado de várias implementações ILP na microarquitetura do Intel P6, enquanto percursor das atuais microarquiteturas Intel x86; visualização da iteração de ciclos num fragmento de código vetorial, com uma análise comparativa do desempenhos estimados e medidos (em CPE) e consequente explicação das implicações da estrutura do processador no desempenho do código.

Sugestão de leituras: Slides de revisão sobre ILP e uma revisão de conceitos básicos sobre organização e estrutura de uma cache.
Em complemento dos capítulos sugeridos na semana anterior, recomendamos ainda o capítulo 5 do livro de Bryant (Optimizing Program Performance), em especial na parte sobre sobre execução paralela de instruções, e o capítulo 6 do mesmo livro (Memory Hierarchy).

Trabalho para casa: (i) Para as mesmas arquiteturas de processadores Intel XEON referidas no TPC anterior, completar a tabela com dados sobre a hierarquia de memória on-chip, nomeadamente: # níveis de cache, e para cada, tamanho, estrutura (block size/placement, replacement policy, write policy), bandwidth para aceder aos níveis inferiores. Ver as sugestões indicadas no último slide disponibilizado.

Semana 4

14-out-14 (9h-12h)

Aula teórica com exemplos: Hierarquia de memoria: questões chave no projeto de memórias cache com análise do impacto da hierarquia no desempenho da execução de código ao nível de CPI; estimativa do impacto no desempenho das caches multi-nível em termos de hit time, miss rate e miss penalty, devido aos seguintes fatores chave: tamanho da cache/bloco, colocação/substituição de blocos (linhas), técnicas de escrita, latência/bandwidth; técnicas de otimização básicas e avançadas. Breve introdução à organização das caches, nomeadamente nos protocolos de coerência de cache (snooping e directory-based) e na consistência de caches.

Sugestão de leituras: slides da aula sobre hierarquia de memória. Complementar esta leitura com o texto que lhe deu origem, o Cap. 2 e o Anexo B do livro de texto básico deste módulo: Computer Architecture: A Quantitative Approach (CAQA), 5ª edição, onde o anexo é uma revisão do conteúdo do livro mais básico dos mesmos autores (COD), o Cap 2 é dedicado às questões mais avançadas de hierarquia de memória, sendo o tópico de coerência de caches abordado em 5.2 de CAQA.

Trabalhos para casa: (i) completar adequadamente a tabela comparativa dos processadores x86-64 mais recentes na sequência das especificações definidas anteriormente, para discussão na próxima sessão; (ii) ler e estudar para discussão na próxima aula este tutorial sobre modelos de consistência de memória partilhada.

Semana 5

21-out-14 (9h-12h) 

Aula teórica com exercícios: A evolução das arquiteturas para além do paralelismo ao nível da instrução (ILP), com revisão dos principais desafios para melhorar desempenho de um uniprocessador, focando a melhoria do CPI com pipeline, técnicas de multi-issue, exploração de paralelismo ao nível dos fios de execução (Thread-Level Parallelism, TLP).  Multiprocessadores por memória partilhada (SMP) e por comunicação de mensagens (MPP); noção de multithreading de grão fino / multiplexado no tempo, grão rosso e simultâneo (SMT), com referência ao Hyper-Threading da Intel.
Discussão dos resultados do TPC com sugestões para melhorar a apresentação dos mesmos.

Sugestão de leituras: Os slides sobre ILP-MThread. Estes slides seguem o material do livro CAQA, e as secções relevantes estão referidas no último slide.

Semana 6

28-out-14 (9h-12h)

Aula teórica com exercícios: Paralelismo ao nível dos dados: arquitecturas vetoriais, extensões SIMD em arquitecturas SISD (MMX, SSE e equivalentes), SIMD e multithreading em GPU's, enquanto co-processadores vectoriais. Introdução à arquitectura de GPU's: terminologia (multicore, manycore, GPU-thread, GPU-core, SPMD/SIMT/SIMD).
Discussão dos resultados do TPC - ênfase na hierarquia de memória - com sugestões para melhorar a apresentação dos mesmos.

Sugestão de leituras: Os slides sobre DataParallelism1. Estes slides seguem os primeiras 4 secções do Cap. 4 do livro CAQA. Um artigo ainda atual colocado em fins de 2012 no website do Dr.Dobb's sobre Cache-friendly code.

Semana 7

04-nov-14 (9h-12h)

Aula teórica: Paralelismo ao nível dos dados para além dos computadores vetoriais e extensões SIMD: uma breve abordagem às arquiteturas particulares de dispositivos baseados em CPUs, nomeadamente (i) o Keystone DSP da TI, (ii) o IBM Cell BE, (iii) a evolução da família Tegra da NVidia para o projeto Denver com o novo ARM de 64-bits, (iv) os novos dispositivos Many Integrated Core (MIC) da Intel e (v) dispositivos que requerem um processador escalar externo (referidos como host), com destaque para os GPUs e as FPGA (que podem ser ISA-free). Análise mais detalhada de algumas destas arquiteturas, em especial o MIC da Intel e a arquitetura Fermi/Kepler dos GPUs da NVidia, pelo seu impacto nos sistemas atuais do TOP500.

Sugestão de leituras: Os slides sobre DataParallelism2; estes slides seguem material diverso disperso na web. Recomenda-se ainda a leitura deste site da Intel com informação pertinente sobre o MIC, bem como as partes relevantes sobre os GPUs que estão na secção 4.4 do livro CAQA e os dois primeiros capítulos do livro recomendado sobre o Intel Xeon Phi Coprocessor. Recomenda-se ainda a leitura de uma compilação de artigos sobre a arquitetura e programação dos manycore da Intel bem como o whitepaper da NVidia apresentando o Kepler GK110, tudo colocado num ficheiro compactado.

Semana 8  

11-nov-14 (9h-12h)

Aula teórica com exercícios: Apresentação do modelo de desempenho Roofline, com exemplos; explicitação dos possíveis bottlenecks da execução de código num nó computacional com 2 dispositivos com CPUs e com um ou mais aceleradores, com referência ao impacto das limitações do código usado (introdução de ceilings no modelo Roofline). Sugestões de melhoria de desempenho do código com base na intensidade operacional do mesmo e do Roofline do sistema de computação usado.
Introdução à ferramentas de utilização de contadores de desempenho de hardware, com destaque para o PAPI. Exemplos e exercícios práticos da sua utilização, num nó do cluster.

Trabalho prático para casa: O enunciado e respetiva documentação de apoio ao mesmo estão aqui disponíveis.

Semana 9

18-nov-14 (9h-12h)

Aula teórica: Discussão dos modelos de programação do Intel MIC e introdução ao ambiente CUDA como modelo de programação orientado para os dispositivos GPU: terminologia, modelos de memória e de organização de threads.

Sugestão de leituras: Os slides sobre DataParallelism3. Para ler também os Chap 3 a 6 do livro recomendado sobre (Programming Massively Parallel Processors) e as partes relevantes sobre os GPUs que estão na secção 4.4 do livro CAQA. Para introdução à programação em CUDA e em complemento destes capítulos, sugere-se uma leitura dos slides das sessões práticas de CUDA dum ano anterior (TACC-CUDA). 

Semana 10

25-nov-14 (9h-12h)

Palestras: 2 propostas de temas para o Projeto Integrado associado ao perfil CPD: "Challenges in Computational Particle Physics", por André Pereira e Alberto Proença; e "Computer Generated Holography", por Waldir Pimenta e Luís Paulo Santos; mais informações na homepage do perfil.

Aula prática laboratorial: Tutorial sobre CUDA, com apresentação dos conceitos chave em CUDA e na formalização das atividades paralelas, com análise hands-on de um problema para execução num nó do cluster.

Sugestão de leituras: Os slides apresentados durante as palestras estão disponíveis na página de entrada do perfil CPD; os slides da sessão laboratorial e o código associado (com exemplos resolvidos) estão disponíveis aqui.

Semana 11 

02-dez-14 (9h-12h)

Palestras: 2 propostas de temas para o Projeto Integrado associado ao perfil CPD: "Atomic Resolution Electron Microscopy: Challenges on Data Treatment and Modelling at the Nanoscale", por Daniel Stroppa (INL); e "Computer Modelling of Carbon Nanotechnology", por Manuel Melle Franco; mais informações na homepage do perfil.

Aula prática laboratorial: Apresentação de um caso de estudo (multiplicação de matrizes) com análise de ineficiências no algoritmo e sua execução em processadores x86, com sugestões de melhorias, incluindo técnicas efetivas de vetorização e de paralelização em ambiente de memória partilhada. Medição e comparação do desempenho do caso de estudo com a aplicação das diversas técnicas, usando um nó do cluster.

Sugestão de leituras: Os slides apresentados durante as palestras estão disponíveis na página de entrada do perfil CPD; os slides da sessão laboratorial e o código associado (com exemplos resolvidos) estão disponíveis aqui.

Semana 12

09-dez-14 (9h-12h)

Apresentação e discussão de trabalhos: Caracterização em termos de desempenho máximo de várias plataformas de computação (usando o Roofline), e análise do desempenho de vários algoritmos de multiplicação de matrizes quadradas usando três ciclos aninhados (variando a ordem de execução dos ciclos e alterando o armazenamento em memória de algumas matrizes, por transposição dos elementos). Discussão aberta dos resultados obtidos.

Sugestão de leituras: O conjunto dos relatórios apresentados estão compactados neste ficheiro.

Semana 13

16-dez-14 (9h-12h)

Avaliação: Teste escrito.

Palestra: 1 proposta de tema para o Projeto Integrado associado ao perfil CPD: "(AD)SNARK: Improving its Scalability for Larger Secure Applications", por Manuel Barbosa; mais informações na homepage do perfil.

Sugestão de leituras: O guião de trabalhos para a sessão laboratorial da 1ª semana de janeiro: contém uma lista de trabalhos obrigatórios a realizar antes do início da sessão.

19-dez-14 (12h-13h)

Palestras: propostas de temas para o Projeto Integrado associado ao perfil CPD, a realizar em colaboração com Artur Mariano na Univ. Darmstadt:"Implementation of Enumeration Algorithms in Heterogeneous CPU+GPU Systems", apresentado por Artur Mariano (U. Darmstadt), e "Exploring Generic Heterogeneous Implementations of Graph Algorithms", apresentado por Cristiano Sousa; mais informações na homepage do perfil.

Semana 14

06-jan-15 (9h-12h)

Aula prática laboratorial: Técnicas de otimização de código CUDA com análise comparativa de desempenho face a idêntica execução num Xeon multicore.

Sugestão de leituras: Slides adicionais da NVidia com sugestões complementares de apoio a esta sessão com CUDA; o guião de trabalhos para a sessão laboratorial da 2ª semana de janeiro com uma lista de trabalhos obrigatórios a realizar antes do início da sessão, complementado por estes ficheiros.

Semana 15

13-jan-15 (9h-12h)

Aula prática laboratorial: Análise do impacto da vetorização de código e sua escalabilidade em termos de # threads paralelos, usando sempre um problema com a mesma dimensão, em sistemas com Xeon multicore.

Sugestão de leituras: O guião de trabalhos para a sessão laboratorial da 3ª semana de janeiro com uma lista de trabalhos obrigatórios a realizar antes do início da sessão, complementado por estes ficheiros.

Semana 16

20-jan-15 (9h-12h)

Aula prática laboratorial: Análise do impacto da vetorização de código e sua escalabilidade em termos de # threads paralelos, usando um problema com dimensão proporcional ao # cores, em sistemas com Xeon manycore (Xeon Phi, arquitetura MIC), com e sem vetorização de código.

Sugestão de leituras: Os resultados dos trabalhos realizados em janeiro, nomeadamente do Lab1, Lab2 e Lab3.

Direitos de Autor & Copyright

Esta publicação - incluindo a sua faculdade de impressão - e respetivos conteúdos - que poderão incluir reproduções parciais de obra(s) alheia(s) devidamente citadas, com a indicação do autor, título da obra, editor ou outra fonte - destinam-se exclusivamente aos alunos da unidade curricular de especialização de Computação Paralela Distribuída, do Mestrado de Eng.ª Informática, da Universidade do Minho, para uso pessoal e fins de aprendizagem eletrónica (e-learning) e não revestem qualquer finalidade lucrativa ou comercial.
Qualquer outra reprodução, total ou parcial, desta obra, por qualquer suporte, modo ou processo, nomeadamente processo eletrónico, mecânico ou fotográfico, incluindo fotocópia, a modificação da obra, a sua comunicação pública, a sua distribuição através de aluguer ou comodato, sem qualquer autorização escrita do autor, é ilícita e passível de procedimento judicial contra o infrator.

Topo...