Sumários & Notas de apoio:

Semana 1

17-set-19 (9h-12h)

Introdução ao perfil: Caracterização do ambiente de trabalho para 2019/20: os alunos (e sua formação prévia), a equipa docente (3 docentes), a estrutura e objetivos das UCs do perfil de especialização (AA, PCP, AP, ESC), a metodologia de trabalho e proposta para discussão sobre a metodologia de avaliação a adoptar.

Aula teórica: Revisão de conceitos básicos de sistemas de computação, com destaque para a evolução das melhorias da arquitetura interna da PU e hierarquia de memória. Breve revisão das questões pertinentes que ligam o desempenho à arquitetura e organização do par processador-memória, com destaque para as diversas abordagens na introdução de paralelismo na evolução das arquitecturas dos processadores, nomeadamente ao nível do ILP (pipeline, multiple issue), do paralelismo de dados (SIMD/vetorial), do paralelismo na execução de fios de execução (multi-threading) e da organização da memória.

Sugestão de leituras: Material de revisão da licenciatura: página da unidade curricular (UC) de Sistemas de Computação da LEI (em http://gec.di.uminho.pt/miei/sc/), e em especial a leitura dos 3 primeiros capítulos do livro de Bryant & O'Hallaron (Computer Systems: A Programmer's Perspective), cuja versão beta se encontra em PDF aqui.
Slides desta sessão.
Material para aprofundar e para debate na próxima semana: capítulos 4 (4.10) e 5 (5.1, 5.2, 5.3, 5.8, 5.10) da 4* edição do livro Computer Organization and Design, COD.

Trabalho para casa: Rever conhecimentos adquiridos na licenciatura, para discussão na sessão da semana seguinte: organização de um computador com destaque para o par processador-memória e análise da interface entre este par e a execução de instruções de um programa desenvolvido num paradigma imperativo.

Semana 2

24-set-19 (9h-12h)

Aula teórica: Revisão de conceitos básicos de sistemas de computação: análise da microarquitetura de processadores multicore e reflexão sobre estratégias de fabricantes para a redução da latência no acesso à memória; exemplo detalhado de várias implementações ILP na microarquitetura do Intel P6, enquanto percursor das atuais microarquiteturas Intel x86.

Sugestão de leituras: Introdução aos lides de revisão sobre ILP.

Semana 3

01-out-19  (9h-12h)

Aula teórica com exemplos: Revisão de conceitos básicos de sistemas de computação: visualização da iteração de ciclos num fragmento de código vetorial, com uma análise comparativa do desempenhos estimados e medidos (em CPE) e consequente explicação das implicações da estrutura do processador no desempenho do código.
A evolução das arquiteturas para além do paralelismo ao nível da instrução (ILP), com revisão dos principais desafios para melhorar desempenho de um uniprocessador, focando a melhoria do CPI com pipeline e técnicas de multiple-issue. Exploração de paralelismo ao nível dos fios de execução (Thread-Level Parallelism, TLP): noção de multithreading de grão fino / multiplexado no tempo, grão grosso e simultâneo (SMT), com referência ao Hyper-Threading da Intel (HT). Paralelismo ao nível dos dados: introdução às arquiteturas vetoriais.

Sugestão de leituras: Slides de revisão sobre ILP  complementada com texto dos capítulos sugeridos na primeira semana; recomendamos ainda o capítulo 5 do livro de Bryant (Optimizing Program Performance), em especial na parte sobre sobre execução paralela de instruções.
Os slides sobre ILP-MThread seguem o material do livro de texto básico deste módulo Computer Architecture: A Quantitative Approach (CAQA), 5ª edição; as secções relevantes estão referidas no último slide.
Slides com introdução à hierarquia de memória, complementada com (i) o capítulo 6 do mesmo livro de Bryant (Memory Hierarchy) e (ii) o texto que deu origem aos slides, o Cap. 2 e o Anexo B do livro CAQA, onde o anexo é uma revisão do conteúdo do livro mais básico dos mesmos autores (COD).

Semana 4

08-out-19 (9h-12h)

Aula teórica: Paralelismo ao nível dos dados: desafios e características das arquiteturas vetoriais; extensões SIMD em arquitecturas SISD, nomeadamente Intel (MMX, SSE, AVX/AVX2, AVX-512) e ARM (NEON e SVE), com referência às suas limitações relativamente aos computadores vetoriais e como estas limitações têm vindo a reduzir nas extensões AVX e SVE.

Sugestão de leituras: Os slides de DataParallel1_SIMD, que seguem as primeiras 3 secções do Cap. 4 do livro CAQA e são uma introdução ao paralelismo ao nível dos dados.

Semana 5

15-out-19 (9h-12h) 

Aula teórica: Hierarquia de memoria: análise do impacto da hierarquia no desempenho da execução de código ao nível de CPI; estimativa do impacto no desempenho das caches multinível em termos de hit time, miss rate e miss penalty, devido aos seguintes fatores chave: tamanho da cache/bloco, colocação/substituição de blocos (linhas), técnicas de escrita, latência/bandwidth.

Sugestão de leituras: Slides com hierarquia de memória (mesmos que da aula anterior) complementada com (i) o capítulo 6 do mesmo livro (Memory Hierarchy) e (ii) o texto que deu origem aos slides, o Cap. 2 do livro de texto básico deste módulo: Computer Architecture: A Quantitative Approach (CAQA), 5ª edição, onde o Cap 2 é dedicado às questões mais avançadas de hierarquia de memória, o Anexo B é uma revisão do conteúdo do livro mais básico dos mesmos autores (COD).

Semana 6

22-out-19 (9h-12h)

Aula teórica: Organização das caches, nomeadamente nos protocolos de coerência de cache (snooping e directory-based). Análise de 6 técnicas de otimização básicas e breve referência a outras 10 mais avançadas.

Aula tutorial com prática laboratorial: Introdução às ferramentas de utilização de contadores de desempenho de hardware, com destaque para o PAPI.
Apresentação de um caso de estudo (multiplicação de matrizes) com análise de ineficiências no algoritmo e sua execução em processadores x86, com sugestões de melhorias, incluindo técnicas efetivas de vetorização e de paralelização em ambiente de memória partilhada.
Introdução de diversas técnicas de decomposição de domínio de um problema para paralelização.

Sugestão de leituras: Slides com hierarquia de memória (mesmos que da aula anterior) complementada com (i) o capítulo 6 do mesmo livro (Memory Hierarchy) e (ii) o texto que deu origem aos slides, o Cap. 2 do livro de texto básico, sendo o tópico de coerência de caches abordado em 5.2 de CAQA.
Um artigo ainda atual colocado em fins de 2012 no website do Dr.Dobb's sobre Cache-friendly code e outro sobre modelos de consistência em memória partilhada.
Os slides da sessão tutorial com prática laboratorial sobre PAPI e Code-Optimization.
O guião de trabalhos para a sessão laboratorial 1 da próxima semana (e código associado), contendo uma lista de trabalhos obrigatórios a realizar antes do início da sessão.

Semana 7

29-out-19 (9h-12h)

Aula teórica: Paralelismo ao nível dos dados para além dos computadores vetoriais e extensões SIMD: uma breve abordagem aos aceleradores baseados em GPU da NVidia, em especial a evolução Fermi/Kepler/Maxwell/Pascal/Volta e seu impacto nos sistemas do TOP500.

Aula prática laboratorial (Lab1): Exemplos e exercícios práticos da utilização do PAPI: medição e comparação do desempenho do caso de estudo com a aplicação das diversas técnicas, usando um nó do cluster.
Análise do impacto da vetorização de código e sua escalabilidade em termos de # threads paralelos, usando sempre um problema com a mesma dimensão, em sistemas com Xeon multicore (guião Lab1, distribuído na semana anterior).

Sugestão de leituras: Slides de DataParallel2_GPU; estes slides foram elaborados com base em documentação diversa recolhida na Web, estando a maioria dos links referidos nos próprios slides; recomenda-se ainda a leitura de 2 whitepapers da NVidia, um apresentando o Kepler GK110 (equipa vários nós do cluster) e outro sobre a última geração da NVidia, o Tesla V100 (Volta).
O guião de trabalhos para a sessão laboratorial 2 com uma lista de trabalhos obrigatórios a realizar antes do início da sessão e informação complementar.

Semana 8  

05-nov-19 (9h-12h)

Aula teórica: Introdução ao ambiente CUDA como modelo de programação orientado para os dispositivos GPU: terminologia, modelos de memória e de organização de threads.

Aula prática laboratorial (Lab2): Tutorial sobre CUDA, com apresentação dos conceitos chave em CUDA e na formalização das atividades paralelas, com análise hands-on de um problema para execução num nó do cluster.

Sugestão de leituras: os slides de introdução a CUDA, DataParallel3_CUDA, complementados com estes slides de introdução à programação de GPUs com CUDA e este tutoriaal de CUDA; ler também os Chap 3 a 6 do livro recomendado sobre os GPUs da NVidia (Programming Massively Parallel Processors) e as partes relevantes sobre GPUs que estão na secção 4.4 do livro CAQA. 

Semana 9

12nov-19 (9h-12h)

Aula teórica: Discussão dos modelos de programação dos manycore chips da família Intel MIC, dos co-processadores no Xeon Phi Knights Corner (KNC) aos processadores no Xeon Phi Knights Landing (KNL); análise detalhada das inovações introduzidas na arquitetura do KNL.
Apresentação do modelo de desempenho Roofline, com exemplos; explicitação dos possíveis bottlenecks da execução de código num nó computacional com 2 dispositivos com CPUs e com um ou mais aceleradores, com referência ao impacto das limitações do código usado (introdução de ceilings no modelo Roofline). Sugestões de melhoria de desempenho do código com base na intensidade operacional do mesmo e do Roofline do sistema de computação usado.

Sugestão de leituras: Os slides sobre a família Intel MIC; uma compilação de artigos sobre a arquitetura e programação dos manycore Xeon Phi da Intel, incluindo alguns capítulos do livro sobre o KNL. Recomenda-se ainda a exploração deste site da Intel com informação pertinente sobre o MIC, bem como os dois primeiros capítulos do livro recomendado sobre o Intel Xeon Phi Processor.
Os slides sobre Roofline. O conceito de Roofline é apresentado na secção 4.3 do livro CAQA e o artigo que surgiu no ACM está aqui.
O guião de trabalhos para a sessão laboratorial 3 com uma lista de trabalhos obrigatórios a realizar antes do início da sessão, complementado por estes ficheiros.

Trabalho prático para casa (para avaliação): O enunciado e respetiva documentação de apoio.

Semana 10

19-nov-19 (9h-12h)

Aula teórica: Paralelismo ao nível dos dados para além dos computadores vetoriais e extensões SIMD: uma breve abordagem às arquiteturas particulares de dispositivos baseados em CPUs com extensões SIMD, nomeadamente (i) o IBM Power BlueGene/Q Compute, o ShenWay 26010 e o Fujitsu A64FX ARM ,e (ii) os aceleradores ISA-free (FPGA) com destaque para a oferta da Intel.

Aula prática laboratorial (Lab3): Exploração de questões de vetorização do Xeon Phi KNL.

Sugestão de leituras: slides sobre a arquitetura de outros PUs relevantes, DataParallel5_oPUs .
 

Semana 11 

26-nov-19 (9h-12h)

Aula teórica: Paralelismo ao nível dos dados para além dos computadores vetoriais e extensões SIMD, nomeadamente a inclusão de primitivas tensoriais para apoio a redes neuronais e em operações com matrizes (NVidia Volta, Intel NNP, Google TPU, Tesla FSD, Amazon Inferentia, Alibaba Wujian, Cerebras WSE) e os aceleradores neuromórficos (IBM TrueNorth, Intel Loihi).
Análise de SoCs híbridos com multicore PUs e GPU-cores, com destaque para os chips da Intel e da associação da ARM com a NVidia (família Tegra).

Sugestão de leituras: slides sobre tensor/neural net cores, neuromorphic computing e SoCs híbridos; recomenda-se ainda este tech report sobre Cerebras.
O guião de trabalhos para a sessão laboratorial 4 com uma lista de trabalhos obrigatórios a realizar antes do início da sessão, complementado por este ficheiro.

Semana 12

03-dez-19 (9h-12h)

Aula teórica: Análise crítica da arquitetura dos 10 primeiros sistemas nas listas mais recentes do TOP500, do GREEN500, usando o HPCG benchmark em substituição do HPL e do GRAPH500, com destaque para as arquiteturas mais recentes de unidades de processamento de sistemas HPC.

Aula prática laboratorial (Lab4): Construção e análise do Roofline usando o Intel Advisor.

Sugestão de leituras: slides TopHPC; recomenda-se ainda a leitura  (i) do relatório que analisa a arquitetura do sistema que esteve em #1 no TOP500 de junho'16 a novembro'17, o Sunway TaihuLight e (ii) de artigos e slides relativos ao ARMv8 da Cavium, o Thunder-X2.
O guião de trabalhos para a sessão laboratorial 5 com uma lista de trabalhos obrigatórios a realizar antes do início da sessão, complementado por este ficheiro.

Semana 13

10-dez-19 (9h-12h)

Análise da evolução de PUs desde a lista de TOP500 do ano anterior e uma visão para a próxima geração de sistemas HPC, com destaque em sistemas baseados na versão HPC do ARMv8 de 64-bits.

Aula prática laboratorial (Lab5).

Sugestão de leituras: parte final dos slides TopHPC.

15-jan-19 (9h-12h)

Semana 14

17-dez-19 (9h-12h)

Avaliação: Teste escrito.

14-jan-20 (9h-12h)

Apresentação e discussão de trabalhos: Caracterização em termos de desempenho máximo de várias plataformas de computação (usando o Roofline), e análise do desempenho de vários algoritmos de multiplicação de matrizes quadradas usando três ciclos aninhados (variando a ordem de execução dos ciclos e alterando o armazenamento em memória de algumas matrizes, por transposição dos elementos). Discussão aberta dos resultados obtidos.

Direitos de Autor & Copyright

Esta publicação - incluindo a sua faculdade de impressão - e respetivos conteúdos - que poderão incluir reproduções parciais de obra(s) alheia(s) devidamente citadas, com a indicação do autor, título da obra, editor ou outra fonte - destinam-se exclusivamente aos alunos da unidade curricular de especialização de Computação Paralela Distribuída, do Mestrado de Eng.ª Informática, da Universidade do Minho, para uso pessoal e fins de aprendizagem eletrónica (e-learning) e não revestem qualquer finalidade lucrativa ou comercial.
Qualquer outra reprodução, total ou parcial, desta obra, por qualquer suporte, modo ou processo, nomeadamente processo eletrónico, mecânico ou fotográfico, incluindo fotocópia, a modificação da obra, a sua comunicação pública, a sua distribuição através de aluguer ou comodato, sem qualquer autorização escrita do autor, é ilícita e passível de procedimento judicial contra o infrator.

Topo...