Parallelrechner: Aufbau und Programmierung

• zwei Grundtypen von Parallelrechnern je nach Speicherorganisation:

  verteilter Speicher (MPP-Systeme):

  • 
  • eigener Speicher für jede CPU
  • Netzwerk zum Austausch von Daten zwischen CPUs
  • + preiswerte Standard-Komponenten
  • + für große Prozessorzahlen (> 32) geeignet
  • - aufwendige Programmierung

  gemeinsamer Speicher (SMP-Rechner):

  • 
  • alle CPUs haben Zugriff auf einen gemeinsamen Speicher
  • - zu aufwendig bei großen Prozessorzahlen
  • + relativ einfache Programmierung
• Programmierung von SMP-Rechnern:

  Grundmodell: Schleifen-Parallelisierung mit Compilerdirektiven
  Standard: OpenMP

  • + evolutives Vorgehen möglich, nur "Hot Spots" parallelisieren
  • + Compiler-Unterstützung vorhanden
  • + Programmier-Modell ähnlich zu skalarem Programm
  • - explizite Synchronisation nötig

  Code-Beispiel:

       !$OMP PARALLEL DO
       do i=1, n
         v(i) = v(i) + f(a(i), work)
       enddo
       !$OMP END PARALLEL

• Programmierung von MPP-Rechnern:

  Grundmodell: Austausch von Nachrichten zwischen Prozessen
  Standard: MPI

  • + hohe Portabilität (PC-Cluster bis Supercomputer)
  • + Synchronisation automatisch durch Messages
  • - komplettes Redesign des Programms
  • - viele Details explizit nötig ("Parallel-Assembler")

  Code-Beispiel:

        call mpi_bcast(n, 1, mpi_integer, 0, mpi_comm_world, ierr)
  
        h = 1.0d0 / n
        localsum  = 0.0d0
  
        do i = thread_id + 1, n, nthreads
           x = h * (dble(i) - 0.5d0)
           localsum = localsum + f(x)
        enddo
  
        call mpi_reduce(localsum, sum, 1, mpi_double_precision,
       +                mpi_sum, 0, mpi_comm_world, ierr)