\documentstyle[din_a4, german, anwendungsbericht]{article}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% Beispiel fuer das Layout eines Anwendungsberichts des ZPR
% 13.9.94 MW
%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% Bitte aendert nur die Zeilen, hinter denen nicht % NICHT AENDERN !! 
%    steht und die zwischen 
%BEGIN TEXT
% und
%END TEXT
% stehen.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\pagestyle{empty}

\frenchspacing
\parindent 0pt
\parskip 5pt

\begin{document}

\leftpicture{dlr-logo.ps}
\kooperationspartner{(in Kooperation mit der DLR)}
\kopf{2}
%\vspace{3em}
\section*{Str"omungssimulation auf Parallelrechnern}

\mbox{                                              % NICHT AENDERN !!
  \begin{minipage}[b]{10cm}                         % NICHT AENDERN !!
    %BEGIN TEXT
    Am Institut f"ur Physik der Atmosph"are der Deutschen
    Forschungsanstalt f"ur Luft- und Raumfahrt (DLR) in Oberpfaffenhofen
    wird an der Erforschung von Wirbelstrukturen und Vermischungsvorg"angen
    innerhalb turbulenter Str"omungen gearbeitet. Die Basis dieses
    Forschungsprojektes bildet das Program LESTUF (Large Eddy Simulation
    of TUrbulent Fluid). 
    Es erm"oglicht die Simulation
    des Einflusses stabiler Schichtung und Scherung auf die Entstehungs-
    und Diffusions-Eigenschaften homogener, turbulenter Str"omungen. 
    \\
    (Abb.: Geschwindigkeitskomponenten in der 
     Wirbelschleppe eines Verkehrsflugzeuges.)
  \end{minipage}                                   % NICHT AENDERN !!
  \hspace{5.1mm}                                   % NICHT AENDERN !!
      \epsfxsize=5cm
      \epsfbox{lestuf-bild1.ps}
}                                                  % NICHT AENDERN !!

\vspace{1.5em}

\subsection*{Aufgabenstellung}
Das Institut f"ur Physik der Atmosph"are
hat innerhalb der Rechenzentren der DLR
Zugriff auf einen CRAY-YMP
Vektorrechner mit einer maximalen
Rechenleistung von $330$ MFlops. Ein Simulationslauf mit LESTUF
auf $128^3$ Gitterpunkten ben"otigt dort
3 Stunden CPU-Zeit, wobei die Verweilzeit im Rechner um ein
Vielfaches h"oher liegt. Hierbei wird eine Rechenleistung von $130$ MFlops 
erreicht. 
Nimmt man sehr hohe Verweilzeiten von bis zu einer Woche in Kauf, 
so sind Simulationen mit bis zu $256^3$ Gitterpunkten m"oglich.
Um exakte Aussagen "uber die Vermischungsprozesse innerhalb der 
Abgasfahnen moderner Flugzeuge zu treffen, ist eine Vervierfachung 
der Aufl"osung auf $1024^3$ Punkte notwendig. 
Dies f"uhrt zu einer Vergr"o"serung der Anforderungen
an die Speicher-- und Rechenleistung des Rechners um das 64--fache. 
Solche hohen Anforderungen sind in naher Zukunft auf Parallelrechnern 
realisierbar. 
Um diese M"oglichkeiten ausnutzen zu k"onnen, 
wird in enger Kooperation zwischen dem Zentrum f"ur Paralleles Rechnen
und der DLR eine parallele Version von LESTUF entwickelt.

\nopagebreak
\vspace{1.5em}

\subsection*{Mathematische Modellierung}
\mbox{
\begin{minipage}[b]{6cm}
Das Simulationsgebiet, in dem wir die Str"omung untersuchen, ist ein 
gleichm"a"siger dreidimensionaler W"urfel mit Seitenl"ange $L$.
Er ist eingebettet in ein Koordinatensystem mit den drei Richtungen $x$,
$y$ und $z$ (bzw. $x_i$, $i=1,2,3$). Hierbei zeigt $x$ in die Hauptstr"omungsrichtung,
$y$ steht senkrecht dazu und $z$ ist die vertikale Richtung. 
\end{minipage}
\hspace{2cm}
%\begin{minipage}{10cm}
\hfill
%\vspace{3cm}
%\begin{table}
%  \begin{center}
\parbox[b]{8cm}{
    \
    \epsfxsize=8cm
    \epsfbox{lestuf-bild2.ps} 
\newline
{\small Simulationsgebiet und mittlere Profile}
}
%  \caption{Simulationsgebiet und mittlere Profile}
%\end{table}
%\end{minipage}
%  \end{center}
%{\small (a) W"urfelf"ormiges Simulationsgebiet mit Kantenl"ange $L$\\
%(b) Die Profile der Referenzgeschwindigkeit $U$ und Referenztemperatur $T$}
%\end{figure}
}

\vspace{1.5em}

Die Bewegung eines Newtonschen Fluids wird durch die inkompressible 
Navier-Stokes Gleichung
beschrieben, das Temperaturverhalten durch den ersten Hauptsatz der Thermodynamik.
Das resultierende partielle Differentialgleichungssystem wird durch die 
Kontinuit"atsgleichung geschlossen. Alle physikalischen Gr"o"sen werden
dimensionslos aus einem Referenzwert und einer Abweichung (auch St"orung 
oder Fluktuation) von diesem Wert dargestellt. Die Referenzskalen f"ur Dichte,
L"ange, Geschwindigkeit und Temperatur lauten 
$\rho_R$, $L$, $\Delta U = \| dU/dz \| L$ sowie $\Delta T = \| dT_R /dz \| L$.
Die turbulenten St"orungen hierzu werden mit $\bar u = (u,v,w) = (u_1,u_2,u_3)$
f"ur die Geschwindigkeit, $T$ f"ur die Temperatur und $p$ f"ur den Druck
bezeichnet.

Es ergibt sich das folgende dimensionslose Differentialgleichungssystem:
%%, indem $\delta_{ij}$
%%das Kronecker-Delta bezeichnet und die Einsteinsche
%%Summenkonvention benutzt wird.
%%
\begin{eqnarray}
%%. * Navier-Stokes Gleichung
 \frac{ \partial u_i}{\partial t}
 + \frac{\partial}{\partial x_j} (u_j u_i)
 + Sx_3 \frac{\partial u_i}{\partial x_1}
 + Su_3 \delta_{i1} 
& = &
 - \frac{\partial \tau_{ij}}{\partial x_j}
 - \frac{\partial p}{\partial x_i}
 + Ri \frac{S ^ 2}{s}  T \delta_{i3} \;,\\
%%.* Erster Hauptsatz der Thermodynamik
%%.* Ohne Dimension in Indexschreibweise
%%.*
\frac{\partial T}{\partial t}
+ \frac{\partial}{\partial x_j}(u_j T)
+ Sx_3 \frac{\partial T}{\partial x_1}
+ su_3
 & = &
- \frac{\partial \tau_{Tj}}{\partial x_j} \;,\\
%% * Kontinuitaetsgleichung
 \frac{\partial u_j}{\partial x_j} & = & 0 \;.
\end{eqnarray}
%%
%"Uber den dimensionslosen Scherparameter $S=(L/ \Delta U)(dU/dz) \in \{0,1\}$ und einen 
%entsprechenden Wert f"ur die Temperaturschichtung 
%$s=(L/ \Delta T) (dT_R /dz) \in \{-1,0,1\}$ kann zwischen Simulationen mit 
%und ohne Scherung, bzw. Schichtung unterschieden werden.

Die Gleichungen werden auf einem "aquidistanten Eulerschen Koordinatensystem 
diskretisiert und mit finiten Differenzen zweiter Ordnung auf einem Gitter mit
versetzt angeordneten Komponenten (staggered grid)
bearbeitet. Die Zeitintegration wird mit dem Adams-Bashforth Verfahren 
berechnet, die aus der Inkompressibilit"at resultierende Poissongleichung 
f"ur den dynamischen Druck wird implizit gel"ost.

\subsection*{Parallelisierung}
Wir haben eine parallele Version (ParLESTUF) des oben beschriebenen Programms 
entwickelt, die f"ur MIMD-Systeme mit 4 bis 128 Prozessoren konzipiert 
wurde.
%Hiermit sollen Aufl"osungen mit bis zu $1024^3$ Gitterpunkten berechnet werden.
Die Parallelisierung basiert auf einer Zerlegung, bei der
das kubische Versuchsgebiet in horizontale Scheiben zerlegt und auf die 
in einer Ringtopologie angeordneten Prozessoren verteilt wird.\\
Als Message Passing Plattform wird MPI benutzt. Als neuer Standard wird
dieses System in naher Zukunft auf allen Parallelrechnern verf"ugbar sein.
Die verwendete Programmiersprache ist Fortran 77.\\
Besonderes Augenmerk wurde auf die Implementation des parallelen 
Poissonl"osers gelegt, der einen Gro"steil der Rechenzeit beansprucht. Auf der
Basis der gew"ahlten Datenverteilung wurde hierzu ein 'divide \& conquer' 
Verfahren entwickelt und implementiert. 

Mit dem bestehenden parallelen Programm wurden im Fr"uhjahr 1995 auf
der Cray-T3D des 'Edinburgh Parallel Computing Centre' erste Testl"aufe
mit bis zu $256^3$ Gitterpunkten durchgef"uhrt.
Die Implementation eines
Multigridverfahrens f"ur die Poissongleichung, dessen Vergleich mit den 
bisherigen Methoden und Tests auf weiteren Parallelrechnern wie der SGI POWER 
Challenge XL und der SP-2 sind weitere Aufgaben f"ur 1995.
%
%\begin{table}
%  \begin{center}
%    \
%    \include{poiss_su}
%  \end{center}
%    \caption{Speed-Up des Poissonl"osers}
%\end{table}

\vspace{3em}

\rule{\textwidth}{1pt}                           % NICHT AENDERN !!

{\Large \bf Ansprechpartner}                       % NICHT AENDERN !!

\begin{tabular}{ll}                              % NICHT AENDERN !!
Dr. Thomas Gerz                         & Dipl.--Math. Martin Strietzel    \\
Deutsche Forschungsanstalt              & Zentrum f"ur Paralleles Rechnen  \\
f"ur Luft- und Raumfahrt e. V.          & Universit"at zu K"oln            \\
Institut f"ur Physik der Atmosph"are~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~    & Weyertal 80                      \\
D - 82234 Oberpfaffenhofen              & D - 50931 K"oln                  \\
Tel: 08153/28-1333                      & Tel: 0221/470-6003               \\
Fax: 08153/28-1841                      & Fax: 0221/470-5160               \\
E-Mail: Thomas.Gerz@dlr.de               & E-Mail: Strietzel@zpr.uni-koeln.de \\
\\
Stand: \today
\end{tabular}                                    % NICHT AENDERN !!
%END TEXT
\end{document}

