40f1fc198c56b2f1cf5330d81398e2b821f63b61
[dwarf-doc.git] / dwarf5 / latexdoc / compression.tex
1 \chapter[Compression (Informative)]{DWARF Compression and Duplicate Elimination (Informative)}
2 \label{dwarfcompressionandduplicateeliminationinformative}
3
4 % It seemed difficult to get close to the same layout and 
5 % captioning as DWARF4 here with figures as they moved (floated)
6 % making it hard to follow.  Hence this uses fewer figures.
7
8 DWARF 
9 \addtoindexx{DWARF compression}
10 can 
11 \addtoindexx{DWARF duplicate elimination}
12 use a lot of disk space.
13
14 This is especially true for C++, where the depth and complexity
15 of headers can mean that many, many (possibly thousands of)
16 declarations are repeated in every compilation unit. C++
17 templates can also mean that some functions and their DWARF
18 descriptions get duplicated.
19
20 This Appendix describes techniques for using the DWARF
21 representation in combination with features and characteristics
22 of some common object file representations to reduce redundancy
23 without losing information. It is worth emphasizing that none
24 of these techniques are necessary to provide a complete and
25 accurate DWARF description; they are solely concerned with
26 reducing the size of DWARF information.
27
28 The techniques described here depend more directly and more
29 obviously on object file concepts and linker mechanisms than
30 most other parts of DWARF. While the presentation tends to
31 use the vocabulary of specific systems, this is primarily to
32 aid in describing the techniques by appealing to well\dash known
33 terminology. These techniques can be employed on any system
34 that supports certain general functional capabilities
35 (described below).
36
37
38 \section{Using Compilation Units}
39 \label{app:usingcompilationunits}
40
41 \subsection{Overview}
42 The general approach is to break up the debug information of
43 a compilation into separate normal and partial compilation
44 units, each consisting of one or more sections. By arranging
45 that a sufficiently similar partitioning occurs in other
46 compilations, a suitable system linker can delete redundant
47 groups of sections when combining object files.
48
49 \textit{The following uses some traditional section naming here
50 but aside from the DWARF sections, the names are just meant
51 to suggest traditional contents as a way of explaining the
52 approach, not to be limiting.}
53
54 A traditional relocatable object output 
55 from a single compilation might contain sections 
56 named:
57 \begin{alltt}
58     \addtoindex{.data}
59     \addtoindex{.text}
60     \addtoindex{.debug\_info}
61     \addtoindex{.debug\_abbrev}
62     \addtoindex{.debug\_line}
63     \addtoindex{.debug\_aranges}
64 \end{alltt}
65 A relocatable object from a compilation system 
66 attempting duplicate DWARF elimination might
67 contain sections as in:
68
69 \begin{alltt}
70     \addtoindex{.data}
71     \addtoindex{.text}
72     \addtoindex{.debug\_info}
73     \addtoindex{.debug\_abbrev}
74     \addtoindex{.debug\_line}
75     \addtoindex{.debug\_aranges}
76 \end{alltt}
77
78 followed (or preceded, the order is not significant) 
79 by a series of 
80 \addtoindexx{section group}
81 section groups:
82 \begin{alltt}
83 ==== Section group 1
84     \addtoindex{.debug\_info}
85     \addtoindex{.debug\_abbrev}
86     \addtoindex{.debug\_line}
87 ==== ...
88 ==== Section group N
89     \addtoindex{.debug\_info}
90     \addtoindex{.debug\_abbrev}
91     \addtoindex{.debug\_line}
92 \end{alltt}
93
94 where each \addtoindex{section group} might or might not contain executable
95 code (\textit{.text} sections) or data (\textit{.data} sections).
96
97 A \textit{\addtoindex{section group}} is a named set 
98 of section contributions
99 within an object file with the property that the entire set
100 of section contributions must be retained or discarded as a
101 whole; no partial elimination is allowed. Section groups can
102 generally be handled by a linker in two ways:
103
104 \begin{enumerate}[1.]
105 \item Given multiple identical (duplicate) section groups,
106 \addtoindexx{section group}
107 one of them is chosen to be kept and used, while the rest
108 are discarded.
109
110 \item Given a \addtoindex{section group} 
111 that is not referenced from any
112 section outside of the \addtoindex{section group}, 
113 the section group
114 is discarded.
115
116
117 \end{enumerate}
118
119
120 Which handling applies may be indicated by the 
121 \addtoindex{section group}
122 itself and/or selection of certain linker options.
123
124 For example, if a linker determines that 
125 \addtoindex{section group} 1
126 from A.o and 
127 \addtoindex{section group} 3 from B.o are identical, it could
128 discard one group and arrange that all references in A.o and
129 B.o apply to the remaining one of the two identical section
130 groups. This saves space.
131
132 An important part of making it possible to “redirect”
133 references to the surviving 
134 \addtoindex{section group} is the use of
135 consistently chosen linker global symbols for referring to
136 locations within each 
137 \addtoindex{section group}.
138 It follows that references
139 are simply to external names and the linker already knows
140 how to match up references and definitions.
141
142 What is minimally needed from the object file format and system
143 linker (outside of DWARF itself, and normal object/linker
144 facilities such as simple relocations) are:
145
146 \begin{enumerate}[1.]
147
148 \item A means of referencing from inside one \addtoindex{.debug\_info}
149 compilation unit to another 
150 \addtoindex{.debug\_info} compilation unit
151 (\livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr} provides this).
152
153 \item A means of having multiple contributions to specific sections
154 (for example, \addtoindex{.debug\_info}, and so on) in a single object file.
155
156 \item  A means of identifying a \addtoindex{section group} (giving it a name).
157
158 \item A means of identifying which sections go together to make
159 up a \addtoindex{section group}, 
160 so that the group can be treated as a unit
161 (kept or discarded).
162
163 \item  A means of indicating how each \addtoindex{section group} should be
164 processed by the linker.
165
166 \end{enumerate}
167
168 \textit{The notion of section and section contribution used here
169 corresponds closely to the similarly named concepts in the
170 ELF object file representation. 
171 The notion of \addtoindex{section group} is
172 an abstraction of common extensions of the ELF representation
173 widely known as ``COMDATs'' or ``COMDAT sections''. (Other
174 object file representations provide COMDAT\dash style mechanisms as
175 well.) There are several variations in the COMDAT schemes in
176 common use, any of which should be sufficient for the purposes
177 of the 
178 \addtoindexx{duplication elimination|see{DWARF duplicate elimination}}
179 DWARF duplicate elimination techniques described here.}
180
181 \subsection{Naming and Usage Considerations}
182 \label{app:namingandusageconsiderations}
183
184 A precise description of the means of deriving names usable
185 by the linker to access DWARF entities is not part of this
186 specification. Nonetheless, an outline of a usable approach
187 is given here to make this more understandable and to guide
188 implementors.
189
190 Implementations should clearly document their naming conventions.
191
192 In the following, it will be helpful to refer to the examples
193 in 
194 Figure \refersec{app:duplicateeliminationexample1csource}
195 through 
196 Figure \refersec{app:duplicateeliminationexample2companiondwarf}
197 of 
198 Section \refersec{app:examples}.
199
200 \textbf{Section Group Names}
201
202 Section groups must have a \addtoindex{section group} name.
203 \addtoindexx{section group!name}
204 For the subsequent 
205 \addtoindex{C++} example, a name like
206
207 <producer-prefix>.<file-designator>.<gid-number>
208
209 will suffice, where
210
211 \begin{itemize}
212
213 \item  \textless producer\dash prefix \textgreater 
214 is some string specific to the
215 producer, which has a language\dash designation embedded in the
216 name when appropriate. (Alternatively, the language name
217 could be embedded in the 
218 \textless gid\dash number \textgreater).
219
220
221 \item  \textless file\dash designator \textgreater
222 names the file, such as wa.h in
223 the example.
224
225
226 \item  \textless gid\dash number \textgreater
227 is a string generated to identify the
228 specific wa.h header file in such a way that
229
230 \begin{itemize}
231
232 \item  a 'matching' output from another compile generates
233 the same 
234 \textless gid\dash number \textgreater,
235 and
236
237 \item  a non\dash matching output (say because of \#defines)
238 generates a different 
239 \textless gid\dash number \textgreater.
240 \end{itemize}
241
242 \end{itemize}
243
244 \textit{It may be useful to think of a 
245 \textless gid\dash number \textgreater
246 as a kind
247 of ``digital signature'' that allows a fast test for the
248 equality of two 
249 \addtoindexx{section group}
250 section groups.}
251
252 So, for example, the \addtoindex{section group} 
253 corresponding to file wa.h
254 above is given the name \textit{my.compiler.company.cpp.wa.h.123456}.
255
256
257
258 \textbf{Debugging Information Entry Names}
259
260 Global labels for 
261 \addtoindexx{debugging information entry!ownership relation}
262 debugging information entries (need explained
263 below) within a \addtoindex{section group}
264 can be given names of the form
265
266 \begin{alltt}
267     <prefix>.<file-designator>.<gid-number>.<die-number>
268 \end{alltt}
269
270 such as
271
272 \begin{alltt}
273     my.compiler.company.wa.h.123456.987
274 \end{alltt}
275
276 where
277 \begin{itemize}
278 \item \textless prefix \textgreater\  
279 distinguishes this as a DWARF debug info name, and should identify the producer
280 and, when appropriate, the language.
281 \item \textless file\dash designator\textgreater\  
282 and 
283 \textless gid\dash number \textgreater
284 are as above.
285
286 \item  \textless die\dash number \textgreater
287 could be a number sequentially assigned 
288 to entities (tokens, perhaps) found
289 during compilation.
290
291 \end{itemize}
292
293 In general, every point in the 
294 \addtoindexx{section group}
295 section group 
296 \addtoindex{.debug\_info} that
297 could be referenced from outside by any compilation unit must
298 normally have an external name generated for it in the linker
299 symbol table, whether the current compilation references all
300 those points or not.
301
302 The completeness of the set of names generated is a
303 quality\dash of\dash implementation issue.
304
305 It is up to the producer to ensure that if 
306 <die-numbers>
307 \textless die\dash numbers \textgreater
308 in separate compilations would not match properly then a
309 distinct 
310 \textless gid\dash number \textgreater
311 is generated.
312
313 Note that only 
314 \addtoindexx{section group}
315 section groups that are designated as
316 duplicate\dash removal\dash applies actually require the
317 \begin{alltt}
318     <prefix>.<file-designator>.<gid-number>.<die-number>
319 \end{alltt}
320 external labels for debugging information entries as all other
321 \addtoindex{section group} sections can use 'local' labels 
322 (section\dash relative
323 relocations).
324
325 (This is a consequence of separate compilation, not a rule
326 imposed by this document.)
327
328 \textit{Local labels use references with form \livelink{chap:DWFORMref4}{DW\-\_FORM\-\_ref4}
329 or 
330 \livelink{chap:DWFORMref8}{DW\-\_FORM\-\_ref8}. 
331 (These are affected by relocations
332 so 
333 \livelink{chap:DWFORMrefudata}{DW\-\_FORM\-\_ref\-\_udata}, 
334 \livelink{chap:DWFORMref1}{DW\-\_FORM\-\_ref1} and 
335 \livelink{chap:DWFORMref2}{DW\-\_FORM\-\_ref2} are
336 normally not usable and 
337 \livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr} is not necessary
338 for a local label.)}
339
340 \textbf{Use of \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit} versus 
341 \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit}}
342
343 A \addtoindex{section group} compilation unit that uses 
344 \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
345 is like any other compilation unit, in that its contents
346 are evaluated by consumers as though it were an ordinary
347 compilation unit.
348
349 An \#include directive appearing outside any other
350 declarations is a good candidate to be represented using
351 \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}. 
352 However, an \#include appearing inside
353 a \addtoindex{C++} namespace declaration or a function, for example, is
354 not a good candidate because the entities included are not
355 necessarily file level entities.
356
357 This also applies to \addtoindex{Fortran} INCLUDE lines when declarations
358 are included into a procedure or module context.
359
360 Consequently a compiler must use \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} (instead
361 of \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}) 
362 in a \addtoindex{section group} 
363 whenever the section group 
364 contents are not necessarily globally visible. 
365 This
366 directs consumers to ignore that compilation unit when scanning
367 top level declarations and definitions.
368
369 The \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} compilation unit will be referenced
370 from elsewhere and the referencing locations give the
371 appropriate context for interpreting the partial compilation
372 unit.
373
374 A \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} entry may have, as appropriate, any of
375 the attributes assigned to a \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}.
376
377
378 \textbf{Use of \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit}}
379
380 A \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit} debugging information entry has an
381 \livelink{chap:DWATimport}{DW\-\_AT\-\_import} attribute referencing a \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit} or
382 \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} debugging information entry.
383
384 A \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit} debugging information entry refers
385 to a 
386 \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit} or 
387 \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} debugging
388 information entry to specify that the 
389 \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit} or
390 \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} contents logically appear at the point
391 of the 
392 \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit} entry.
393
394
395 \textbf{Use of \livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr}}
396
397 Use 
398 \livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr} to reference from one compilation
399 unit's debugging information entries to those of another
400 compilation unit.
401
402 When referencing into a removable \addtoindex{section group}
403 \addtoindex{.debug\_info}
404 from another \addtoindex{.debug\_info} (from anywhere), the
405 \begin{alltt}
406 <prefix>.<file-designator>.<gid-number>.<die-number>
407 \end{alltt}
408 name should be used for an external symbol and a relocation
409 generated based on that name.
410
411 When referencing into a 
412 \addtoindexx{section group}
413 non-section group 
414 \addtoindex{.debug\_info},
415 from another \addtoindex{.debug\_info} (from anywhere) 
416 \livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr} is
417 still the form to be used, but a section\dash relative relocation
418 generated by use of a non-exported name (often called an
419 ``internal name'') may be used for references within the
420 same object file.
421
422 \subsection{Examples}
423 \label{app:examples}
424
425 This section provides several 
426 \addtoindexx{DWARF duplicate elimination!examples}
427 examples in order to have a
428 concrete basis for discussion.
429
430 In these examples, the focus is on the arrangement of DWARF
431 information into sections (specifically the 
432 \addtoindex{.debug\_info}
433 section) and the naming conventions used to achieve references
434 into 
435 \addtoindexx{section group}
436 section groups. 
437 In practice, all of the examples that
438 follow involve DWARF sections other than just 
439 \addtoindex{.debug\_info}
440 (for example, \addtoindex{.debug\_line}, 
441 \addtoindex{.debug\_aranges}, or others);
442 however, only the \addtoindex{.debug\_info}
443 section is shown to keep the
444 examples compact and easier to read.
445
446 The grouping of sections into a named set is shown, but the means for achieving this in terms of
447 the underlying object language is not (and varies from system to system).
448
449 \subsubsection{C++ Example}
450
451 The \addtoindex{C++} source 
452 \addtoindexx{DWARF duplicate elimination!C++ example}
453 in 
454 Section \refersec{app:duplicateeliminationexample1csource}
455 is used to illustrate the DWARF
456 representation intended to allow duplicate elimination.
457
458 \paragraph{Duplicate elimination example 1: C++ Source} 
459 \label{app:duplicateeliminationexample1csource}
460
461 File wa.h
462
463 \begin{lstlisting}
464 struct A {
465    int i;
466 };
467 \end{lstlisting}
468
469 File wa.C
470
471 \begin{lstlisting}
472 #include "wa.h";
473 int
474 f(A &a)
475 {
476     return a.i + 2;
477 }
478 \end{lstlisting}
479
480
481 section \refersec{app:duplicateeliminationexample1dwarfsectiongroup}
482 shows the \addtoindex{section group} corresponding to the included file 
483 wa.h.
484
485
486 \paragraph{Duplicate elimination example 1: DWARF section group} 
487
488 \label{app:duplicateeliminationexample1dwarfsectiongroup}
489 % FIXME: the DWFORMrefn could use rethinking
490 \begin{alltt}
491 ==== Section group name:
492     my.compiler.company.cpp.wa.h.123456
493 == section \addtoindex{.debug\_info}
494 DW.cpp.wa.h.123456.1: ! linker global symbol
495     \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
496         \livelink{chap:DWATlanguage}{DW\-\_AT\-\_language}(\livelink{chap:DWLANGCplusplus}{DW\-\_LANG\-\_C\-\_plus\-\_plus})
497         ...  ! other unit attributes
498 DW.cpp.wa.h.123456.2: ! linker global symbol
499     \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
500         \livelink{chap:DWATname}{DW\-\_AT\-\_name}("int")
501 DW.cpp.wa.h.123456.3: ! linker global symbol
502     \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type}
503         \livelink{chap:DWATname}{DW\-\_AT\-\_name}("A")
504 DW.cpp.wa.h.123456.4: ! linker global symbol
505         \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
506         \livelink{chap:DWATname}{DW\-\_AT\-\_name}("i")
507         \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(\livelink{chap:DWFORMrefn}{DW\-\_FORM\-\_refn} to DW.cpp.wa.h.123456.2)
508             ! (This is a local reference, so the more
509             ! compact form \livetarg{chap:DWFORMrefn}{DW\-\_FORM\-\_refn} 
510             ! for n 1,2,4, or 8 can be used)
511 \end{alltt}
512
513
514 Figure \refersec{app:duplicateeliminationexample1primarycompilationunit}
515 shows the ``normal'' DWARF sections, which are not part of
516 any \addtoindex{section group}, 
517 and how they make use of the information
518 in the \addtoindex{section group} shown above.
519
520 \paragraph{Duplicate elimination example 1: primary compilation unit} 
521 \label{app:duplicateeliminationexample1primarycompilationunit}
522 \begin{alltt}
523 == section .text
524     [generated code for function f]
525 == section \addtoindex{.debug\_info}
526     \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
527 .L1:                   ! local (non-linker) symbol
528         \livelink{chap:DWTAGreferencetype}{DW\-\_TAG\-\_reference\-\_type}
529             \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.cpp.wa.h.123456.3)
530         \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
531             \livelink{chap:DWATname}{DW\-\_AT\-\_name}("f")
532             \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.cpp.wa.h.123456.2)
533             \livelink{chap:DWTAGvariable}{DW\-\_TAG\-\_variable}
534                 \livelink{chap:DWATname}{DW\-\_AT\-\_name}("a")
535                 \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to .L1)
536         ...
537 \end{alltt}
538
539 This example uses \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit} for the \addtoindex{section group},
540 implying that the contents of the compilation unit are
541 globally visible (in accordance with 
542 \addtoindex{C++} language rules).
543 \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} is not needed for the same reason.
544
545 \subsubsection{Fortran Example}
546
547
548 For a \addtoindex{Fortran}
549 \addtoindexx{DWARF duplicate elimination!Fortran example}
550 example, consider 
551 Figure \refersec{app:duplicateeliminationexample2fortransource}.
552
553
554 \paragraph{Duplicate elimination example 2: Fortran source} 
555 \label{app:duplicateeliminationexample2fortransource}
556
557 File CommonStuff.fh
558 \addtoindexx{Fortran}
559
560 \begin{lstlisting}
561 IMPLICIT INTEGER(A-Z)
562 COMMON /Common1/ C(100)
563 PARAMETER(SEVEN = 7)
564 \end{lstlisting}
565
566 File Func.f
567 \begin{lstlisting}
568
569 FUNCTION FOO (N)
570 INCLUDE 'CommonStuff.fh'
571 FOO = C(N + SEVEN)
572 RETURN
573 END
574 \end{lstlisting}
575
576
577 Section \refersec{app:duplicateeliminationexample2dwarfsectiongroup}
578 shows the \addtoindex{section group}
579 corresponding to the included file 
580 \addtoindexx{Fortran example}
581 CommonStuff.fh.
582
583 \paragraph{Duplicate elimination example 2: DWARF section group}
584 \label{app:duplicateeliminationexample2dwarfsectiongroup}
585
586 \begin{alltt}
587 ==== Section group name:
588
589     my.f90.company.f90.CommonStuff.fh.654321
590
591 == section \addtoindex{.debug\_info}
592
593 DW.myf90.CommonStuff.fh.654321.1:    ! linker global symbol
594     \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit}
595         ! ...compilation unit attributes, including...
596         \livelink{chap:DWATlanguage}{DW\-\_AT\-\_language}(\livelink{chap:DWLANGFortran90}{DW\-\_LANG\-\_Fortran90})
597         \livelink{chap:DWATidentifiercase}{DW\-\_AT\-\_identifier\-\_case}(\livelink{chap:DWIDcaseinsensitive}{DW\-\_ID\-\_case\-\_insensitive})
598
599 DW.myf90.CommonStuff.fh.654321.2: ! linker global symbol
600 3\$: \livelink{chap:DWTAGarraytype}{DW\-\_TAG\-\_array\-\_type}
601         ! unnamed
602         \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.f90.F90\$main.f.2)
603             ! base type INTEGER
604         \livelink{chap:DWTAGsubrangetype}{DW\-\_TAG\-\_subrange\-\_type}
605             \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.f90.F90\$main.f.2)
606                 ! base type INTEGER)
607             \livelink{chap:DWATlowerbound}{DW\-\_AT\-\_lower\-\_bound}(constant 1)
608             \livelink{chap:DWATupperbound}{DW\-\_AT\-\_upper\-\_bound}(constant 100)
609
610 DW.myf90.CommonStuff.fh.654321.3: ! linker global symbol
611     \livelink{chap:DWTAGcommonblock}{DW\-\_TAG\-\_common\-\_block}
612         \livelink{chap:DWATname}{DW\-\_AT\-\_name}("Common1")
613         \livelink{chap:DWATlocation}{DW\-\_AT\-\_location}(Address of common \nolink{block} Common1)
614         \livelink{chap:DWTAGvariable}{DW\-\_TAG\-\_variable}
615             \livelink{chap:DWATname}{DW\-\_AT\-\_name}("C")
616             \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to 3\$)
617             \livelink{chap:DWATlocation}{DW\-\_AT\-\_location}(address of C)
618
619 DW.myf90.CommonStuff.fh.654321.4: ! linker global symbol
620     \livelink{chap:DWTAGconstant}{DW\-\_TAG\-\_constant}
621         \livelink{chap:DWATname}{DW\-\_AT\-\_name}("SEVEN")
622         \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.f90.F90\$main.f.2)
623             ! base type INTEGER
624         \livelink{chap:DWATconstvalue}{DW\-\_AT\-\_const\-\_value}(constant 7)
625 \end{alltt}
626
627 Section \refersec{app:duplicateeliminationexample2primaryunit}
628 shows the sections for the primary compilation unit.
629
630
631
632 \paragraph{Duplicate elimination example 2: primary unit }
633 \label{app:duplicateeliminationexample2primaryunit}
634 \begin{alltt}
635 == section .text
636     [code for function Foo]
637
638 == section \addtoindex{.debug\_info}
639     \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
640         \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
641             \livelink{chap:DWATname}{DW\-\_AT\-\_name}("Foo")
642             \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.f90.F90\$main.f.2)
643                 ! base type INTEGER
644             \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit}
645                 \livelink{chap:DWATimport}{DW\-\_AT\-\_import}(reference to
646                     DW.myf90.CommonStuff.fh.654321.1)
647             \livelink{chap:DWTAGcommoninclusion}{DW\-\_TAG\-\_common\-\_inclusion} ! For Common1
648                 \livelink{chap:DWATcommonreference}{DW\-\_AT\-\_common\-\_reference}(reference to
649                     DW.myf90.CommonStuff.fh.654321.3)
650             \livelink{chap:DWTAGvariable}{DW\-\_TAG\-\_variable} ! For function result
651                 \livelink{chap:DWATname}{DW\-\_AT\-\_name}("Foo")
652                     \livelink{chap:DWATtype}{DW\-\_AT\-\_type}(reference to DW.f90.F90\$main.f.2)
653                         ! base type INTEGER
654 \end{alltt}
655
656 A companion main program is shown in 
657 Section \refersec{app:duplicateeliminationexample2companionsource}
658
659 \paragraph{Duplicate elimination example 2: companion source }
660 \label{app:duplicateeliminationexample2companionsource}
661
662 File Main.f 
663
664 \begin{lstlisting}
665 INCLUDE 'CommonStuff.fh'
666 C(50) = 8
667 PRINT *, 'Result = ', FOO(50 - SEVEN)
668 END
669 \end{lstlisting}
670
671 That main program results in an object file that
672 contained a duplicate of the \addtoindex{section group} named
673 my.f90.company.f90.CommonStuff.fh.654321 
674 corresponding to the
675 included file as well as the remainder of the main subprogram
676 as shown in 
677 Section \refersec{app:duplicateeliminationexample2companiondwarf}.
678
679 \paragraph{Duplicate elimination example 2: companion DWARF }
680 \label{app:duplicateeliminationexample2companiondwarf}
681
682 \begin{alltt}
683 == section \addtoindex{.debug\_info}
684     \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
685         \livelink{chap:DWATname}{DW\-\_AT\-\_name}(F90\$main)
686         \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
687             \livelink{chap:DWATname}{DW\-\_AT\-\_name}("INTEGER")
688             \livelink{chap:DWATencoding}{DW\-\_AT\-\_encoding}(\livelink{chap:DWATEsigned}{DW\-\_ATE\-\_signed})
689             \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size}(...)
690
691         \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
692             ...
693         ...  ! other base types
694         \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
695             \livelink{chap:DWATname}{DW\-\_AT\-\_name}("F90\$main")
696             \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit}
697                 \livelink{chap:DWATimport}{DW\-\_AT\-\_import}(reference to
698                     DW.myf90.CommonStuff.fh.654321.1)
699             \livelink{chap:DWTAGcommoninclusion}{DW\-\_TAG\-\_common\-\_inclusion} ! for Common1
700                 \livelink{chap:DWATcommonreference}{DW\-\_AT\-\_common\-\_reference}(reference to
701                     DW.myf90.CommonStuff.fh.654321.3)
702             ...
703 \end{alltt}
704
705
706 This example uses \livelink{chap:DWTAGpartialunit}{DW\-\_TAG\-\_partial\-\_unit} for the \addtoindex{section group}
707 because the included declarations are not independently
708 visible as global entities.
709
710
711 \subsubsection{C Example}
712
713 The \addtoindex{C} example 
714 \addtoindexx{DWARF duplicate elimination!C example}
715 in this Section might appear to be equally
716 valid as a \addtoindex{C} example. However, it is prudent to include
717 a \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit}
718 in the primary unit 
719 (see Figure \refersec{app:duplicateeliminationexample1primarycompilationunit})
720 with an \livelink{chap:DWATimport}{DW\-\_AT\-\_import} attribute that refers to the proper unit
721 in the \addtoindex{section group}.
722
723 \textit{The \addtoindex{C} rules for consistency of global (file scope) symbols
724 across compilations are less strict than for C++; inclusion
725 of the import unit attribute assures that the declarations of
726 the proper \addtoindex{section group} are considered before declarations
727 from other compilations.}
728
729
730 \section{Using Type Units}
731 \label{app:usingtypeunits}
732
733 A large portion of debug information is type information, and
734 in a typical compilation environment, many types are duplicated
735 many times. One method of controlling the amount of duplication
736 is separating each type into a separate 
737 \addtoindex{.debug\_types} section
738 and arranging for the linker to recognize and eliminate
739 duplicates at the individual type level.
740
741 Using this technique, each substantial type definition is
742 placed in its own individual section, while the remainder
743 of the DWARF information (non-type information, incomplete
744 type declarations, and definitions of trivial types) is
745 placed in the usual debug information section. In a typical
746 implementation, the relocatable object file may contain one
747 of each of these debug sections:
748
749 \begin{alltt}
750 \addtoindex{.debug\_abbrev}
751 \addtoindex{.debug\_info}
752 \addtoindex{.debug\_line}
753 \end{alltt}
754
755 and any number of these additional sections:
756
757 \begin{alltt}
758 \addtoindex{.debug\_types}
759 \end{alltt}
760
761 As discussed in the previous section 
762 (Section \refersec{app:usingcompilationunits}), 
763 many
764 linkers today support the concept of a COMDAT group or
765 linkonce section. The general idea is that a ``key'' can be
766 attached to a section or a group of sections, and the linker
767 will include only one copy of a \addtoindex{section group}
768 (or individual section) for any given key. 
769 For 
770 \addtoindex{.debug\_types} sections, the
771 key is the \addtoindex{type signature}
772 formed from the algorithm given in
773 Section \refersec{datarep:typesignaturecomputation}.
774
775 \subsection{Signature Computation Example}
776 \label{app:signaturecomputationexample}
777
778 As an example, 
779 \addtoindexx{type signature!example computation}
780 consider a \addtoindex{C++} header file 
781 containing the type definitions shown
782 in Section \refersec{app:typesignatureexamplescsource}.
783
784 \subsubsection{ Type signature examples: C++ source}
785 \label{app:typesignatureexamplescsource}
786 \begin{lstlisting}
787 namespace N {
788
789  struct B;
790
791  struct C {
792      int x;
793      int y;
794  };
795
796  class A {
797    public:
798      A(int v);
799      int v();
800    private:
801      int v_;
802      struct A *next;
803      struct B *bp;
804      struct C c;
805  };
806
807  }
808 \end{lstlisting}
809
810 Next, consider one possible representation of the DWARF
811 information that describes the type “struct C” as shown
812 in 
813 \refersec{app:typesignaturecomputation1dwarfrepresentation}:
814
815 \subsubsection{Type signature  computation 1: DWARF representation}
816 \label{app:typesignaturecomputation1dwarfrepresentation}
817 % We keep the : (colon) away from the attribute so tokenizing in the python tools
818 % does not result in adding : into the attribute name.
819 \begin{alltt}
820   \livelink{chap:DWTAGtypeunit}{DW\-\_TAG\-\_type\-\_unit}
821       \livelink{chap:DWATlanguage}{DW\-\_AT\-\_language} : \livelink{chap:DWLANGCplusplus}{DW\-\_LANG\-\_C\-\_plus\-\_plus} (4)
822     \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace}
823         \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "N"
824 L1:
825       \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type}
826           \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "C"
827           \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} : 8
828           \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
829           \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 5
830         \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
831             \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "x"
832             \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
833             \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 6
834             \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L2
835             \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 0
836         \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
837             \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "y"
838             \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
839             \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 7
840             \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L2
841             \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 4
842 L2:
843      \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
844          \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} : 4
845          \livelink{chap:DWATencoding}{DW\-\_AT\-\_encoding} : \livelink{chap:DWATEsigned}{DW\-\_ATE\-\_signed}
846          \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "int"
847 \end{alltt}
848
849 In computing a signature for the type N::C, flatten the type
850 \addtoindexx{type signature}
851 description into a byte stream according to the procedure
852 outlined in 
853 Section \refersec{datarep:typesignaturecomputation}.
854 The result is shown in 
855 Section \refersec{app:typesignaturecomputation1flattenedbytestream}.
856
857 \subsubsection{Type signature  computation 1: flattened byte stream}
858 \label{app:typesignaturecomputation1flattenedbytestream}
859
860 \begin{alltt}
861 // Step 2: 'C' \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace} "N"
862 0x43 0x39 0x4e 0x00
863 // Step 3: 'D' \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type}
864 0x44 0x13
865 // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "C"
866 0x41 0x03 0x08 0x43 0x00
867 // Step 4: 'A' \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 8
868 0x41 0x0b 0x0d 0x08
869 // Step 7: First child ("x")
870     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
871     0x44 0x0d
872     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "x"
873     0x41 0x03 0x08 0x78 0x00
874     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 0
875     0x41 0x38 0x0d 0x00
876     // Step 6: 'T' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#2)
877     0x54 0x49
878         // Step 3: 'D' \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
879         0x44 0x24
880         // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "int"
881         0x41 0x03 0x08 0x69 0x6e 0x74 0x00
882         // Step 4: 'A' \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 4
883         0x41 0x0b 0x0d 0x04
884         // Step 4: 'A' \livelink{chap:DWATencoding}{DW\-\_AT\-\_encoding} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWATEsigned}{DW\-\_ATE\-\_signed}
885         0x41 0x3e 0x0d 0x05
886         // Step 7: End of \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type} "int"
887         0x00
888     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "x"
889     0x00
890 // Step 7: Second child ("y")
891     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
892     0x44 0x0d
893     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "y"
894     0x41 0x03 0x08 0x78 0x00
895     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 4
896     0x41 0x38 0x0d 0x04
897     // Step 6: 'R' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#2)
898     0x52 0x49 0x02
899     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "y"
900     0x00
901 // Step 7: End of \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type} "C"
902 0x00
903 \end{alltt}
904
905 Running an \addtoindex{MD5 hash} over this byte stream, and taking the
906 low\dash order 64 bits, yields the final signature: 
907 0xd28081e8 dcf5070a.
908
909 Next, consider a representation of the DWARF information that
910 describes the type ``class A'' as shown in 
911 Section \refersec{app:typesignaturecomputation2dwarfrepresentation}.
912
913
914 \subsubsection{Type signature  computation 2: DWARF representation}
915 \label{app:typesignaturecomputation2dwarfrepresentation}
916
917 \begin{alltt}
918   \livelink{chap:DWTAGtypeunit}{DW\-\_TAG\-\_type\-\_unit}
919       \livelink{chap:DWATlanguage}{DW\-\_AT\-\_language} : \livelink{chap:DWLANGCplusplus}{DW\-\_LANG\-\_C\-\_plus\-\_plus} (4)
920     \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace}
921           \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "N"
922 L1:
923         \livelink{chap:DWTAGclasstype}{DW\-\_TAG\-\_class\-\_type}
924              \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "A"
925              \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} : 20
926              \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
927              \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 10
928            \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
929                 \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "v\_"
930                 \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
931                 \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 15
932                 \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L2
933                 \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 0
934                 \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} : \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
935           \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
936                \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "next"
937                \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
938                \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 16
939                \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L3
940                \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 4
941                \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} : \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
942           \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
943                \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "bp"
944                \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
945                \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 17
946                \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L4
947                \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 8
948                \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} : \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
949           \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
950                \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "c"
951                \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
952                \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 18
953                \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : 0xd28081e8 dcf5070a (signature for struct C)
954                \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} : 12
955                \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} : \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
956        \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
957            \livelink{chap:DWATexternal}{DW\-\_AT\-\_external} : 1
958            \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "A"
959            \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
960            \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 12
961            \livelink{chap:DWATdeclaration}{DW\-\_AT\-\_declaration} : 1
962         \livelink{chap:DWTAGformalparameter}{DW\-\_TAG\-\_formal\-\_parameter}
963            \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L3
964            \livelink{chap:DWATartificial}{DW\-\_AT\-\_artificial} : 1
965         \livelink{chap:DWTAGformalparameter}{DW\-\_TAG\-\_formal\-\_parameter}
966            \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L2
967        \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
968            \livelink{chap:DWATexternal}{DW\-\_AT\-\_external} : 1
969            \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "v"
970            \livelink{chap:DWATdeclfile}{DW\-\_AT\-\_decl\-\_file} : 1
971            \livelink{chap:DWATdeclline}{DW\-\_AT\-\_decl\-\_line} : 13
972            \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L2
973            \livelink{chap:DWATdeclaration}{DW\-\_AT\-\_declaration} : 1
974          \livelink{chap:DWTAGformalparameter}{DW\-\_TAG\-\_formal\-\_parameter}
975            \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L3
976            \livelink{chap:DWATartificial}{DW\-\_AT\-\_artificial} : 1
977 L2:
978     \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
979          \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} : 4
980          \livelink{chap:DWATencoding}{DW\-\_AT\-\_encoding} : \livelink{chap:DWATEsigned}{DW\-\_ATE\-\_signed}
981          \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "int"
982 L3:
983     \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
984          \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L1
985 L4:
986     \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
987          \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : reference to L5
988     \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace}
989          \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "N"
990 L5:
991        \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type}
992            \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "B"
993            \livelink{chap:DWATdeclaration}{DW\-\_AT\-\_declaration} : 1
994 \end{alltt}
995
996 In this example, the structure types N::A and N::C have each
997 been placed in separate 
998 \addtoindexx{type unit}
999 type units.  For N::A, the actual
1000 definition of the type begins at label L1. The definition
1001 involves references to the int base type and to two pointer
1002 types. The information for each of these referenced types is
1003 also included in this \addtoindex{type unit}, 
1004 since base types and pointer
1005 types are trivial types that are not worth the overhead of a
1006 separate \addtoindex{type unit}. 
1007 The last pointer type contains a reference
1008 to an incomplete type N::B, which is also included here as
1009 a declaration, since the complete type is unknown and its
1010 signature is therefore unavailable. There is also a reference
1011 to N::C, using 
1012 \livelink{chap:DWFORMrefsig8}{DW\-\_FORM\-\_ref\-\_sig8} to 
1013 refer to the type signature
1014 \addtoindexx{type signature}
1015 for that type.
1016
1017 In computing a signature for the type N::A, flatten the type
1018 description into a byte stream according to the procedure
1019 outlined in 
1020 Section \refersec{datarep:typesignaturecomputation}.
1021 The result is shown in 
1022 Section \refersec{app:typesignatureexample2flattenedbytestream}.
1023
1024 \subsubsection{Type signature example 2: flattenedbytestream}
1025 \label{app:typesignatureexample2flattenedbytestream}
1026 % DWARF4 had a \livelink{chap:DWATnamespace}{DW_AT_namespace} below, 
1027 % but this error is fixed here to be \livelink{chap:DWTAGnamespace}{DW_TAG_namespace}.
1028 \begin{alltt}
1029 // Step 2: 'C' \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace} "N"
1030 0x43 0x39 0x4e 0x00
1031 // Step 3: 'D' \livelink{chap:DWTAGclasstype}{DW\-\_TAG\-\_class\-\_type}
1032 0x44 0x02
1033 // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "A"
1034 0x41 0x03 0x08 0x41 0x00
1035 // Step 4: 'A' \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 20
1036 0x41 0x0b 0x0d 0x14
1037 // Step 7: First child ("v\_")
1038     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1039     0x44 0x0d
1040     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "v\_"
1041     0x41 0x03 0x08 0x76 0x5f 0x00
1042     // Step 4: 'A' \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
1043     0x41 0x32 0x0d 0x03
1044     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 0
1045     0x41 0x38 0x0d 0x00
1046     // Step 6: 'T' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#2)
1047     0x54 0x49
1048         // Step 3: 'D' \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type}
1049         0x44 0x24
1050         // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "int"
1051         0x41 0x03 0x08 0x69 0x6e 0x74 0x00
1052         // Step 4: 'A' \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 4
1053         0x41 0x0b 0x0d 0x04
1054         // Step 4: 'A' \livelink{chap:DWATencoding}{DW\-\_AT\-\_encoding} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWATEsigned}{DW\-\_ATE\-\_signed}
1055         0x41 0x3e 0x0d 0x05
1056         // Step 7: End of \livelink{chap:DWTAGbasetype}{DW\-\_TAG\-\_base\-\_type} "int"
1057         0x00
1058     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "v\_"
1059     0x00
1060 // Step 7: Second child ("next")
1061     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1062     0x44 0x0d
1063     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "next"
1064     0x41 0x03 0x08 0x6e 0x65 0x78 0x74 0x00
1065     // Step 4: 'A' \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
1066     0x41 0x32 0x0d 0x03
1067     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 4
1068     0x41 0x38 0x0d 0x04
1069     // Step 6: 'T' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#3)
1070     0x54 0x49
1071         // Step 3: 'D' \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
1072         0x44 0x0f
1073         // Step 5: 'N' \livelink{chap:DWATtype}{DW\-\_AT\-\_type}
1074         0x4e 0x49
1075         // Step 5: 'C' \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace} "N" 'E'
1076         0x43 0x39 0x4e 0x00 0x45
1077         // Step 5: "A"
1078         0x41 0x00
1079         // Step 7: End of \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
1080         0x00
1081     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "next"
1082     0x00
1083 // Step 7: Third child ("bp")
1084     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1085     0x44 0x0d
1086     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "bp"
1087     0x41 0x03 0x08 0x62 0x70 0x00
1088     // Step 4: 'A' \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
1089     0x41 0x32 0x0d 0x03
1090     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 8
1091     0x41 0x38 0x0d 0x08
1092     // Step 6: 'T' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#4)
1093     0x54 0x49
1094         // Step 3: 'D' \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
1095 0x44 0x0f
1096         // Step 5: 'N' \livelink{chap:DWATtype}{DW\-\_AT\-\_type}
1097         0x4e 0x49
1098         // Step 5: 'C' \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace} "N" 'E'
1099         0x43 0x39 0x4e 0x00 0x45
1100         // Step 5: "B"
1101         0x42 0x00
1102         // Step 7: End of \livelink{chap:DWTAGpointertype}{DW\-\_TAG\-\_pointer\-\_type}
1103         0x00
1104     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "next"
1105     0x00
1106 // Step 7: Fourth child ("c")
1107     // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1108     0x44 0x0d
1109     // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "c"
1110     0x41 0x03 0x08 0x63 0x00
1111     // Step 4: 'A' \livelink{chap:DWATaccessibility}{DW\-\_AT\-\_accessibility} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \livelink{chap:DWACCESSprivate}{DW\-\_ACCESS\-\_private}
1112     0x41 0x32 0x0d 0x03
1113     // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 12
1114     0x41 0x38 0x0d 0x0c
1115     // Step 6: 'T' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#5)
1116     0x54 0x49
1117         // Step 2: 'C' \livelink{chap:DWTAGnamespace}{DW\-\_TAG\-\_namespace} "N"
1118         0x43 0x39 0x4e 0x00
1119         // Step 3: 'D' \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type}
1120         0x44 0x13
1121         // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "C"
1122         0x41 0x03 0x08 0x43 0x00
1123         // Step 4: 'A' \livelink{chap:DWATbytesize}{DW\-\_AT\-\_byte\-\_size} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 8
1124         0x41 0x0b 0x0d 0x08
1125         // Step 7: First child ("x")
1126             // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1127             0x44 0x0d
1128             // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "x"
1129             0x41 0x03 0x08 0x78 0x00
1130             // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 0
1131             0x41 0x38 0x0d 0x00
1132             // Step 6: 'R' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#2)
1133             0x52 0x49 0x02
1134             // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "x"
1135             0x00
1136         // Step 7: Second child ("y")
1137             // Step 3: 'D' \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member}
1138             0x44 0x0d
1139             // Step 4: 'A' \livelink{chap:DWATname}{DW\-\_AT\-\_name} \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} "y"
1140             0x41 0x03 0x08 0x79 0x00
1141             // Step 4: 'A' \livelink{chap:DWATdatamemberlocation}{DW\-\_AT\-\_data\-\_member\-\_location} \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} 4
1142             0x41 0x38 0x0d 0x04
1143             // Step 6: 'R' \livelink{chap:DWATtype}{DW\-\_AT\-\_type} (type \#2)
1144             0x52 0x49 0x02
1145             // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "y"
1146             0x00
1147         // Step 7: End of \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type} "C"
1148         0x00
1149     // Step 7: End of \livelink{chap:DWTAGmember}{DW\-\_TAG\-\_member} "c"
1150     0x00
1151 // Step 7: Fifth child ("A")
1152     // Step 3: 'S' \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram} "A"
1153     0x53 0x2e 0x41 0x00
1154 // Step 7: Sixth child ("v")
1155     // Step 3: 'S' \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram} "v"
1156     0x53 0x2e 0x76 0x00
1157 // Step 7: End of \livelink{chap:DWTAGstructuretype}{DW\-\_TAG\-\_structure\-\_type} "A"
1158 0x00
1159 \end{alltt}
1160
1161 Running an \addtoindex{MD5 hash} over this byte stream, and taking the
1162 low-order 64 bits, yields the final signature: 0xd6d160f5
1163 5589f6e9.
1164
1165
1166 A source file that includes this header file may declare a
1167 variable of type N::A, and its DWARF information may look
1168 that shown in 
1169 Section \refersec{app:typesignatureexampleusage}.
1170
1171
1172 \subsubsection{Type signature example usage}
1173 \label{app:typesignatureexampleusage}
1174
1175 \begin{alltt}
1176   \livelink{chap:DWTAGcompileunit}{DW\-\_TAG\-\_compile\-\_unit}
1177   ...
1178   \livelink{chap:DWTAGsubprogram}{DW\-\_TAG\-\_subprogram}
1179     ...
1180     \livelink{chap:DWTAGvariable}{DW\-\_TAG\-\_variable}
1181       \livelink{chap:DWATname}{DW\-\_AT\-\_name} : "a"
1182       \livelink{chap:DWATtype}{DW\-\_AT\-\_type} : (signature) 0xd6d160f5 5589f6e9
1183       \livelink{chap:DWATlocation}{DW\-\_AT\-\_location} : ...
1184     ...
1185 \end{alltt}
1186
1187 \subsection{Type Signature Computation Grammar}
1188 \label{app:typesignaturecomputationgrammar}
1189
1190 This section
1191 \addtoindexx{type signature!computation grammar}
1192 presents a semi-formal grammar that may aid in understanding
1193 how the bytes of the flattened type description are formed
1194 during the type signature computation algorithm of Section
1195 Section \refersec{datarep:typesignaturecomputation}. 
1196
1197 %FIXME: The index entries here with \addtoindexx are ineffective.
1198 \begin{alltt}
1199 signature
1200     : opt-context debug-entry attributes children
1201
1202 opt-context           // Step 2
1203     : 'C' tag-code string opt-context
1204     : empty
1205
1206 debug-entry           // Step 3
1207     : 'D' tag-code
1208
1209 attributes            // Steps 4, 5, 6
1210     : attribute attributes
1211     : empty
1212
1213 attribute
1214     : 'A' at-code form-encoded-value     // Normal attributes
1215     : 'N' at-code opt-context 'E' string // Reference to type
1216                                          // by name
1217     : 'R' at-code back-ref               // Back-reference 
1218                                          // to visited type
1219     : 'T' at-code signature              // Recursive type
1220 children             //  Step 7
1221     : child children
1222     : '\\0'
1223
1224 child
1225     : 'S' tag-code string
1226     : signature
1227 tag-code
1228     : <ULEB128>
1229 at-code
1230     : <ULEB128>
1231 form-encoded-value
1232     : \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} value \addtoindexx{constant class}
1233     : \livelink{chap:DWFORMflag}{DW\-\_FORM\-\_flag} value \addtoindexx{flag class}
1234     : \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} string \addtoindexx{string class}
1235     : \livelink{chap:DWFORMblock}{DW\-\_FORM\-\_block} \nolink{block} \addtoindexx{block class}
1236 \livelink{chap:DWFORMstring}{DW\-\_FORM\-\_string} \addtoindexx{string class}
1237     : '\\x08'
1238 \livelink{chap:DWFORMblock}{DW\-\_FORM\-\_block}  \addtoindexx{block class}
1239     : '\\x09'
1240 \livelink{chap:DWFORMflag}{DW\-\_FORM\-\_flag} \addtoindexx{flag class}
1241     : '\\x0c'
1242 \livelink{chap:DWFORMsdata}{DW\-\_FORM\-\_sdata} \addtoindexx{constant class}
1243     : '\\x0d'
1244 value
1245     : <SLEB128>
1246 \nolink{block}
1247     : <ULEB128> <fixed-length-block>
1248                       // The ULEB128 gives the length of the \nolink{block}
1249 back-ref
1250     : <ULEB128>
1251 string
1252     : <null-terminated-string>
1253 empty
1254     :
1255 \end{alltt}
1256
1257
1258 \section{Summary of Compression Techniques}
1259 \label{app:summaryofcompressiontechniques}
1260 \subsection{\#include compression}
1261 \label{app:includecompression}
1262
1263 \addtoindex{C++} has a much greater 
1264 problem than 
1265 \addtoindex{C} with the number and
1266 size of the headers included and the amount of data in each,
1267 but even with \addtoindex{C} 
1268 there is substantial header file information
1269 duplication.
1270
1271 A reasonable approach is to put each header file in its own
1272 \addtoindex{section group}, using the naming rules mentioned above. The
1273 section groups are marked to ensure duplicate removal.
1274
1275 All data instances and code instances (even if they came
1276 from the header files above) are put 
1277 \addtoindexx{section group}
1278 into non-section group
1279 sections such as the base object file 
1280 \addtoindex{.debug\_info} section.
1281
1282 \subsection{Eliminating function duplication}
1283 \label{app:eliminatingfunctionduplication}
1284
1285
1286 Function templates (C++) result in code for the same template
1287 instantiation being compiled into multiple archives or
1288 relocatable objects. The linker wants to keep only one of a
1289 given entity. The DWARF description, and everything else for
1290 this function, should be reduced to just a single copy.
1291
1292 For each such code group (function template in this example)
1293 the compiler assigns a name for the group which will match
1294 all other instantiations of this function but match nothing
1295 else. 
1296 The 
1297 \addtoindexx{section group}
1298 section groups are marked to ensure duplicate
1299 removal, so that the second and subsequent definitions seen
1300 by the static linker are simply discarded.
1301
1302
1303 References to other 
1304 \addtoindex{.debug\_info} sections follow the approach
1305 suggested above, but the naming rule might be slightly
1306 different in that the 
1307 \begin{alltt}
1308 <file-designator> 
1309 \end{alltt}
1310 should be interpreted
1311 as a 
1312 \begin{alltt}
1313 <function-designator>.
1314 \end{alltt}
1315
1316
1317
1318 \subsection{Single-function-per-DWARF-compilation-unit}
1319 \label{app:singlefunctionperdwarfcompilationunit}
1320
1321 Section groups can help make it easy for a linker to completely
1322 remove unused functions.
1323
1324 Such 
1325 \addtoindexx{section group}
1326 section groups are not marked for duplicate removal,
1327 since the functions are not duplicates of anything.
1328
1329 Each function is given a compilation unit and a section
1330 group. Each such compilation unit is complete, with its own
1331 text, data, and DWARF sections.
1332
1333 There will also be a compilation unit that has the file\dash level
1334 declarations and definitions. Other per\dash function compilation
1335 unit DWARF information (
1336 \addtoindex{.debug\_info}) points to this common
1337 file\dash level compilation unit using \livelink{chap:DWTAGimportedunit}{DW\-\_TAG\-\_imported\-\_unit}.
1338
1339 Section groups can use \livelink{chap:DWFORMrefaddr}{DW\-\_FORM\-\_ref\-\_addr} and internal labels
1340 (section\dash relative relocations) to refer to the main object
1341 file sections, as the 
1342 \addtoindexx{section group}
1343 section groups here are either deleted
1344 as unused or kept. There is no possibility (aside from error)
1345 of a group from some other compilation being used in place
1346 of one of these groups.
1347
1348
1349 \subsection{Inlining and out-of-line-instances}
1350 \label{app:inliningandoutoflineinstances}
1351
1352 Abstract instances
1353 \addtoindexx{abstract instance}
1354 \addtoindexx{concrete out-of-line instance}
1355 and concrete-out-of-line instances may be
1356 put in distinct compilation units using 
1357 \addtoindexx{section group}
1358 section groups. 
1359 This
1360 makes possible some useful duplicate DWARF elimination.
1361
1362 \textit{No special provision for eliminating class duplication
1363 resulting from template instantiation is made here, though
1364 nothing prevents eliminating such duplicates using section
1365 groups.}
1366
1367
1368 \subsection{Separate Type Units}
1369 \label{app:separatetypeunits}
1370
1371 Each complete declaration of a globally-visible type can be
1372 \addtoindexx{type unit}
1373 placed in its own separate type section, with a group key
1374 derived from the type signature. The linker can then remove
1375 all duplicate type declarations based on the key.
1376