Incorporate changes as of the May 17 meeting. The corresponding
[dwarf-doc.git] / dwarf5 / latexdoc / introduction.tex
1 \chapter{Introduction}
2 \label{chap:introduction}
3 \pagenumbering{arabic}
4 This document defines a format for describing programs to
5 facilitate user source level debugging. This description
6 can be generated by compilers, assemblers and linkage
7 editors. It can be used by debuggers and other tools. 
8 The debugging information format does not favor the design of any
9 compiler or debugger. 
10 Instead, the goal is to create a method
11 of communicating an accurate picture of the source program
12 to any debugger in a form that is extensible to different
13 languages while retaining compatibility.
14   
15 The design of the
16 debugging information format is open-ended, allowing for
17 the addition of new debugging information to accommodate new
18 languages or debugger capabilities while remaining compatible
19 with other languages or different debuggers.
20
21 \section{Purpose and Scope}
22 The debugging information format described in this document is
23 designed to meet the symbolic, source-level debugging needs of
24 different languages in a unified fashion by requiring language
25 independent debugging information whenever possible.  
26 Aspects
27 of individual languages, such as \addtoindex{C++} virtual functions or
28 \addtoindex{Fortran} common 
29 \nolink{blocks}, are accommodated by creating attributes
30 that are used only for those languages. 
31 This document is
32 believed to cover most debugging information needs of 
33 \addtoindex{Ada},
34 \addtoindex{C}, \addtoindex{C++}, \addtoindex{COBOL}, 
35 and \addtoindex{Fortran}; it also covers the basic needs
36 of various other languages.
37
38 This document describes \DWARFVersionV,
39 the fifth generation
40 of debugging information based on the DWARF format. 
41 \DWARFVersionV{} extends \DWARFVersionIV{}
42 in a compatible manner.
43
44 The intended audience for this document is the developers
45 of both producers and consumers of debugging information,
46 typically compilers, debuggers and other tools that need to
47 interpret a binary program in terms of its original source.
48
49
50 \section{Overview}
51
52 There are two major pieces to the description of the DWARF
53 format in this document. The first piece is the informational
54 content of the debugging entries. The second piece is the
55 way the debugging information is encoded and represented in
56 an object file.
57
58 The informational content is described in Chapters
59 \ref{chap:generaldescription} through
60 \ref{chap:otherdebugginginformation}. Chapter 
61 \ref{chap:generaldescription}
62 describes the overall structure of the information
63 and attributes that are common to many or all of the different
64 debugging information entries. Chapters
65 \ref{chap:programscopeentries}, 
66 \ref{chap:dataobjectandobjectlistentries} and 
67 \ref{chap:typeentries} describe
68 the specific debugging information entries and how they
69 communicate the necessary information about the source program
70 to a debugger. Chapter \ref{chap:otherdebugginginformation} 
71 describes debugging information
72 contained outside of the debugging information entries. The
73 encoding of the DWARF information is presented in Chapter
74 \ref{datarep:datarepresentation}.
75
76 This organization closely follows that used in the 
77 \DWARFVersionIV{} document. Except where needed to incorporate
78 new material or to correct errors, the \DWARFVersionIV{}
79 text is generally reused in this document with little or
80 no modification.
81
82 In the following sections, text in normal font describes
83 required aspects of the DWARF format.  Text in \textit{italics} is
84 explanatory or supplementary material, and not part of the
85 format definition itself. The several appendices consist only
86 of explanatory or supplementary material, and are not part
87 of the formal definition.
88
89 \section{Objectives and Rationale}
90
91 DWARF has had a set of objectives since its inception which have 
92 guided the design and evolution of the debugging format.  A discussion 
93 of these objectives and the rationale behind them may help with an 
94 understanding of the DWARF Debugging Format. 
95
96 Although DWARF Version 1 was developed in the late 1980's as a 
97 format to support debugging C programs written for AT\&T hardware 
98 running SVR4, \DWARFVersionII{} and later has evolved far beyond 
99 this origin. One difference between DWARF and other formats 
100 is that the latter are often specific to a particular language, 
101 architecture, and/or operating system. 
102
103 \subsection{Language Independence}
104 DWARF is applicable to a broad range of existing procedural 
105 languages and is designed to be extensible to future languages.  
106 These languages may be considered to be "C-like" but the 
107 characteristics of C are not incorporated into DWARF Version 2 
108 and later, unlike DWARF Version 1 and other debugging formats.  
109 DWARF abstracts concepts as much as possible so that the 
110 description can be used to describe a program in any language. 
111 As an example, the DWARF descriptions used to describe C functions, 
112 Pascal subroutines, and Fortran subprograms are all the same, 
113 with different attributes used to specify the differences between 
114 these similar programming language features. 
115
116 On occasion, there is a feature which is specific to one 
117 particular language and which doesn't appear to have more 
118 general application.  For these, DWARF has a description 
119 designed to meet the language requirements, although, to the 
120 extent possible, an effort is made to generalize the attribute. 
121 An example of this is the \DWTAGconditionNAME{} 
122 debugging information entry, 
123 used to describe \addtoindex{COBOL} level 88 conditions, which 
124 is described in abstract terms rather than COBOL-specific terms.  
125 Conceivably, this TAG might be used with a different language 
126 which had similar functionality. 
127
128 \subsection{Architecture Independence}
129 DWARF can be used with a wide range of processor architectures, 
130 whether byte or word oriented, linear or segmented, with any 
131 word or byte size.  DWARF can be used with Von Neumann architectures, 
132 using a single address space for both code and data; Harvard 
133 architectures, with separate code and data address spaces; and 
134 potentially for other architectures such as DSPs with their 
135 idiosyncratic memory organizations.  DWARF can be used with 
136 common register-oriented architectures or with stack architectures. 
137
138 DWARF assumes that memory has individual units (words or bytes) 
139 which have unique addresses which are ordered.  (Some architectures 
140 like the i386 can represent the same physical machine location with 
141 different segment and offset pairs.  Identifying aliases is an 
142 implementation issue.)
143
144 \needlines{6}
145 \subsection{Operating System Independence}
146 DWARF is widely associated with SVR4 Unix and similar operating 
147 systems like BSD and Linux.  DWARF fits well with the section 
148 organization of the ELF object file format. Nonetheless, DWARF 
149 attempts to be independent of either the OS or the object file 
150 format.  There have been implementations of DWARF debugging 
151 data in COFF, Mach-O and other object file formats. 
152
153 DWARF assumes that any object file format will be able to 
154 distinguish the various DWARF data sections in some fashion, 
155 preferably by name. 
156
157 DWARF makes a few assumptions about functionality provided by 
158 the underlying operating system.  DWARF data sections can be 
159 read sequentially and independently.
160 Each DWARF data section is a sequence of 8-bit bytes, 
161 numbered starting with zero.  The presence of offsets from one 
162 DWARF data section into other data sections does not imply that 
163 the underlying OS must be able to position files randomly; a 
164 data section could be read sequentially and indexed using the offset. 
165
166 \subsection{Compact Data Representation} 
167 The DWARF description is designed to be a compact file-oriented 
168 representation. 
169
170 There are several encodings which achieve this goal, such as the 
171 TAG and attribute abbreviations or the line number encoding.  
172 References from one section to another, especially to refer to 
173 strings, allow these sections to be compacted to eliminate 
174 duplicate data. 
175
176 There are multiple schemes for eliminating duplicate data or 
177 reducing the size of the DWARF debug data associated with a 
178 given file.  These include COMDAT, used to eliminate duplicate 
179 function or data definitions, the split DWARF object files 
180 which allow a consumer to find DWARF data in files other than 
181 the executable, or the type units, which allow similar type 
182 definitions from multiple compilations to be combined. 
183
184 In most cases, it is anticipated that DWARF 
185 debug data will be read by a consumer (usually a debugger) and 
186 converted into a more efficiently accessed internal representation.  
187 For the most part, the DWARF data in a section is not the same as 
188 this internal representation.
189
190 \needlines{4}
191 \subsection{Efficient Processing} 
192 DWARF is designed to be processed efficiently, so that a 
193 producer (a compiler) can generate the debug descriptions 
194 incrementally and a consumer can read only the descriptions 
195 which it needs at a given time. The data formats are designed 
196 to be efficiently interpreted by a consumer.
197
198 As mentioned, there is a tension between this objective and 
199 the preceding one.  A DWARF data representation which resembles 
200 an internal data representation may lead to faster processing, 
201 but at the expense of larger data files. This may also constrain 
202 the possible implementations.
203
204 \subsection{Implementation Independence}
205 DWARF attempts to allow developers the greatest flexibility 
206 in designing implementations, without mandating any particular 
207 design decisions. Issues which can be described as 
208 quality-of-implementation are avoided.
209
210 \subsection{Explicit Rather Than Implicit Description}
211 DWARF describes the source to object translation explicitly 
212 rather than using common practice or convention as an implicit 
213 understanding between producer and consumer.  For example, where 
214 other debugging formats assume that a debugger knows how to 
215 \bb
216 virtually 
217 \eb
218 unwind the stack, moving from one stack frame to the next using 
219 implicit knowledge about the architecture or operating system, 
220 DWARF makes this explicit in the Call Frame Information description.
221
222 \subsection{Avoid Duplication of Information}
223 DWARF has a goal of describing characteristics of a program once, 
224 rather than repeating the same information multiple times.  The 
225 string sections can be compacted to eliminate duplicate strings, 
226 for example.  Other compaction schemes or references between 
227 sections support this. Whether a particular implementation is 
228 effective at eliminating duplicate data, or even attempts to, 
229 is a quality-of-implementation issue.  
230
231 \subsection{Leverage Other Standards}
232 Where another standard exists which describes how to interpret 
233 aspects of a program, DWARF defers to that standard rather than 
234 attempting to duplicate the description.  For example, C++ has 
235 specific rules for deciding which function to call depending 
236 name, scope, argument types, and other factors.  DWARF describes 
237 the functions and arguments, but doesn't attempt to describe 
238 how one would be selected by a consumer performing any particular 
239 operation.
240
241 \subsection{Limited Dependence on Tools}
242 DWARF data is designed so that it can be processed by commonly 
243 available assemblers, linkers, and other support programs, 
244 without requiring additional functionality specifically to 
245 support DWARF data.  This may require the implementer to be 
246 careful that they do not generate DWARF data which cannot be 
247 processed by these programs.  Conversely, an assembler which 
248 can generate LEB128 (Little-Endian Base 128) 
249 values may allow the compiler to generate 
250 more compact descriptions, and a linker which understands the 
251 format of string sections can merge these sections.  Whether 
252 or not an implementation includes these functions is a 
253 quality-of-implementation issue, not mandated by the DWARF 
254 specification.
255
256 \subsection{Separate Description From Implementation}
257 DWARF intends to describe the translation of a program from 
258 source to object, while neither mandating any particular design 
259 nor making any other design difficult.  For example, DWARF 
260 describes how the arguments and local variables in a function 
261 are to be described, but doesn't specify how this data is 
262 collected or organized by a producer.  Where a particular DWARF 
263 feature anticipates that it will be implemented in a certain 
264 fashion, informative text will suggest but not require this design.
265
266 \subsection{Permissive Rather Than Prescriptive}
267 \bb
268 The DWARF Standard specifies the meaning of DWARF descriptions. It does not
269 specify in detail what a particular producer should generate for any source to
270 object conversion.  One producer may generate a more complete description
271 than another, it may describe features in a different order (unless the 
272 standard explicitly requires a particular order), or it may use
273 different abbreviations or compression methods.  Similarly, DWARF does not
274 specify exactly what a particular consumer should do with each part of the
275 description, although we believe that the potential uses for each description
276 should be evident.
277
278 DWARF is permissive, allowing different producers to generate different
279 descriptions for the same source to object conversion, and permitting
280 different consumers to provide more or less functionality or information
281 to the user.  This may result in debugging information being larger or
282 smaller, compilers or debuggers which are faster or slower, and more or
283 less functional.  These are described as differences in "Quality of
284 Implementation".
285
286 Each producer conforming to the DWARF standard must follow the format and
287 meaning as specified in the standard.  As long as the DWARF description
288 generated follows this specification, the producer is generating valid DWARF.
289 For example, DWARF allows a producer to identify the end of a function
290 prologue in the Line Information so that a debugger can stop at this location.
291 A producer which does this is generating valid DWARF, as is another which
292 doesn't.  As another example, one producer may generate descriptions
293 for variables which are moved from memory to a register in a certain range,
294 while another may only describe the variable's location in memory.  Both are
295 valid DWARF descriptions, while a consumer using the former would be able
296 to provide more accurate values for the variable while executing in that
297 range than a consumer using the latter.
298 \eb
299
300 \subsection{Vendor Extensibility}
301 This document does not attempt to cover all interesting
302 languages or even to cover all of the possible debugging
303 information needs for its primary target languages. 
304 Therefore,
305 the document provides vendors a way to define their own
306 debugging information tags, attributes, base type encodings,
307 location operations, language names, calling conventions and
308 call frame instructions by reserving a subset of the valid
309 values for these constructs for vendor specific additions
310 and defining related naming conventions. 
311 Vendors may also use
312 debugging information entries and attributes defined here in
313 new situations. 
314 Future versions of this document will not use
315 names or values reserved for vendor specific additions. 
316 All names and values not reserved for vendor additions, however,
317 are reserved for future versions of this document.
318
319 Where this specification provides a means for
320 describing the source language, implementors are expected
321 to adhere to that specification. 
322 For language features that
323 are not supported, implementors may use existing attributes
324 in novel ways or add vendor-defined attributes. 
325 Implementors
326 who make extensions are strongly encouraged to design them
327 to be compatible with this specification in the absence of
328 those extensions.
329
330 The DWARF format is organized so that a consumer can skip over
331 data which it does not recognize. This may allow a consumer
332 to read and process files generated according to a later
333 version of this standard or which contain vendor extensions,
334 albeit possibly in a degraded manner.
335
336 \section{Changes From Version 4 to Version 5}
337 \addtoindexx{DWARF Version 5}
338 The following is a list of the major changes made to the 
339 DWARF Debugging Information Format since Version 4 was published. 
340 The list is not meant to be exhaustive.
341 \begin{itemize}
342 \item The \dotdebugtypes{}
343 %\addtoindexi{\texttt{.debug\_types}}{\texttt{.debug\_types} (Version 4)}
344 section introduced in \DWARFVersionIV{} 
345 is eliminated and its contents instead contained in \dotdebuginfo{} sections.
346 \item Add support for collecting common DWARF information 
347 (debugging information entries and macro definitions)
348 across multiple executable and shared files and keeping it in a single
349 \addtoindex{supplementary object file}.
350 \needlines{6}
351 \item A new line number program header format 
352 provides the ability to use an MD5 hash to validate 
353 the source file version in use, allows pooling 
354 of directory and file name strings and makes provision for vendor-defined
355 extensions. It also adds a string section specific to the line number table 
356 (\dotdebuglinestr)
357 to properly support the common practice of stripping all DWARF sections
358 except for line number information.
359 \needlines{4}
360 \item Add a split object file and package representations to allow most 
361 DWARF information to be kept separate from an executable 
362 or shared image. This includes new sections 
363 \dotdebugaddr, \dotdebugstroffsets, \dotdebugabbrevdwo, \dotdebuginfodwo, 
364 \dotdebuglinedwo, \dotdebuglocdwo, \dotdebugmacrodwo, \dotdebugstrdwo,
365 \dotdebugstroffsetsdwo, \dotdebugcuindex{} and \dotdebugtuindex{} 
366 together with new forms of attribute value for referencing these sections.
367 This enhances DWARF support by reducing executable program size and
368 by improving link times.
369 \item Replace the \dotdebugmacinfo{} macro information representation with
370 with a \dotdebugmacro{} representation that can potentially be much more compact.
371
372 \item Replace the \dotdebugpubnames{} and \dotdebugpubtypes{} sections
373 with a single and more functional name index section, \dotdebugnames{}.
374 \item Add a new debugging information entry (\DWTAGcallsiteNAME), related 
375 attributes and DWARF expression operators to describe call site information, 
376 including identification of tail calls and tail recursion.
377 \item Add improved support for \addtoindex{FORTRAN} assumed rank arrays 
378 (\DWTAGgenericsubrangeNAME), dynamic rank arrays (\DWATrankNAME)
379 and co-arrays (\DWTAGcoarraytypeNAME{}).
380 \item Add new operations that allow support for 
381 a DWARF expression stack containing typed values.
382 \item Add improved support for the \addtoindex{C++}:
383 \texttt{auto} return type, deleted member functions (\DWATdeletedNAME), 
384 as well as defaulted constructors and destructors (\DWATdefaultedNAME).
385 \item Add a new attribute (\DWATnoreturnNAME{}), to identify 
386 a subprogram that does not return to its caller.
387 \item Add language codes for C 2011, C++ 2003, C++ 2011, C++ 2014,
388 Dylan, Fortran 2003, Fortran 2008, Go, Haskell, 
389 Julia, Modula 3, Ocaml, OpenCL, Rust and Swift.
390 \item Numerous other more minor additions to improve functionality
391 and performance.
392 \end{itemize}
393
394 DWARF Version 5 is compatible with DWARF Version 4 except as follows:
395 \begin{itemize}
396 \item The compilation unit header (in the \dotdebuginfo{} section) has
397 a new \HFNunittype{} field.
398 \needlines{4}
399 \item New operand forms for attribute values are defined 
400 (\DWFORMaddrxNAME, \DWFORMdatasixteenNAME, \DWFORMimplicitconstNAME, 
401 \DWFORMlinestrpNAME, 
402 \DWFORMrefsupNAME, \DWFORMstrpsupNAME{} and \DWFORMstrxNAME).
403
404 \textit{Because a pre-DWARF Version 5 consumer will not be able to interpret 
405 these even to ignore and skip over them, new forms must be 
406 considered incompatible additions.}
407 \item The line number table header is substantially revised.
408 \needlines{4}
409 \item A location list entry 
410 with the address range \mbox{(0, \textit{maximum-address})} is defined 
411 as the new default location list entry.
412 \item In a string type, the \DWATbytesizeNAME{} attribute is re-defined 
413 to always describe the size of the string type. 
414 (Previously it described the size of the optional string length data 
415 field if the \DWATstringlengthNAME{} attribute was also present.)
416 \end{itemize}
417
418 While not strictly an incompatibility, the macro information 
419 representation is completely new; further, producers 
420 and consumers may optionally continue to support the older 
421 representation. While the two representations cannot both be 
422 used in the same compilation unit, they can co-exist in 
423 executable or shared images.
424
425 Similar comments apply to replacement of the \dotdebugpubnames{} 
426 and \dotdebugpubtypes{} sections with the new \dotdebugnames{} 
427 section.
428
429 \needlines{4}
430 \section{Changes from Version 3 to Version 4}
431 \addtoindexx{DWARF Version 4}
432 The following is a list of the major changes made to the 
433 DWARF Debugging Information Format since Version 3 was 
434 published. The list is not meant to be exhaustive.
435 \begin{itemize}
436 \item Reformulate 
437 Section 2.6 (Location Descriptions) 
438 to better distinguish DWARF location descriptions, which
439 compute the location where a value is found (such as an 
440 address in memory or a register name) from DWARF expressions, 
441 which compute a final value (such as an array bound).
442 \item Add support for bundled instructions on machine architectures 
443 where instructions do not occupy a whole number of bytes.
444 \item Add a new attribute form for section offsets, 
445 \DWFORMsecoffsetNAME,\addtoindexx{section offset}
446 to replace the use of 
447 \DWFORMdatafourNAME{} and \DWFORMdataeightNAME{} for section offsets.
448 \item Add an attribute, \DWATmainsubprogramNAME, to identify the main subprogram of a
449 program.
450 \item Define default array lower bound values for each supported language.
451 \item Add a new technique using separate type units, type signatures and \COMDAT{} sections to
452 improve compression and duplicate elimination of DWARF information.
453 \item Add support for new \addtoindex{C++} language constructs, including rvalue references, generalized
454 constant expressions, Unicode character types and template aliases.
455 \item Clarify and generalize support for packed arrays and structures.
456 \item Add new line number table support to facilitate profile based compiler optimization.
457 \item Add additional support for template parameters in instantiations.
458 \item Add support for strongly typed enumerations in languages (such as \addtoindex{C++}) that have two
459 kinds of enumeration declarations.
460 \end{itemize}
461 \addtoindex{DWARF Version 4} is compatible with 
462 \addtoindex{DWARF Version 3} except as follows:
463 \begin{itemize}
464 \item DWARF attributes that use any of the new forms of attribute value representation (for
465 section offsets, flag compression, type signature references, and so on) cannot be read by
466 \addtoindex{DWARF Version 3}
467 consumers because the consumer will not know how to skip over the
468 unexpected form of data.
469 \item DWARF frame and line number table sections include additional fields that affect the location
470 and interpretation of other data in the section.
471 \end{itemize}
472
473 \section{Changes from Version 2 to Version 3}
474 \addtoindexx{DWARF Version 3}
475 The following is a list of the major differences between
476 Version 2 and Version 3 of the DWARF Debugging Information
477 Format. The list is not meant to be exhaustive.
478 \begin{itemize}
479 \item
480 Make provision for DWARF information files that are larger
481 than 4 GBytes.
482 \item
483 Allow attributes to refer to debugging information entries
484 in other shared libraries.
485 \item
486 Add support for \addtoindex{Fortran 90} modules as well as allocatable
487 array and pointer types.
488 \item
489 Add additional base types for \addtoindex{C} (as revised for 1999).
490 \item
491 Add support for \addtoindex{Java} and \addtoindex{COBOL}.
492 \item
493 Add namespace support for \addtoindex{C++}.
494 \item
495 Add an optional section for global type names (similar to
496 the global section for objects and functions).
497 \item
498 Adopt \addtoindex{UTF-8} as the preferred representation of program name strings.
499 \item
500 Add improved support for optimized code (discontiguous
501 scopes, end of prologue determination, multiple section
502 code generation).  
503 \item Improve the ability to eliminate
504 duplicate DWARF information during linking.  
505 \end{itemize}
506
507 \addtoindex{DWARF Version 3}
508 is compatible with 
509 \addtoindex{DWARF Version 2} except as follows:
510 \begin{itemize}
511 \item
512 Certain very large values of the initial length fields that
513 begin DWARF sections as well as certain structures are reserved
514 to act as escape codes for future extension; one such extension
515 is defined to increase the possible size of DWARF descriptions
516 (see Section \refersec{datarep:32bitand64bitdwarfformats}).
517 \item
518 References that use the attribute form 
519 \DWFORMrefaddrNAME{}
520 are specified to be four bytes in the DWARF 32-bit format and
521 eight bytes in the DWARF 64-bit format, while 
522 \addtoindex{DWARF Version 2} 
523 specifies that such references have the same size as an
524 address on the target system (see Sections 
525 \refersec{datarep:32bitand64bitdwarfformats} and 
526 \refersec{datarep:attributeencodings}).
527 \item
528 The return\_address\_register field in a Common Information
529 Entry record for call frame information is changed to unsigned
530 LEB representation (see Section 
531 \refersec{chap:structureofcallframeinformation}).
532 \end{itemize}
533
534 \section{Changes from Version 1 to Version 2}
535 \addtoindex{DWARF Version 2} 
536 describes the second generation of debugging
537 information based on the DWARF format. While 
538 \addtoindex{DWARF Version 2}
539 provides new debugging information not available in
540 Version 1, the primary focus of the changes for Version
541 2 is the representation of the information, rather than
542 the information content itself. The basic structure of
543 the Version 2 format remains as in Version 1: the debugging
544 information is represented as a series of debugging information
545 entries, each containing one or more attributes (name/value
546 pairs). The Version 2 representation, however, is much more
547 compact than the Version 1 representation. In some cases,
548 this greater density has been achieved at the expense of
549 additional complexity or greater difficulty in producing and
550 processing the DWARF information. The definers believe that the
551 reduction in I/O and in memory paging should more than make
552 up for any increase in processing time.  
553
554 \needlines{5}
555 The representation
556 of information changed from Version 1 to Version 2, so that
557 Version 2 DWARF information is not binary compatible with
558 Version 1 information. To make it easier for consumers to
559 support both Version 1 and Version 2 DWARF information, the
560 Version 2 information has been moved to a different object
561 file section, \dotdebuginfo{}.  
562
563 \textit{
564 A summary of the major changes made in 
565 \addtoindex{DWARF Version 2}
566 compared to the DWARF Version 1 may be found in the 
567 \addtoindex{DWARF Version 2}
568 document.
569 }
570