=============================================================== Inside world of Dalvik Executable Format v0.1 =============================================================== Author : bunseokbot@S.S.G. Contacts : http://blog.smishing.kr, admin@smishing.kr [위 문서는 S.S.G 프로젝트인 DEX Disassembler 개발 과정에서 작성 된 DEX 파일 내부 구조에 관한 문서입니다.] =============================================================== 0x01. What is Dalvik? What is DEX File? =============================================================== Dalvik Virtual Machine (달빅 가상 머신) 달빅 가상 머신이란 "레지스터 형태"의 임베디드 플랫폼에 최적화된 가상 머신이다. 상대적으로 적은 메모리에서도 돌아갈 수 있다. - Process isolation, Memory Management, Threading과 같은 경우에 운영체제에 의존하는 형태이지만 여러개의 Dalvik VM Instance 가 동시에 돌아갈 수 있는 것이 주요 특징이다. 이 때, VM에서 읽어들이고 해석할 수 있는 파일이 DEX 파일이다. DVM과 같은 경우에는 JVM과 달리 Java Bytecode를 사용하지 않고, JVM처럼 스택 기반이 아닌 레지스터를 기반으로 하고 있다. (현재 Android 5.0에서는 ART를 차용해서 사용하고 있다.) DEX 파일과 같은 경우에는 아래 구조와 같이 APK 파일 내 최상위 디렉토리에 저장되어 있다. ----------------------------- bunseokbot.apk ----------------------------- - META-INF - assets - lib - res - AndroidManifest.xml - resources.arsc - classes.dex (*) ----------------------------- =============================================================== 0x02. Difference between JAR and DEX. =============================================================== 흔히 DEX 파일을 분석하려고 하면 dex2jar를 떠올리기 쉽다. 이 때문에 DEX파일과 JAR파일과 같다고 오해하는 사람들이 많은데 JAR 파일과 DEX 파일은 엄연히 다른 파일이다. 일단 JAR 파일 같은 경우에는 아래 구조를 띄고 있다. ----------------------------- bunseokbot.jar ----------------------------- - bunseokbot.class ---------------------- | Header | ---------------------- | Constant Pool | ---------------------- | Class | ---------------------- | Field | ---------------------- | method | ---------------------- | Attribute | ---------------------- ... classes ----------------------------- 위에서도 볼 수 있듯이 각 class 마다 각각의 파일 구조를 JAR 파일 내부에 가지고 있는 것을 알 수 있다. 또한 JAR 파일의 매직 바이트 를 보게 되면 "504b 0304" 인 것을 통해 class 파일들을 압축한 구조 임을 알 수 있다. 그러나 아래의 DEX 파일을 보면 ----------------------------- bunseokbot.dex ----------------------------- - Header ----------------------------- - string_ids ----------------------------- - type_ids ----------------------------- - proto_ids ----------------------------- - fields ----------------------------- - methods ----------------------------- - classes ----------------------------- - Data ----------------------------- 이렇게 JAR 파일과는 달리 DEX 파일에서는 단일 파일에서 각 특징마 다 섹션을 가지는 구조인 것을 알 수 있다. 이는 DVM이 최적화된 환경 자체가 적은 메모리 자원에서도 돌아갈 수 있게 한 구조 때문에 이렇게 class 별로 구역을 지정하는 방식이 아닌 성격마다 섹션을 분리하는 방식을 사용하고 있다. =============================================================== 0x03. DEX File Header Analysis =============================================================== DEX 파일은 아래와 같은 구조로 이루어져 있다. ----------------------------- DEX Header ----------------------------- - Magic Number (ubyte[8]) ----------------------------- - checksum (uint) ----------------------------- - signiture (ubyte[20]) ----------------------------- - file_size (uint) ----------------------------- - header_size (uint) ----------------------------- - endian_tag (uint) ----------------------------- - link_size (uint) ----------------------------- - link_off (uint) ----------------------------- - map_size (uint) ----------------------------- - map_off (uint) ----------------------------- - string_ids_size (uint) ----------------------------- - stirng_ids_off (uint) ----------------------------- - type_ids_size (uint) ----------------------------- - type_ids_off (uint) ----------------------------- - proto_ids_size (uint) ----------------------------- - proto_ids_off (uint) ----------------------------- - field_ids_size (uint) ----------------------------- - field_ids_off (uint) ----------------------------- - method_ids_size (uint) ----------------------------- - method_ids_off (uint) ----------------------------- - class_defs_size (uint) ----------------------------- - class_defs_off (uint) ----------------------------- - data_size (uint) ----------------------------- - data_off (uint) ----------------------------- 일단 헤더에는 각 섹션의 전체 사이즈와 offset 값이 uint format 으로 저장된다. 이 부분을 이용해서 각 섹션을 파싱할 때 선행적 으로 이 값을 선행적으로 파싱하여 값을 받아와 파싱하면 된다. 이 이외에도 ubyte[8] DEX_FILE_MAGIC = { 0x64 0x65 0x78 0x0a 0x30 0x33 0x35 0x00 } dex\n035\0 형태의 magic number 가 존재하고 그 뒤에는 adler32 checksum 값과 sha1 signiture가 존재한다. 이 부분은 DVM에 올라가기 전에 안드로이드 PackageManager 에서 무결성 검사를 진행할때 이 부분과 전체 부분을 검사하게 된다. 여기서 checksum 에서는 checksum과 magic number가 제외된 값에 대한 checksum 값이 저장되며, signiture에는 signiture 이후의 섹션 (= file_size 섹션부터)의 signiture값을 계산하여 저장한다. checksum = adler32(Header Section - magic number - checksum) signiture = H(Header - magic number - checksum - signiture) =============================================================== 0x04. DEX File Section Analysis =============================================================== DEX 파일에는 각 특징마다 고유의 섹션을 가지고 있다. - string_ids DEX 파일 내에서 사용하는 모든 문자열을 저장하는 영역이다. - type_ids string_ids 영역에 저장된 문자열의 성격을 저장하고 있는 영역이다. - proto_ids DEX 파일 내에서 함수의 구조를 저장하고 있는 영역이다. - field_ids 클래스의 이름, type, class package 이름을 저장하는 영역이다. - method_ids method의 이름, type, 소속 class 이름을 저장하는 영역이다. - class_defs_item class 에 대한 전체적인 정보와 데이터에 대한 기초 정보를 저장하 는 영역이다. 기타 이보다 다양한 영역들이 존재하지만 위 내용에서 분석할 주제 와는 크게 관련이 없으므로 생략하였다. 이렇게 다양한 영역이 존재하는 DEX 파일은 읽어들일 때 헤더에서 위 섹션에 대한 정보를 찾아 가져올 수 있다. =============================================================== 0x07. Deep DEX File Analysis =============================================================== DEX 파일을 이해하기 전에 일단 간단한 안드로이드 앱 개발 과정에 대해서 설명하려고 한다. MyActivity.java ---------------------------------------------------- package kr.smishing.bunseokbot; import android.app.Activity; import android.util.Log; public class MyActivity extends Activity { @Override public void onCreate(Bundle bundle){ super.onCreate(bundle); setContentView(R.layout.bunseokbot); Log.i(TAG, "Testing Activity"); } } ---------------------------------------------------- 위의 코드를 통해서 각 DEX 영역에서는 아래의 내용들이 저장된다. * string_ids 영역 위에서 사용된 모든 문자열은 여기에 저장된다. Landroid/util/Log; Landorid/app/Activity; Testing Activity 이렇게 Class에 대한 정보나, const-string 과 같은 string value 에서 사용하는 값도 모두 이 영역에 저장된다. 즉 a.java 라는 파일이 존재한다고 하면 이 파일에 써진 모든 내용 은 이 영역에 저장된다. * type_ids 영역 단순히 string_ids 영역에 저장되었다고 해서 모두 string 형태는 아니다. 여기에 저장된 변수 type은 모두 이 영역에 저장된다. int, string, char, array 등 string_ids 영역에 저장된 내용의 성격을 담은 결과를 리턴한다. 여기에 저장되는 값의 종류는 아래와 같다. TypeDescriptor → 'V' | FieldTypeDescriptor FieldTypeDescriptor → NonArrayFieldTypeDescriptor | ('[' * 1…255) NonArrayFieldTypeDescriptor NonArrayFieldTypeDescriptor→ 'Z' | 'B' | 'S' | 'C' | 'I' | 'J' | 'F' | 'D' | 'L' FullClassName ';' * proto_ids 영역 proto_ids 영역에는 메소드에 대한 정보가 저장된다. 이 영역 하부 구조로는 세 가지 구조로 되어있다. - shorty_idx (파일 타입에 대한 정보를 string_ids 에서 불러온다.) - return_type_idx (return type에 대한 정보를 불러온다.) - parameter_off (파라미터에 대한 정보를 불러온다. 이 때 이 값이 0 인 경우는 void)로 처리한다. =============================================================== 0x08. Addressing inside DEX File =============================================================== 일단 이 부분을 이해하고 난 후에는 다른 부분은 소스를 이루기 위한 기초 단계임을 알 수 있다. 기초 단계이자 토대가 되는 Section 중에서 가장 중요한 class_defs_item 이라는 섹션과 data 섹션에 대해서 설명할려고 한다. 일단 class_defs_item의 상세 구조는 아래와 같다. <구조도 그리기 귀찮다> 이 세 부분이 각각 class에 해당하는 코드 위치를 지정한다. Disassembler를 제작할 때 이 부분을 참고하여 Address 값을 가져온 뒤에 해당 위치로 이동하여 코드를 해석하면 해석할 수 있다. - 이를 응용하면 Taint Analysis 를 진행하는데 많은 도움이 된다. =============================================================== 0x09. Main Instructions =============================================================== Dalvik VM 에서 해석할 수 있는 Instruction 은 굉장히 다양하며, 또 다양한 Condition 일 때 사용된다. 그러나 정리하자면 아래와 같다. 블라블라블라블라 이러한 인스트럭션은 인자로 받는 값의 Type형에 많이 종속되는데 크게 아래와 같은 Type을 handling 할 수 있다. 4 8 16 32 이러한 Instruction Set을 dict 형태로 정리해 분석하면 코드 데이터 를 disassembling 할 수 있다. =============================================================== 0x10. Reference =============================================================== http://smishing.kr [안드로이드 악성코드 자동화 분석] Best of the Best 3rd Advanced Project (S.S.S - Team 2) [Static Analysis Technique of Dalvik Executable Format File] (안내, 위 문서는 비공개 문서임을 알립니다.) https://source.android.com/devices/tech/dalvik/dex-format.html http://developer.android.com/reference/dalvik/system/DexFile.html http://blog.smishing.kr ===============================================================