User Tools

Site Tools


Sidebar

data:field_extraction

This is an old revision of the document!


개요

  • Field : 이벤트를 자동 혹은 정규식으로 Parsing 한 Values의 Key
  • Field를 추출을 해야 하는 이유.
    • 필드추출은데이터를해석하기위한첫번째단계
    • 필드 추출은 인덱싱 과정에서 자동적으로 추출되거나 사용자가 임의로 추출 할 수도 있음
    • 난해하거나 형태가 불규칙한 원시 데이터에 의미를 부여하여 데이터 해석을 도움

정규식 용어 및 설명

정규식과 정규 표현식

  • 정규식
    • 정규식은 특정한 문자열을 쉽고 간단한 방법으로 찾아내기 위한 표현식으로, 특정 패턴에 일치하 는문자열의집합을필드화시키기위해사용
    • Splunk Enterprise 정규식은 PCRE(Perl 호환 정규식), 구체적으로는 PCRE C 라이브러리 사용
    • 특정한규칙을가진문자열의집합을표현하는데사용하는형식언어

(텍스트 편집기와 프로그래밍 언어에서 문자열의 검색과 치환 지원)

  • 정규표현식
    • 주로 텍스트 탐색과 문자열 조작
    • 하나의 문자와 일치
    • 문자열의 일부분(substring)이나 전체 문자열의 치환을 지원

정규식 Example

  • 정규식

^(?P<USER_IP>\S+)\s-\s-s+(?P<BYTES>\d+)\s+\"(?P<RE_URL>[^\"]+)\"\s+\"\s\[(?P<DATE>[^\]]+)\]\s+\"(?P<METHOD>\w+)\s+(?P<URL>\S+)\s+(?P<ARG1>[^\"]+)\"\s+(?P<STATUS>\d+)\

  • Log

89.11.192.18 - - [22/Mar/2013:11:46:18] “POST /oldlink?itemId=EST-26&JSESSIONID=SD6SL2FF5ADFF4953 HTTP 1.1” 200 3245 “http://www.myflowershop.com/oldlink?itemId=EST-26” “

필드추출(Web)

data/field_extraction.1443069947.txt.gz · Last modified: 2019/02/25 14:50 (external edit)