User Tools

Site Tools


Sidebar

data:data_model

Data Model 개요

  • 성능향상을 위해 데이터를 Splunk에 가져와서 작업해야 함. Data Model은 결과적으로 성능 향상을 주된 목적임.
  • 물리적인 공간이 생기는 것은 아님. json형태의 MetaData임.
  • 데이터 모델은 현업 데이터의 분석을 도와 줍니다
    1. 데이터의 Semantic 지식 구조를 정의 하고 상, 하위 구조의 포함 하는 데이터 모형
    2. 설정이 저장되어 있다가 검색 시 Dynamic하게 반영
    3. 특화된검색과분석을가능하게 하고Pivot기능의바탕
  • $SPLUNK_HOME/var/lib/splunk/{oid_desc}/data(?)model : 속도 빠른 다른 하드에 마운트 해서 속도를 향상시킴

특성

  • Apps로 설치 가능
  • 추천 : splunk common information model

데이터 모델의 요소

데이터 모델 Object 유형

  • Root Object : 최 상위 Object로 여러 Child Object를 생성/관리 한다.
  • Event Object : Data를 분류해 제약 조건에 의해 추가한 것을 말한다.
  • Search Object : Data Model안에 Object를 통계 명령을 사용하여 검색 할 기능을 갖고 있는 Object
  • Transaction Object : Data Model 내에 존재하는 하나 이상의 Event, Transaction, search Object 내의 Data 구성 집합을 기반으로 Object 구조를 만든다.
  • Child Object : 상위 Object 의 자식 개념의 Object로 상위 Object가 제한한 부분외 조건을 상속 받는다.

데이터모델의성격

  • 상 하 위 구조로 구성되며 Constraints와 Attribute로 를 상위 Object에서 상속 받으며 또한 개별 순위의 Object만의 Constraint와 Attribute들을 포함

데이터 모델의 생성

  • 신규 데이터 모델을 생성하기 위하여 Splunk 설정, 새 데이터모델을 선택합니다.

  • 먼저, 최상위 Root Object 개체를 생성하고 제약조건을 추가해 줍니다.

  • 하나의 Object는 Matching요건 Constraint와 Data Attribute로 구성됩니다.

  • 하위 Child Object 정의
    • Child Object는 Root Object 하단에 생성이 되고 해당 Child Object에 추가적 Constraint와 Data Attribute가 추가됩니다.
    • 예를 들어 판매에 연관된 데이터가 Root Object에 있다고 가정하면 Child Object에서는 제품유형의 Constraint로 나누어질 수 있습니다.

  • 데이터 모델 에디터를 통하여 완성된 데이터의 계층적 구조를 보여줍니다.

가속화(Acceleration)

  • 만들어진 데이터 모델은 가속화 기능을 통하여 정형, High-Speed Data Store로 가속화 합니다.

데이터 가속화 절차

  1. 비정형 데이터를 Splunk Indexer로 부터 호출 데이터 모델 정의 한다.
  2. 데이터 모델 정의 이후 데이터 모델 가속화 탭으로 들어가 해당하는 모델의 가속화를 활성화 한다.
  3. Fail over에서 복제되지 않음.

  1. 데이터 모델 설정에서 가속화를 활성화 합니다.

데이터 가속화 확인

• Web UI에서 확인 가능

$ cd $SPLUNK_HOME
$ find .|grep datamodels.conf
data/data_model.txt · Last modified: 2019/02/25 14:50 (external edit)