Nifi DB

1. ConvertJsonToSQL

Json을 SQL DML문으로 변환하다

• Ref :
• Property
  • JDBC Connection Pool : DBCPConnectionPool Controller
  • Table Name : eqp1tr

Property : Statement Type -> 프로세서가 실행하는 명령문의 유형은 하드 코딩된 값을 가져오는 INSERT, UPDATE 및 DELETE와 프로세서가 명령문 유형을 가져오도록 하는 "Use statement.type Attribute"로 지정할 수 있습니다. (중요: 명령문 유형이 업데이트인 경우 수신 레코드는 기본 키 또는 사용자 지정 업데이트 키의 값을 변경해서는 안 됩니다. 그러한 레코드가 발견되면 데이터베이스에 발행된 UPDATE 문은 아무 작업도 수행하지 않거나 기존 데이터를 부주의하게 손상시킬 수도 있습니다)

2. PutSQL

SQL을 실행한다

• Ref :
• Property
  • JDBC Connection Pool : DBCPConnectionPool Controller

3. PutDatabaseRecord

CSV정보를 DBCPConnectionPool의 테이블에 저장(Insert, Update, Upsert 가능).

• Ref : https://www.youtube.com/watch?v=_SABMAiJ5Hg (40:50)
• Property
  • Record Reader : CSVReader Controller
  • Database Type : MySQL
  • Statement Type : Upsert
  • Database Connection Pooling Service : DBCPConnectionPool
  • Schema Name : hkschema
  • Table Name : contracthk

4. SelectHiveQL

Hive에서 Select

• Ref : https://github.com/bilgicsin/creating-simple-report-mail-with-nifi
• Property
  • Hive Database Connection Poolling Service : HiveConnectionPool
  • HiveQL Select Query : select trih as tweet_atilmas_tarih, count(*) as tweet…

5. ExecuteSQL

DB select Processor. 결과포맷은 Avro

• Ref : https://magpienote.tistory.com/152?category=1008084

• Property

  • Database Connection Poolling Service : DBCPConnectionPool

6. ExecuteSQLRecord

ExecuteSQL과 유사. 다른점은 select시 Writer(데이터 포맷 형식 ex) csv, json, avro등)를 지정해 줄 수 있다