Maven Docker Build (IntelliJ)
Maven에서 Docker Image 자동 Build
Tag
- docker 22
- ogg 16
- example 15
- nifi 14
- processor 11
- setup 8
- connect 8
- jenkins 6
- kafka 6
- controller 6
- confluent 6
- container 5
- compose 5
- report 4
- common 4
- log 4
- test 4
- install 4
- delete 4
- k8s 4
- image 3
- network 3
- link 3
- volume 3
- build 3
- spark 3
- python 3
- pyspark 3
- maven 3
- springboot 3
- curl 3
- pod 3
- pv 3
- pvc 3
- tee 3
- jq 3
- cloud 3
- mockmvc 3
- webmvctest 3
- temp 2
- blog 2
- initial 2
- replicat 2
- extract 2
- pump 2
- dockerfile 2
- restart 2
- registry 2
- hub 2
- utility 2
- nginx 2
- command 2
- cluster 2
- nodejs 2
- text 2
- script 2
- streams 2
- deployment 2
- template 2
- event 2
- readness 2
- liveness 2
- storage 2
- intellij 2
- http 2
- properties 2
- suffix 2
- connector 2
- plugin 2
- source 2
- alias 2
- aop 2
- proxy 2
- stopwatch 2
- annotation 2
- h2 2
- objectmapper 2
- andexpect 2
- advice 2
- restcontrolleradvice 2
- exceptionhandler 2
- jekyll 1
- server 1
- msa 1
- dictionary 1
- search 1
- run 1
- inspect 1
- attach 1
- extc 1
- rm 1
- ps 1
- top 1
- logs 1
- resource 1
- monitoring 1
- stress 1
- df.sh 1
- app 1
- wordpress 1
- prune 1
- mariadb 1
- option 1
- parameter 1
- shell 1
- linux 1
- 방화벽 1
- favorites 1
- hive 1
- dockerhub 1
- atributte 1
- db 1
- execute 1
- file 1
- hdfs 1
- json 1
- flowfile 1
- recreate 1
- rollingUpdate 1
- replicaset 1
- replicas 1
- selector 1
- vagrant 1
- vm 1
- job 1
- parallelism 1
- do 1
- endpoint 1
- describe 1
- error 1
- service 1
- yaml 1
- stdin 1
- exec 1
- fail 1
- affinity 1
- anti affinity 1
- node 1
- matchExpressions 1
- required 1
- perpered 1
- sample 1
- phase 1
- initContainers 1
- imageID 1
- CrashLoopBackOff 1
- Conditions 1
- Lifecycle 1
- probe 1
- emptydir 1
- hostpath 1
- block 1
- dynimic 1
- provisioning 1
- dive 1
- watch 1
- configmap 1
- platform 1
- kubernetes 1
- 8083 1
- plugins 1
- rest-api 1
- sink 1
- transform 1
- converter 1
- spooldir 1
- bean 1
- aspect 1
- around 1
- execution 1
- payment 1
- store 1
- github 1
- lombok 1
- hateos 1
- arguments 1
- jpa 1
- api 1
- validator 1
- errors 1
- isbadrequest 1
- requestbody 1
- jsoncomponent 1
- mockbean 1
- perform 1
- jsonpath 1
- mockito 1
- displayname 1
- autoconfiguremockmvc 1
- controlleradvice 1
- datahubexception 1
- constants 1
- env 1
- security 1
- basic 1
- withmockuser 1
- mocmvc 1
- encrypt 1
- decrypt 1
- 대칭키 1
- 비대칭키 1
- bootstrap 1
- feign 1
- feignerrordecode 1
- uri 1
- configuration 1
- exception 1
- hoxton 1
- dynamic-url 1
- resilience4 1
- circuitbreaker 1
- hystrix 1
- profiles 1
- local 1
- default 1
- application.yml 1
- httpie 1
- kafkacat 1
- kcat 1
- jdbc 1
- promtail 1
- loki 1
- grafana 1
- logging 1
- nexus 1
- containerd 1
- reset 1
- shortcut 1
- bash-completion 1
- upgrade 1
- plan 1
- loadbalancer 1
- metallb 1
- ingress 1
docker
Springboot Docker Image Build
Springboot Docker Image Build
Jenkins - NodeJS Build - Docker Push
Jenkins Pipeline Item
Jenkins - Docker 연동
1. Docker Repository (Nexus) 확인
Jenkins - Docker CI/CD to Docker Hub
Pipeline Type : Scripted pipeline 매개변수 appName : manager-api BUILD_NUMBER :1.0
Nifi 설치
Docker 설치
Docker-compose 파라미터 전달 방법
service-service.sh에게 전달한 파라미터를 환경변수로 설정하고, docker-compose에서 이것을 읽어들인다
Docker-compose Yaml Option
Docker-compose Yaml Option
Docker-compose Example (Visit Count)
방문횟수를 카운트하는 python 컨테이너 빌드와 운영
Docker-compose 명령어
Docker-compose 명령어
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
Docker 미사용 Object 삭제
Docker Prune
Docker Network 구성
Default Network
Docker App구축 Example
Example 1
Docker Container 재시작 옵션
자동 재시작 명령어
Stress Utility
부하 테스트 프로그램
cAdvisor Utility
Linux 리소스 모니터링. Web Portal 제공. Host 뿐아니라, Docker Container의 모니터링 제공
Container Resource 제어
Memory 제한
Private Docker Registry 설치
Private Dockerhub를 구성하고, 필요한 Docker Image를 Push할 수 있다
동작중인 Container에 사용할 수 있는 명령어
Docker Run
Docker Image 검색
CLI에서 Image 검색
ogg
OGG 구축, 추출, 적재
참조 링크
OGG 용어 설명
ER : Extract and Replicat ODI : ETL. OGG 실시간 데이터를 Bulk처리 가능하다 Veridata : 데이터 검증 및 복구 스크립트 생성 가능하다 Monitoring ExtTrail : Local trail file ExtFile...
OGG Replicat Map Sample
Where
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG Performance View
dba_goldengate_inbound v$gg_apply_receiver v$gg_apply_reader v$gg_apply_coordinator v$gg_apply_server v$goldengate_table_stats
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
OGG Trail file 분석
```sh $ oggsrc $ ./logdump open dirdat/rt000000000 To view the trail file header: fileheader on To view the record header with data ghdr on 컬럼정보...
Initial Load by OGG (Direct)
Direct access을 이용한 Initial Load Extract ```sql Edit param eini Extract eini UserIdAlias oggadmin_root RMTHOST easthost, MGRPORT 7909 – rini을 자동으로 실행한다. R...
OGG S/W 설치 (MSA)
1. 환경 설정
OGG S/W 설치
Requirement S/W Volume Classic : 1.2 GB, MSA : 1.5 GB 필요 SWAP space 필요 Trail Volume Trail file size : Pick time때의 re...
Initial Load by OGG (Trail file)
Trail file을 이용한 Initial Load
GGSEVT
```sh view ggsevt 2017-04-06 11:10:02 INFO OGG-00987 Oracle GoldenGate Command Interpreter for Oracle: GGSCI command (oracle): edit param mgr. 2017-04-06...
OGG GGSCI Command
History $ alias $ oggsrc $ ggsci > history > ! > !2 정보 보기 GGSCI> -- lacct 통계정보 보기 > stats lacct -- lacct 상태정보 보기pipeline > status lacct --...
OGG Discard
$ vi dirrpt/rwconf.dsc Oracle GoldenGate Delivery for Oracle process started, group RWCONF discard file opened: 2017-04-10 12:43:13 ORA-20017: asta0009 614...
OGG Credential, Token, Compress
Credential
OGG View Report 샘플
pwconf
example
Kafka Connect - Spooldir
1) 소스 위치
K8S Job
Job은 1회성 작업을 할때 사용한다.
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
Nifi Example #1
1. csv파일조인
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
Docker-compose Example (Visit Count)
방문횟수를 카운트하는 python 컨테이너 빌드와 운영
OGG Replicat Map Sample
Where
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
Initial Load by OGG (Direct)
Direct access을 이용한 Initial Load Extract ```sql Edit param eini Extract eini UserIdAlias oggadmin_root RMTHOST easthost, MGRPORT 7909 – rini을 자동으로 실행한다. R...
Initial Load by OGG (Trail file)
Trail file을 이용한 Initial Load
OGG GGSCI Command
History $ alias $ oggsrc $ ggsci > history > ! > !2 정보 보기 GGSCI> -- lacct 통계정보 보기 > stats lacct -- lacct 상태정보 보기pipeline > status lacct --...
OGG Credential, Token, Compress
Credential
nifi
Nifi FLOWFILE
1. UpdateRecord
Nifi Example #1
1. csv파일조인
Nifi Text
1. ExtractText Regex를 이용해 검색된 문자를 추출한다. [사용자 Attribute] + . + [Regex의 Capturing Group 순번] 형태의 Dynamic Attribute를 생성해서 찾아진 값에 매핑한다. 사용자 Attribute가 “regex”이...
Nifi Log
1. LogAttribute FlowFile 정보를 NiFi 로그 파일($NIFI_HOME/logs/nifi-app.log)에 출력
Nifi Kafka
1. ConsumeKafka Kafka Topic을 Consume한다
Nifi Json
1. JsonTreeReader와 JsonPathReader의 차이 JsonTreeReader는 전체 JSON을 레코드로 읽거나 최상위 배열의 경우 배열의 각 요소를 (전체적으로) 레코드로 읽습니다. JsonPathReader를 사용하면 전체 흐름 파일 내의 특정 개체 / 레...
Nifi HDFS
1. PutHDFS flowFile을 HDFS로 저장한다
Nifi File
1. GenerateFlowFile 임의의 FlowFile을 한 개씩 1 Byte 문자로 생성하라는 의미이다.
Nifi Execute
1. ExecuteStreamCommand ** 외부 프로세서를 실행시키고 외부 프로세서가 받는 STDIN으로 FlowFile의 Contents를 넘겨주는 작업 Python script 실행. 특적 Directory의 파일을 하나씩 전달하는 것으로 보임.
Nifi DB
1. ConvertJsonToSQL Json을 SQL DML문으로 변환하다
Nifi Controller
1. DBCPConnectionPool Database 연결
Nifi Cluster
1. Sub Project
Nifi Atributte
frowFile의 메타속성(Attribute) 을 다룬다.
Nifi 설치
Docker 설치
processor
Nifi FLOWFILE
1. UpdateRecord
Nifi Text
1. ExtractText Regex를 이용해 검색된 문자를 추출한다. [사용자 Attribute] + . + [Regex의 Capturing Group 순번] 형태의 Dynamic Attribute를 생성해서 찾아진 값에 매핑한다. 사용자 Attribute가 “regex”이...
Nifi Log
1. LogAttribute FlowFile 정보를 NiFi 로그 파일($NIFI_HOME/logs/nifi-app.log)에 출력
Nifi Kafka
1. ConsumeKafka Kafka Topic을 Consume한다
Nifi Json
1. JsonTreeReader와 JsonPathReader의 차이 JsonTreeReader는 전체 JSON을 레코드로 읽거나 최상위 배열의 경우 배열의 각 요소를 (전체적으로) 레코드로 읽습니다. JsonPathReader를 사용하면 전체 흐름 파일 내의 특정 개체 / 레...
Nifi HDFS
1. PutHDFS flowFile을 HDFS로 저장한다
Nifi File
1. GenerateFlowFile 임의의 FlowFile을 한 개씩 1 Byte 문자로 생성하라는 의미이다.
Nifi Execute
1. ExecuteStreamCommand ** 외부 프로세서를 실행시키고 외부 프로세서가 받는 STDIN으로 FlowFile의 Contents를 넘겨주는 작업 Python script 실행. 특적 Directory의 파일을 하나씩 전달하는 것으로 보임.
Nifi DB
1. ConvertJsonToSQL Json을 SQL DML문으로 변환하다
Nifi Controller
1. DBCPConnectionPool Database 연결
Nifi Atributte
frowFile의 메타속성(Attribute) 을 다룬다.
setup
K8S Setup (Nexus)
- Container Engine으로 containerd를 사용하도록 한다. Docker는 Image build용으로 사용하기 때문에 그 용도가 없으면 설치하지 않아도 됨 - Centos 8.4 - Master 3대, Worker 5대
Confluent Setup
Confluent 설치
Springboot Bean 설정 방법
1. Bean 설정 파일 이용
K8S Setup (Vagrant)
* KVM을 이용한 설치가이드 https://www.inflearn.com/course/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EA%B8%B0%EC%B4%88/lecture/24556?tab=curriculum&volume=0.44
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
OGG S/W 설치 (MSA)
1. 환경 설정
OGG S/W 설치
Requirement S/W Volume Classic : 1.2 GB, MSA : 1.5 GB 필요 SWAP space 필요 Trail Volume Trail file size : Pick time때의 re...
connect
Confluent Connectors
SMT 적용
Confluent Setup
Confluent 설치
Kafka Connect - Spooldir
1) 소스 위치
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
Kafka Connect 별도 Logging 구성
1) Log파일 자동 생성
Kafka Connect 명령어
jq / http
Kafka Connect Cluster 구성
* 동일 서버에 추가 Connect (Worker) 실행
jenkins
Jenkins - NodeJS 설치
1. Jenkins를 위한 NodeJS 설치 (Jenkins에서 자동설치 안되는 경우 )
Jenkins - NodeJS Build - Docker Push
Jenkins Pipeline Item
Jenkins - Cluster Setup
Slave Setup
Jenkins - Docker 연동
1. Docker Repository (Nexus) 확인
Jenkins - Docker CI/CD to Docker Hub
Pipeline Type : Scripted pipeline 매개변수 appName : manager-api BUILD_NUMBER :1.0
Jenkins 설치
Ubuntu에 설치
kafka
Confluent Connectors
SMT 적용
Confluent Setup
Confluent 설치
Kafka Streams - Springboot Sample
Kafka Streams - Springboot Sample
Kafka - 이벤트 브로커와 메시지 브로커 차이
참조 : https://www.youtube.com/watch?v=H_DaPyUOeTo
Nifi Kafka
1. ConsumeKafka Kafka Topic을 Consume한다
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
controller
K8S loadbalancer
1. MetalLb 설치 및 LoadBalancer 테스트
K8S Job
Job은 1회성 작업을 할때 사용한다.
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
K8S Deployment - Rolling Update
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
K8S Deployment - Recreate
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
Nifi Controller
1. DBCPConnectionPool Database 연결
confluent
Kafka Connect - Spooldir
1) 소스 위치
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
Kafka Connect 별도 Logging 구성
1) Log파일 자동 생성
Kafka Connect 명령어
jq / http
Kafka Connect Cluster 구성
* 동일 서버에 추가 Connect (Worker) 실행
container
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
Docker 미사용 Object 삭제
Docker Prune
Docker Container 재시작 옵션
자동 재시작 명령어
Container Resource 제어
Memory 제한
동작중인 Container에 사용할 수 있는 명령어
Docker Run
compose
Docker-compose 파라미터 전달 방법
service-service.sh에게 전달한 파라미터를 환경변수로 설정하고, docker-compose에서 이것을 읽어들인다
Docker-compose Yaml Option
Docker-compose Yaml Option
Docker-compose Example (Visit Count)
방문횟수를 카운트하는 python 컨테이너 빌드와 운영
Docker-compose 명령어
Docker-compose 명령어
report
OGG Trail file 분석
```sh $ oggsrc $ ./logdump open dirdat/rt000000000 To view the trail file header: fileheader on To view the record header with data ghdr on 컬럼정보...
GGSEVT
```sh view ggsevt 2017-04-06 11:10:02 INFO OGG-00987 Oracle GoldenGate Command Interpreter for Oracle: GGSCI command (oracle): edit param mgr. 2017-04-06...
OGG Discard
$ vi dirrpt/rwconf.dsc Oracle GoldenGate Delivery for Oracle process started, group RWCONF discard file opened: 2017-04-10 12:43:13 ORA-20017: asta0009 614...
OGG View Report 샘플
pwconf
common
OGG 용어 설명
ER : Extract and Replicat ODI : ETL. OGG 실시간 데이터를 Bulk처리 가능하다 Veridata : 데이터 검증 및 복구 스크립트 생성 가능하다 Monitoring ExtTrail : Local trail file ExtFile...
OGG Performance View
dba_goldengate_inbound v$gg_apply_receiver v$gg_apply_reader v$gg_apply_coordinator v$gg_apply_server v$goldengate_table_stats
OGG GGSCI Command
History $ alias $ oggsrc $ ggsci > history > ! > !2 정보 보기 GGSCI> -- lacct 통계정보 보기 > stats lacct -- lacct 상태정보 보기pipeline > status lacct --...
OGG Credential, Token, Compress
Credential
log
Kafka Connect 별도 Logging 구성
1) Log파일 자동 생성
Nifi Log
1. LogAttribute FlowFile 정보를 NiFi 로그 파일($NIFI_HOME/logs/nifi-app.log)에 출력
동작중인 Container에 사용할 수 있는 명령어
Docker Run
test
Springboot Profiles 설정
1. Default Profile 설정
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
Stress Utility
부하 테스트 프로그램
install
맨 위로 이동 ↑delete
K8S Commands
1. 사전 작업
K8S Job
Job은 1회성 작업을 할때 사용한다.
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
Docker 미사용 Object 삭제
Docker Prune
k8s
Springboot On Cloud Platform
Kubernetes
Springboot K8S configMap 연동
1. 설정방법
Springboot K8S Readness/Liveness 연동
1. 설정 방법
Linux (K8S) Tools
1. Dive
image
Docker 미사용 Object 삭제
Docker Prune
Private Docker Registry 설치
Private Dockerhub를 구성하고, 필요한 Docker Image를 Push할 수 있다
Docker Image 검색
CLI에서 Image 검색
network
Linux Command Favorites
Linux 방화벽 Open / Service Port 체크
Docker 미사용 Object 삭제
Docker Prune
Docker Network 구성
Default Network
link
Kafka Connect 명령어
jq / http
Springboot K8S Readness/Liveness 연동
1. 설정 방법
Docker Network 구성
Default Network
volume
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
Docker 미사용 Object 삭제
Docker Prune
build
Maven Docker Build (IntelliJ)
Maven에서 Docker Image 자동 Build
Docker-compose Example (Visit Count)
방문횟수를 카운트하는 python 컨테이너 빌드와 운영
spark
Spark 설치
Scala 설치
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
python
Spark 설치
Scala 설치
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
pyspark
Spark 설치
Scala 설치
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
maven
Maven Docker Build (IntelliJ)
Maven에서 Docker Image 자동 Build
Springboot Docker Image Build
Springboot Docker Image Build
Jenkins - Docker CI/CD to Docker Hub
Pipeline Type : Scripted pipeline 매개변수 appName : manager-api BUILD_NUMBER :1.0
springboot
Springboot Docker Image Build
Springboot Docker Image Build
Kafka Streams - Springboot Sample
Kafka Streams - Springboot Sample
Kafka - 이벤트 브로커와 메시지 브로커 차이
참조 : https://www.youtube.com/watch?v=H_DaPyUOeTo
curl
맨 위로 이동 ↑pod
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
K8S Commands
1. 사전 작업
pv
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
K8S Volume - Block Storage
주로 SAN(Storage Area Network)를 기반으로 생성한다. 동시에 2개이상의 Node에서 연결을 허용하지 않고, 많은 데이터를 처리하는데 잇점이 있어서 DB를 구성하는데 사용된다.
K8S Volume
1. emptyDir
pvc
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
K8S Volume - Block Storage
주로 SAN(Storage Area Network)를 기반으로 생성한다. 동시에 2개이상의 Node에서 연결을 허용하지 않고, 많은 데이터를 처리하는데 잇점이 있어서 DB를 구성하는데 사용된다.
K8S Volume
1. emptyDir
tee
맨 위로 이동 ↑jq
맨 위로 이동 ↑cloud
Springboot Cloud Resilience4J
호출하는 Local API가 Remote API를 포함하는 경우, Remote API를 호출하는 부분에 CircuitBreaker를 구성하면 Remote API의 실패때문에 Local API까지 실패하는 것을 피할 수 있다이렇게 구성하면 Remot API에서 Exception...
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
Springboot On Cloud Platform
Kubernetes
mockmvc
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
Springboot Reference
Kalphageek’s Github Wiki
webmvctest
Springboot Test
1. 슬라이스 테스트
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
temp
Second Test Page
두번째 페이지 입니다
First Test Page
공지사항입니다 공지사항 순서 1 공지사항 순서 2
blog
Second Test Page
두번째 페이지 입니다
First Test Page
공지사항입니다 공지사항 순서 1 공지사항 순서 2
initial
Initial Load by OGG (Direct)
Direct access을 이용한 Initial Load Extract ```sql Edit param eini Extract eini UserIdAlias oggadmin_root RMTHOST easthost, MGRPORT 7909 – rini을 자동으로 실행한다. R...
Initial Load by OGG (Trail file)
Trail file을 이용한 Initial Load
replicat
OGG Replicat Map Sample
Where
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
extract
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
pump
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
dockerfile
Docker App구축 Example
Example 1
Dockerfile 명령어
Dockerfile 명령어
restart
Docker Container 재시작 옵션
자동 재시작 명령어
동작중인 Container에 사용할 수 있는 명령어
Docker Run
registry
Private Docker Registry 설치
Private Dockerhub를 구성하고, 필요한 Docker Image를 Push할 수 있다
동작중인 Container에 사용할 수 있는 명령어
Docker Run
hub
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
Private Docker Registry 설치
Private Dockerhub를 구성하고, 필요한 Docker Image를 Push할 수 있다
utility
Stress Utility
부하 테스트 프로그램
cAdvisor Utility
Linux 리소스 모니터링. Web Portal 제공. Host 뿐아니라, Docker Container의 모니터링 제공
nginx
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
Docker App구축 Example
Example 1
command
K8S Commands
1. 사전 작업
Docker-compose 명령어
Docker-compose 명령어
cluster
Kafka Connect Cluster 구성
* 동일 서버에 추가 Connect (Worker) 실행
Jenkins - Cluster Setup
Slave Setup
nodejs
Jenkins - NodeJS 설치
1. Jenkins를 위한 NodeJS 설치 (Jenkins에서 자동설치 안되는 경우 )
Jenkins - NodeJS Build - Docker Push
Jenkins Pipeline Item
text
Nifi Text
1. ExtractText Regex를 이용해 검색된 문자를 추출한다. [사용자 Attribute] + . + [Regex의 Capturing Group 순번] 형태의 Dynamic Attribute를 생성해서 찾아진 값에 매핑한다. 사용자 Attribute가 “regex”이...
Nifi Cluster
1. Sub Project
script
K8S Commands
1. 사전 작업
Nifi Execute
1. ExecuteStreamCommand ** 외부 프로세서를 실행시키고 외부 프로세서가 받는 STDIN으로 FlowFile의 Contents를 넘겨주는 작업 Python script 실행. 특적 Directory의 파일을 하나씩 전달하는 것으로 보임.
streams
Kafka Streams - Springboot Sample
Kafka Streams - Springboot Sample
Kafka - 이벤트 브로커와 메시지 브로커 차이
참조 : https://www.youtube.com/watch?v=H_DaPyUOeTo
deployment
K8S Deployment - Rolling Update
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
K8S Deployment - Recreate
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
template
K8S Job
Job은 1회성 작업을 할때 사용한다.
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
event
K8S Commands
1. 사전 작업
K8S Commands
1. 사전 작업
readness
Springboot K8S Readness/Liveness 연동
1. 설정 방법
K8S Readness, Liveness
K8S는 Container가 정상인지만 확인한다. Container의 Service가 비정상인 경우 확인하지 못하며, 이 경우를 대비해 Readness, Liveness 설정이 필요하다. Readness와 Liveness는 설정방법은 동일하면 적용시점만 다르다.
liveness
Springboot K8S Readness/Liveness 연동
1. 설정 방법
K8S Readness, Liveness
K8S는 Container가 정상인지만 확인한다. Container의 Service가 비정상인 경우 확인하지 못하며, 이 경우를 대비해 Readness, Liveness 설정이 필요하다. Readness와 Liveness는 설정방법은 동일하면 적용시점만 다르다.
storage
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
K8S Volume - Block Storage
주로 SAN(Storage Area Network)를 기반으로 생성한다. 동시에 2개이상의 Node에서 연결을 허용하지 않고, 많은 데이터를 처리하는데 잇점이 있어서 DB를 구성하는데 사용된다.
intellij
Springboot Reference
Kalphageek’s Github Wiki
Maven Docker Build (IntelliJ)
Maven에서 Docker Image 자동 Build
http
Kafka Connect 명령어
jq / http
Linux (K8S) Tools
1. Dive
properties
Springboot Configuration에서 env값 읽기
1. application.yml
Springboot On Cloud Platform
Kubernetes
suffix
Kafka Connect 별도 Logging 구성
1) Log파일 자동 생성
connector
Confluent Connectors
SMT 적용
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
plugin
Confluent Setup
Confluent 설치
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
source
Confluent Connectors
SMT 적용
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
alias
Confluent Setup
Confluent 설치
aop
Springboot Proxy 패턴
1. Proxy 패턴
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
proxy
Springboot Proxy 패턴
1. Proxy 패턴
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
stopwatch
Springboot Proxy 패턴
1. Proxy 패턴
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
annotation
Springboot Reference
Kalphageek’s Github Wiki
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
h2
Springboot Profiles 설정
1. Default Profile 설정
Springboot Reference
Kalphageek’s Github Wiki
objectmapper
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
andexpect
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
advice
Springboot Custorm Exception
1. Exception Type 정의
Springboot Exception
1. ExceptionHandler 우선 순위
restcontrolleradvice
Springboot Custorm Exception
1. Exception Type 정의
Springboot Exception
1. ExceptionHandler 우선 순위
exceptionhandler
Springboot Custorm Exception
1. Exception Type 정의
Springboot Exception
1. ExceptionHandler 우선 순위
jekyll
Local Web server for Jekyll start
```bash $ cd kalphageek.github.io/
server
Local Web server for Jekyll start
```bash $ cd kalphageek.github.io/
msa
OGG S/W 설치 (MSA)
1. 환경 설정
dictionary
OGG Performance View
dba_goldengate_inbound v$gg_apply_receiver v$gg_apply_reader v$gg_apply_coordinator v$gg_apply_server v$goldengate_table_stats
search
Docker Image 검색
CLI에서 Image 검색
run
동작중인 Container에 사용할 수 있는 명령어
Docker Run
inspect
동작중인 Container에 사용할 수 있는 명령어
Docker Run
attach
동작중인 Container에 사용할 수 있는 명령어
Docker Run
extc
동작중인 Container에 사용할 수 있는 명령어
Docker Run
rm
동작중인 Container에 사용할 수 있는 명령어
Docker Run
ps
동작중인 Container에 사용할 수 있는 명령어
Docker Run
top
동작중인 Container에 사용할 수 있는 명령어
Docker Run
logs
동작중인 Container에 사용할 수 있는 명령어
Docker Run
resource
Container Resource 제어
Memory 제한
monitoring
cAdvisor Utility
Linux 리소스 모니터링. Web Portal 제공. Host 뿐아니라, Docker Container의 모니터링 제공
stress
Stress Utility
부하 테스트 프로그램
df.sh
Docker App구축 Example
Example 1
app
Docker App구축 Example
Example 1
wordpress
Docker Network 구성
Default Network
prune
Docker 미사용 Object 삭제
Docker Prune
mariadb
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
option
Docker-compose Yaml Option
Docker-compose Yaml Option
parameter
Docker-compose 파라미터 전달 방법
service-service.sh에게 전달한 파라미터를 환경변수로 설정하고, docker-compose에서 이것을 읽어들인다
shell
Docker-compose 파라미터 전달 방법
service-service.sh에게 전달한 파라미터를 환경변수로 설정하고, docker-compose에서 이것을 읽어들인다
linux
Linux Command Favorites
Linux 방화벽 Open / Service Port 체크
방화벽
Linux Command Favorites
Linux 방화벽 Open / Service Port 체크
favorites
Linux Command Favorites
Linux 방화벽 Open / Service Port 체크
hive
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
dockerhub
Jenkins - Docker CI/CD to Docker Hub
Pipeline Type : Scripted pipeline 매개변수 appName : manager-api BUILD_NUMBER :1.0
atributte
Nifi Atributte
frowFile의 메타속성(Attribute) 을 다룬다.
db
Nifi DB
1. ConvertJsonToSQL Json을 SQL DML문으로 변환하다
execute
Nifi Execute
1. ExecuteStreamCommand ** 외부 프로세서를 실행시키고 외부 프로세서가 받는 STDIN으로 FlowFile의 Contents를 넘겨주는 작업 Python script 실행. 특적 Directory의 파일을 하나씩 전달하는 것으로 보임.
file
Nifi File
1. GenerateFlowFile 임의의 FlowFile을 한 개씩 1 Byte 문자로 생성하라는 의미이다.
hdfs
Nifi HDFS
1. PutHDFS flowFile을 HDFS로 저장한다
json
Nifi Json
1. JsonTreeReader와 JsonPathReader의 차이 JsonTreeReader는 전체 JSON을 레코드로 읽거나 최상위 배열의 경우 배열의 각 요소를 (전체적으로) 레코드로 읽습니다. JsonPathReader를 사용하면 전체 흐름 파일 내의 특정 개체 / 레...
flowfile
Nifi FLOWFILE
1. UpdateRecord
recreate
K8S Deployment - Recreate
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
rollingUpdate
K8S Deployment - Rolling Update
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
replicaset
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
replicas
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
selector
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
vagrant
K8S Setup (Vagrant)
* KVM을 이용한 설치가이드 https://www.inflearn.com/course/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EA%B8%B0%EC%B4%88/lecture/24556?tab=curriculum&volume=0.44
vm
K8S Setup (Vagrant)
* KVM을 이용한 설치가이드 https://www.inflearn.com/course/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EA%B8%B0%EC%B4%88/lecture/24556?tab=curriculum&volume=0.44
job
K8S Job
Job은 1회성 작업을 할때 사용한다.
parallelism
K8S Job
Job은 1회성 작업을 할때 사용한다.
do
K8S Commands
1. 사전 작업
endpoint
K8S Commands
1. 사전 작업
describe
K8S Commands
1. 사전 작업
error
K8S Commands
1. 사전 작업
service
K8S Commands
1. 사전 작업
yaml
K8S Commands
1. 사전 작업
stdin
K8S Commands
1. 사전 작업
exec
K8S Commands
1. 사전 작업
fail
K8S Commands
1. 사전 작업
affinity
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
anti affinity
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
node
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
matchExpressions
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
required
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
perpered
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
sample
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
phase
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
initContainers
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
imageID
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
CrashLoopBackOff
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
Conditions
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
Lifecycle
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
probe
K8S Readness, Liveness
K8S는 Container가 정상인지만 확인한다. Container의 Service가 비정상인 경우 확인하지 못하며, 이 경우를 대비해 Readness, Liveness 설정이 필요하다. Readness와 Liveness는 설정방법은 동일하면 적용시점만 다르다.
emptydir
K8S Volume
1. emptyDir
hostpath
K8S Volume
1. emptyDir
block
K8S Volume - Block Storage
주로 SAN(Storage Area Network)를 기반으로 생성한다. 동시에 2개이상의 Node에서 연결을 허용하지 않고, 많은 데이터를 처리하는데 잇점이 있어서 DB를 구성하는데 사용된다.
dynimic
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
provisioning
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
dive
Linux (K8S) Tools
1. Dive
watch
Linux (K8S) Tools
1. Dive
configmap
Springboot K8S configMap 연동
1. 설정방법
platform
Springboot On Cloud Platform
Kubernetes
kubernetes
Springboot On Cloud Platform
Kubernetes
8083
Kafka Connect Cluster 구성
* 동일 서버에 추가 Connect (Worker) 실행
plugins
Kafka Connect 명령어
jq / http
rest-api
Kafka Connect 명령어
jq / http
sink
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
transform
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
converter
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
spooldir
Kafka Connect - Spooldir
1) 소스 위치
bean
Springboot Bean 설정 방법
1. Bean 설정 파일 이용
aspect
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
around
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
execution
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
payment
Springboot Proxy 패턴
1. Proxy 패턴
store
Springboot Proxy 패턴
1. Proxy 패턴
github
Springboot Reference
Kalphageek’s Github Wiki
lombok
Springboot Reference
Kalphageek’s Github Wiki
hateos
Springboot Reference
Kalphageek’s Github Wiki
arguments
Springboot Reference
Kalphageek’s Github Wiki
jpa
Springboot Reference
Kalphageek’s Github Wiki
api
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
validator
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
errors
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
isbadrequest
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
requestbody
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
jsoncomponent
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
mockbean
Springboot Test
1. 슬라이스 테스트
perform
Springboot Test
1. 슬라이스 테스트
jsonpath
Springboot Test
1. 슬라이스 테스트
mockito
Springboot Test
1. 슬라이스 테스트
displayname
Springboot Test
1. 슬라이스 테스트
autoconfiguremockmvc
Springboot Test
1. 슬라이스 테스트
controlleradvice
Springboot Exception
1. ExceptionHandler 우선 순위
datahubexception
Springboot Custorm Exception
1. Exception Type 정의
constants
Springboot Custorm Exception
1. Exception Type 정의
env
Springboot Configuration에서 env값 읽기
1. application.yml
security
Springboot Security
* InMemory에 설정된 사용자를 이용한 Security 설정
basic
Springboot Security
* InMemory에 설정된 사용자를 이용한 Security 설정
withmockuser
Springboot Security
* InMemory에 설정된 사용자를 이용한 Security 설정
mocmvc
Springboot Security
* InMemory에 설정된 사용자를 이용한 Security 설정
encrypt
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
decrypt
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
대칭키
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
비대칭키
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
bootstrap
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
feign
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
feignerrordecode
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
uri
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
configuration
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
exception
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
hoxton
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
dynamic-url
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
resilience4
Springboot Cloud Resilience4J
호출하는 Local API가 Remote API를 포함하는 경우, Remote API를 호출하는 부분에 CircuitBreaker를 구성하면 Remote API의 실패때문에 Local API까지 실패하는 것을 피할 수 있다이렇게 구성하면 Remot API에서 Exception...
circuitbreaker
Springboot Cloud Resilience4J
호출하는 Local API가 Remote API를 포함하는 경우, Remote API를 호출하는 부분에 CircuitBreaker를 구성하면 Remote API의 실패때문에 Local API까지 실패하는 것을 피할 수 있다이렇게 구성하면 Remot API에서 Exception...
hystrix
Springboot Cloud Resilience4J
호출하는 Local API가 Remote API를 포함하는 경우, Remote API를 호출하는 부분에 CircuitBreaker를 구성하면 Remote API의 실패때문에 Local API까지 실패하는 것을 피할 수 있다이렇게 구성하면 Remot API에서 Exception...
profiles
Springboot Profiles 설정
1. Default Profile 설정
local
Springboot Profiles 설정
1. Default Profile 설정
default
Springboot Profiles 설정
1. Default Profile 설정
application.yml
Springboot Profiles 설정
1. Default Profile 설정
httpie
Confluent Setup
Confluent 설치
kafkacat
Confluent Setup
Confluent 설치
kcat
Confluent Setup
Confluent 설치
jdbc
Confluent Connectors
SMT 적용
promtail
K8S PLG(Promtail, Loki, Grafana) 스택 설치
1. PLG 설치
loki
K8S PLG(Promtail, Loki, Grafana) 스택 설치
1. PLG 설치
grafana
K8S PLG(Promtail, Loki, Grafana) 스택 설치
1. PLG 설치
logging
K8S PLG(Promtail, Loki, Grafana) 스택 설치
1. PLG 설치
nexus
K8S Setup (Nexus)
- Container Engine으로 containerd를 사용하도록 한다. Docker는 Image build용으로 사용하기 때문에 그 용도가 없으면 설치하지 않아도 됨 - Centos 8.4 - Master 3대, Worker 5대
containerd
K8S Setup (Nexus)
- Container Engine으로 containerd를 사용하도록 한다. Docker는 Image build용으로 사용하기 때문에 그 용도가 없으면 설치하지 않아도 됨 - Centos 8.4 - Master 3대, Worker 5대
reset
K8S Setup (Nexus)
- Container Engine으로 containerd를 사용하도록 한다. Docker는 Image build용으로 사용하기 때문에 그 용도가 없으면 설치하지 않아도 됨 - Centos 8.4 - Master 3대, Worker 5대
shortcut
K8S Shortcut Setup
kubectl 명령어와 옵션을 shortcut으로 사용할 수 있도록 bash-completion기능을 사용해 자동완성을 설정한다
bash-completion
K8S Shortcut Setup
kubectl 명령어와 옵션을 shortcut으로 사용할 수 있도록 bash-completion기능을 사용해 자동완성을 설정한다
upgrade
K8S version upgrade
upgrade plan -> kubeadm upgrade -> kubelet upgrade -> restart
plan
K8S version upgrade
upgrade plan -> kubeadm upgrade -> kubelet upgrade -> restart
loadbalancer
K8S loadbalancer
1. MetalLb 설치 및 LoadBalancer 테스트
metallb
K8S loadbalancer
1. MetalLb 설치 및 LoadBalancer 테스트
ingress
K8S loadbalancer
1. MetalLb 설치 및 LoadBalancer 테스트