K8S Metrics Server setup
1. Node Level Logging
Category
- k8s 26
- springboot 18
- ogg 16
- nifi 14
- docker 11
- kafka 8
- jenkins 6
- docker-compose 5
- utility 4
- spark 4
- test 2
- confluent 2
- blog 1
- linux 1
k8s
K8S Logging
1. Node Level Logging
Create Monitor by Headless
1. Headless로 모니터 pod생성하기
Create Monitor by Headless
1. Headless로 모니터 pod생성하기
K8S Pod
Pod 설정
K8S Job
1회성 작업에 사용한다. 작업이 종료돼도 log확인을 위해 pod가 삭제되지 않는다.
K8S DemonSet
nodeSelector가 설정되지 않으면, replicas 설정없이 전체 Node에 pod 생성
Ansible
1. Yum 환경 설정
K8S loadbalancer
1. MetalLb 설치 및 LoadBalancer 테스트
K8S version upgrade
upgrade plan -> kubeadm upgrade -> kubelet upgrade -> restart
K8S Shortcut Setup
kubectl 명령어와 옵션을 shortcut으로 사용할 수 있도록 bash-completion기능을 사용해 자동완성을 설정한다
K8S Setup (Nexus)
- Container Engine으로 containerd를 사용하도록 한다. Docker는 Image build용으로 사용하기 때문에 그 용도가 없으면 설치하지 않아도 됨 - Centos 8.4 - Master 3대, Worker 5대
K8S Volume - StorageOS
StorageOS는 Dynamic Provisioning을 지원하며, pvc를 생성하면 자동으로 pv가 생성된다.
K8S Volume - Block Storage
주로 SAN(Storage Area Network)를 기반으로 생성한다. 동시에 2개이상의 Node에서 연결을 허용하지 않고, 많은 데이터를 처리하는데 잇점이 있어서 DB를 구성하는데 사용된다.
K8S Volume
1. emptyDir
K8S Readness, Liveness
K8S는 Container가 정상인지만 확인한다. Container의 Service가 비정상인 경우 확인하지 못하며, 이 경우를 대비해 Readness, Liveness 설정이 필요하다. Readness와 Liveness는 설정방법은 동일하면 적용시점만 다르다.
K8S Pod Lifecycle
Pod와 Container Lifecycle에 따른 상태
K8S Node Scheduling
Pod를 원하는 Node에 배포하기 위해 필요하다.
K8S Helm 설치 및 repo 등록, chart 등록
1. 자동 최신버전 다운로드
K8S Commands
0. Cheat Sheet
K8S Job
Job은 1회성 작업을 할때 사용한다.
K8S Setup (Vagrant)
* 설치 후 Dashboard 접근
K8S ReplicaSet
ReplicaSet은 replicas, selector, template으로 구성되는데, pods의 auto healing/scaling을 가능하게하는 controller이다.
K8S Deployment - Rolling Update
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
K8S Deployment - Recreate
Deployment는 Software의 자동 Update를 위해 사용한다. ReplicaSet과 동일하게 replicas, selector, template 정의가 필요하며, 추가로 strategy type (Recreate, RollingUpdate 등) 정의가 필요하다. ...
springboot
Springboot Profiles 설정
1. Default Profile 설정
Springboot Cloud Resilience4J
호출하는 Local API가 Remote API를 포함하는 경우, Remote API를 호출하는 부분에 CircuitBreaker를 구성하면 Remote API의 실패때문에 Local API까지 실패하는 것을 피할 수 있다이렇게 구성하면 Remot API에서 Exception...
Springboot Cloud Openfeign
Openfeign의 ErrorDecoder를 이용해서 Exception을 처리한다.
Springboot 암호화/복호화
1. 대칭키를 이용한 암호화
Springboot Security
* InMemory에 설정된 사용자를 이용한 Security 설정
Springboot Configuration에서 env값 읽기
1. application.yml
Springboot Custorm Exception
1. Exception Type 정의
Springboot Exception
1. ExceptionHandler 우선 순위
Springboot Test
1. 슬라이스 테스트
Springboot API 입력값 검증 및 에러처리
*** Spring Validation VS Java Bean Validation***
Springboot Reference
Kalphageek’s Github Wiki
Springboot Proxy 패턴
1. Proxy 패턴
Springboot AOP
1. 특정 어노테이션에 적용하는 AOP
Springboot Bean 설정 방법
1. Bean 설정 파일 이용
Springboot On Cloud Platform
Kubernetes
Springboot K8S configMap 연동
1. 설정방법
Springboot K8S Readness/Liveness 연동
1. 설정 방법
Maven Docker Build (IntelliJ)
Maven에서 Docker Image 자동 Build
ogg
OGG 구축, 추출, 적재
참조 링크
OGG 용어 설명
ER : Extract and Replicat ODI : ETL. OGG 실시간 데이터를 Bulk처리 가능하다 Veridata : 데이터 검증 및 복구 스크립트 생성 가능하다 Monitoring ExtTrail : Local trail file ExtFile...
OGG Replicat Map Sample
Where
OGG Pipeline Setup 방법
1. Supplemental Log 설정 (소스DB) 1. Supplemental log 설정
OGG Performance View
dba_goldengate_inbound v$gg_apply_receiver v$gg_apply_reader v$gg_apply_coordinator v$gg_apply_server v$goldengate_table_stats
OGG 파라미터, 매크로
GLOBALS $ oggsrc $ ggsci -- $OGG_HOME/GLOBALS. 전체 공통 파라미터 설정 -- 개별 파라미터에서 GLOBALS의 파라미터에 대한 override 가능하다 > edit param ./GLOBALS
OGG Trail file 분석
```sh $ oggsrc $ ./logdump open dirdat/rt000000000 To view the trail file header: fileheader on To view the record header with data ghdr on 컬럼정보...
Initial Load by OGG (Direct)
Direct access을 이용한 Initial Load Extract ```sql Edit param eini Extract eini UserIdAlias oggadmin_root RMTHOST easthost, MGRPORT 7909 – rini을 자동으로 실행한다. R...
OGG S/W 설치 (MSA)
1. 환경 설정
OGG S/W 설치
Requirement S/W Volume Classic : 1.2 GB, MSA : 1.5 GB 필요 SWAP space 필요 Trail Volume Trail file size : Pick time때의 re...
Initial Load by OGG (Trail file)
Trail file을 이용한 Initial Load
GGSEVT
```sh view ggsevt 2017-04-06 11:10:02 INFO OGG-00987 Oracle GoldenGate Command Interpreter for Oracle: GGSCI command (oracle): edit param mgr. 2017-04-06...
OGG GGSCI Command
History $ alias $ oggsrc $ ggsci > history > ! > !2 정보 보기 GGSCI> -- lacct 통계정보 보기 > stats lacct -- lacct 상태정보 보기pipeline > status lacct --...
OGG Discard
$ vi dirrpt/rwconf.dsc Oracle GoldenGate Delivery for Oracle process started, group RWCONF discard file opened: 2017-04-10 12:43:13 ORA-20017: asta0009 614...
OGG Credential, Token, Compress
Credential
OGG View Report 샘플
pwconf
nifi
Nifi FLOWFILE
1. UpdateRecord
Nifi Example #1
1. csv파일조인
Nifi Text
1. ExtractText Regex를 이용해 검색된 문자를 추출한다. [사용자 Attribute] + . + [Regex의 Capturing Group 순번] 형태의 Dynamic Attribute를 생성해서 찾아진 값에 매핑한다. 사용자 Attribute가 “regex”이...
Nifi Log
1. LogAttribute FlowFile 정보를 NiFi 로그 파일($NIFI_HOME/logs/nifi-app.log)에 출력
Nifi Kafka
1. ConsumeKafka Kafka Topic을 Consume한다
Nifi Json
1. JsonTreeReader와 JsonPathReader의 차이 JsonTreeReader는 전체 JSON을 레코드로 읽거나 최상위 배열의 경우 배열의 각 요소를 (전체적으로) 레코드로 읽습니다. JsonPathReader를 사용하면 전체 흐름 파일 내의 특정 개체 / 레...
Nifi HDFS
1. PutHDFS flowFile을 HDFS로 저장한다
Nifi File
1. GenerateFlowFile 임의의 FlowFile을 한 개씩 1 Byte 문자로 생성하라는 의미이다.
Nifi Execute
1. ExecuteStreamCommand ** 외부 프로세서를 실행시키고 외부 프로세서가 받는 STDIN으로 FlowFile의 Contents를 넘겨주는 작업 Python script 실행. 특적 Directory의 파일을 하나씩 전달하는 것으로 보임.
Nifi DB
1. ConvertJsonToSQL Json을 SQL DML문으로 변환하다
Nifi Controller
1. DBCPConnectionPool Database 연결
Nifi Cluster
1. Sub Project
Nifi Atributte
frowFile의 메타속성(Attribute) 을 다룬다.
Nifi 설치
Docker 설치
docker
Springboot Docker Image Build
Springboot Docker Image Build
Docker 데이터 영구저장 및 공유
Volume Mount 되지 않은 변경사항은 Container가 삭제되었을때 함께 삭제된다..
Docker 미사용 Object 삭제
Docker Prune
Docker Network 구성
Default Network
Docker App구축 Example
Example 1
Docker Container 재시작 옵션
자동 재시작 명령어
Container Resource 제어
Memory 제한
Private Docker Registry 설치
Private Dockerhub를 구성하고, 필요한 Docker Image를 Push할 수 있다
동작중인 Container에 사용할 수 있는 명령어
Docker Run
Docker Image 검색
CLI에서 Image 검색
Dockerfile 명령어
Dockerfile 명령어
kafka
Kafka Connect - Spooldir
1) 소스 위치
Kafka Connect Plugins 설치
http://www.confluent.io/product/connectors
Kafka Connect 별도 Logging 구성
1) Log파일 자동 생성
Kafka Connect 명령어
jq / http
Kafka Connect Cluster 구성
* 동일 서버에 추가 Connect (Worker) 실행
Kafka Streams - Springboot Sample
Kafka Streams - Springboot Sample
Kafka - 이벤트 브로커와 메시지 브로커 차이
참조 : https://www.youtube.com/watch?v=H_DaPyUOeTo
jenkins
Jenkins - NodeJS 설치
1. Jenkins를 위한 NodeJS 설치 (Jenkins에서 자동설치 안되는 경우 )
Jenkins - NodeJS Build - Docker Push
Jenkins Pipeline Item
Jenkins - Cluster Setup
Slave Setup
Jenkins - Docker 연동
1. Docker Repository (Nexus) 확인
Jenkins - Docker CI/CD to Docker Hub
Pipeline Type : Scripted pipeline 매개변수 appName : manager-api BUILD_NUMBER :1.0
Jenkins 설치
Ubuntu에 설치
docker-compose
Docker-compose 파라미터 전달 방법
service-service.sh에게 전달한 파라미터를 환경변수로 설정하고, docker-compose에서 이것을 읽어들인다
Docker-compose Yaml Option
Docker-compose Yaml Option
Docker-compose Example (Visit Count)
방문횟수를 카운트하는 python 컨테이너 빌드와 운영
Docker-compose 명령어
Docker-compose 명령어
utility
Vim Utility
부하 테스트 프로그램
Linux (K8S) Tools
1. Dive
Stress Utility
부하 테스트 프로그램
cAdvisor Utility
Linux 리소스 모니터링. Web Portal 제공. Host 뿐아니라, Docker Container의 모니터링 제공
spark
Spark - Java / Maven (Iceberg)
1. Maven Project Setup
Spark 설치
Scala 설치
Spark Example, Hive에서 읽기
문법 참조, spark-submit, Spark공식사이트
Spark Example, Kafka에 쓰기
문법 참조, spark-submit, Spark공식사이트
test
Second Test Page
두번째 페이지 입니다
First Test Page
공지사항입니다 공지사항 순서 1 공지사항 순서 2
confluent
Confluent Connectors
SMT 적용
Confluent Setup
Confluent 설치
blog
Local Web server for Jekyll start
```bash $ cd kalphageek.github.io/
linux
Linux Command Favorites
Linux 방화벽 Open / Service Port 체크