전환 목적현재 회사에서 모니터링 및 APM 도구로 Datadog 을 사용하고 있습니다.그러나 DataDog이 AWS VPC 외부에 있는 모니터링 툴이다 보니, 외부로 나가는 트래픽 비용이 상당히 발생하고 있었습니다. 또한, 외부 통신을 사용하다 보니 보안 측면에서도 고려해야 할 부분이 많다고 느꼈습니다. 고려 사항이러한 비용 문제와 보안 이슈를 해결하기 위해 내부 네트워크에서 통신할 수 있는 방법을 찾던 중, Datadog에서 제공하는 Private Endpoint를 활용하여 내부 통신을 할 수 있게 지원이 가능하다는 문서를 발견하게 되었고, 이를 적용하기 위해 몇가지를 고려해 보았습니다. 첫 번째로, 현재 사용하는 서비스가 ap-northeast-2(Seoul) 리전에 한정되어있다보니, us-east-..
1. Prometheus HA 문제 기존 프로메테우스 환경은 단일 노드에서 로컬 저장소를 사용하는 단순한 구조로 이루어져있습니다. prometheus 는 서버를 주체적으로 데이터를 수집해오는 server-side pool 방식을 사용하므로 prometheus 가 정지되어있는 동안에는 데이터 누락이 발생하게됩니다. 또한 프로메테우스 자체에서 HA구성을 지원하지 않기 때문에, 모니터링서비스가 많아질 수록, scale out을 할 수 없는 문제점이 있습니다. 2. Thanos 란 2-1) Thanos 정의 - Thanos 란 prometheus 기반 오픈소스프로젝트 - 모니터링 시스템 확장 도구 - 프로메테우스에서 scale out 이 가능한 도구 - HashMode 사용 Hashmode 란? Target의 ..
1. Grafana 정의 대표적인 오픈소스 데이터 시각화 및 대시보드 도구 AGPLv3 라이센스 기반 - 개인이 사용하기에는 상관이 없지만, 기업에서 사용할 경우, 소스코드를 공개해야되기 때문에 문제가 있음 AGPLv3 라이센스란? AGPL은 자유 및 오픈소스 소프트웨어 (FOSS) 프로젝트에 대한 사용조건과 제약을 정의하는 라이센스 해당 라이센스를 사용하는 소프트웨어의 경우, 수정된 소프트웨어를 배포할 때에 소스코드를 공개해야 합니다 이러한 이슈로 인해서 구글에서도 해당 라이센스에 해당되는 소프트웨어를 사용하지 말라고 권고하고 있습니다. https://opensource.google/docs/using/agpl-policy/ AGPL Policy | Google Open Source AGPL Polic..
ECMP 대규모의 서비스를 운영할때, 로드밸런서는 필수적으로 사용해서 분산 처리하고 있습니다. 기본적으로 로드밸런서는 L2 방식일 때 확장이 불가능합니다. 트래픽이 몰릴 때, 로드밸런서의 서버 사양을 올리는 Scale Up 작업을 진행합니다. 그러나 여기에서는 한계가 발생합니다 하드웨어가 아무리 좋아도, 계속 늘어나는 수천만건의 처리량을 따라갈 수 없습니다. 그러면 로드밸런서도 Scale out 방식을 이용하게 되면, 처리량이 늘때마다, 로드밸런서를 추가해주면 됩니다. 로드밸런서의 Scale out 방식을 이용하려면 ECMP + BGP 를 이용하면 됩니다. 1) ECMP (Equal-Cost Multipath) - 네트워크에서 여러 경로를 사용하여 트래픽을 분산시키는 라우팅 기술 - 트래픽을 여러 경로로..
1. Redash 란 MySQL이나 Redshift, DynamoDB 등의 다양한 종류의 데이터베이스를 연동하고, 데이터베이스에 쿼리한 결과를 바탕으로 다양한 그래프를 만들 수 있는 BI 서비스 redash : https://github.com/getredash/redash GitHub - getredash/redash: Make Your Company Data Driven. Connect to any data source, easily visualize, dashboard and share your Make Your Company Data Driven. Connect to any data source, easily visualize, dashboard and share your data. - GitHu..
1. FastAPI란 FastAPI프레임워크, 고성능, 간편한학습, 빠른코드작성, 준비된프로덕션 • 빠름: (Starlette과 Pydantic 덕분에) NodeJS 및 Go와 대등할 정도로 매우 높은 성능. 사용 가능한 가장 빠른 파이썬 프레임워크 중 하나. • 빠른 코드 작성: 약 200%에서 300%까지 기능 개발 속도 증가. • 적은 버그: 사람(개발자)에 의한 에러 약 40% 감소. • 직관적: 훌륭한 편집기 지원. 모든 곳에서 자동완성. 적은 디버깅 시간. • 쉬움: 쉽게 사용하고 배우도록 설계. 적은 문서 읽기 시간. • 짧음: 코드 중복 최소화. 각 매개변수 선언의 여러 기능. 적은 버그. • 견고함: 준비된 프로덕션 용 코드를 얻으십시오. 자동 대화형 문서와 함께. • 표준 기반: API..
Clickhouse https://github.com/clickhouse/clickhouse GitHub - ClickHouse/ClickHouse: ClickHouse® is a free analytics DBMS for big data ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub. github.com 아래 내용글들은 kakaoif2020 에서 소개된 내용을 정리한것입니다. https://tv.kakao.com/channel/3693125/cliplink/414129353 clickhouse란 - Distribut..
1. Prometheus 정의 1) Prometheus란 오픈소스 시스템 모니터링 Metric을 시계열 데이터(Time-series data : 시간별로 변화하는 데이터)로 수집 저장 2) 특징 다차원 데이터 모델 PromQL 쿼리 지원 자체 데이터저장 Monitoring-Pull 방식 Monitoirng-Push 방식도 지원(Gateway를 이용) 3) 구성방식 4) Metric Type 프로메테우스에서 제공하는 메트릭 타입은 총 4가지가 있습니다. Counter : 모니터링의 누적 개수 혹은 크기. 증가값 ex) total_req send/receive bytes, uptime Gauge : 현재 상태 표현. Up&Down 증감값 ex) cpu/memory usage, tempature, concur..
RUBY RVM 으로 버전별 설치가 가능합니다. 1. 필수 패키지 설치 yum install curl gcc gcc-c++, readline-devel, zlib-devel, libyaml-devel, libffi-devel, openssl-devel, autoconf, automake, libtool, bison 2. RVM 설치 - RVM 설치 시, RUBY 최신버전도 같이 설치됩니다. curl -L https://get.rvm.io | bash -s stable --ruby source /usr/local/rvm/scripts/rvm rvm list =* ruby-3.0.0 [ x86_64 ] # => - current # =* - current && default # * - default 참고 더..
https://docs.percona.com/percona-software-repositories/installing.html Percona Software Installation - Percona Software Repositories Installation on Debian and Ubuntu LinuxInstallation on Red Hat Enterprise Linux and compatible derivatives If you are running a DEB-based distribution, such as Debian or Ubuntu Linux, use the apt package manager to install the percona-release official pack docs.per..