GoldTree of C.E

Chapter06_RDS RDS는 Relation Database Service의 약자로 클라우드에 데이터 베이스를 구축할 수 있는 환경을 만들어 주는 서비스이다 RDS에는 Amazon Aurora(MySQL 호환), Amazon Aurora(PostgreSQL 호환), MySQL, MariaDB, PostgreSQL, Oracle 및 SQL Server의 7가지 주요 엔진이 있으며, 이번 시간에 실습해볼 엔진은 MySQL이다. 실습 1.AWS에서 RDS를 검색하면 들어가면 볼 수 있는 페이지에서 데이터베이스 생성을 클릭한다. 2.데이터베이스 생성 방식 선택 & 엔진 옵션 데이터베이스 생성을 클릭하면 들어갈 수 있는 페이지이다. 여기서 데이터베이스 생성 방식 선택은 표준 생성으로 하고, 엔진은 앞서 말했..

RDD RDD는 Resilient Distributed Dataset의 줄임말로 스파크의 기본 데이터 구조이다. 분산 변경 불가능한 객체 모음이며, 스파크의 모든 작업은 새로운 RDD를 만들거나 존재하는 RDD를 변형하거나 결과 계산을 위해 RDD에서 연산하는 것을 표현하고 있다. Create RDD RDD를 생성하는 법은 3가지가 있다. 직접 생성 parallelize() 함수를 이용한 RDD 생성 parallelize(c, numClices=None) 기능 : RDD로 구성해줌. C : Interables, numSlices : 분할할 갯수 createDataFrame() 함수를 이용한 RDD 생성 기존데이터를 이용한 생성 read and load를 이용한 RDD 생성 Example paralleli..

기존에 만들었던 AWS Ec2인스턴스에 RDS를 이용하지 않고 MySQL 서버를 구축하려한다. MySQL MySQL설치 현재 Docker 이미지와 컨테이너를 살펴보면 MySQL이 설치가 안되어 있다. docker pull를 이용해 mysql를 설치하자. docker 이미지를 확인해보면 mysql이 잘 설치 된것을 볼 수 있다. MySQL 컨테이너 생성 MySQL 컨테이너 생성 시 MySQL과 Host의 포트를 연결해야한다. sudo docker run --name mysql-lecture -e MYSQL_ROOT_PASSWORD= -d -p 3306:3306 mysql:5.6 컨테이너 생성에 오류가 났다. 이미 Aws3306포트를 누군가 사용하고 있단다. docker 컨테이너를 확인해보면 STATUS가 ..

Docker 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼이다. Docker는 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징하며, 이 컨테이너는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있다. docker를 사용하면 환경에 구애받지 않고 개발이 가능하며, 호환성도 뛰어나다. Docker Container VS Virtual Machine 컨테이너는 Host OS 상에서 리소스를 논리적으로 구분하여 마치 별도의 서버인 것처럼 사용할 수 있게 하는 기술이다. 이를 Virtual Machine과 비교를 하면, Virtual Machine(Hosted/ Bare Metal Hypervisor) 애플리케이션 자체와 필요한 바이..

트랜잭션 만약 데이터베이스의 데이터를 수정하는 도중에 예외가 발생된다면 어떻게 해야 할까? DB의 데이터들은 수정이 되기 전의 상태로 다시 되돌아가져야 하고, 다시 수정 작업이 진행되어야 할 것이다. 이렇듯 여러 작업을 진행하다가 문제가 생겼을 경우 이전 상태로 롤백하기 위해 사용되는 것이 트랜잭션(Transaction)이다. 트랜잭션은 더 이상 쪼갤 수 없는 최소 작업단위이며 전체 로직이 모두 다 반영되거나 모두 반영되지 않은 논리적인 작업(All or Nothing)의 묶음을 의미한다. 논리적 단위로 어떤 한 부분의 작업이 완료되었다 하더라도, 다른 부분의 작업이 완료되지 않을 경우 전체 취소한다. 이때 작업이 완료되는 것을 커밋(commit)이라 하며, 작업이 취소되는 것을 롤백(rollback)이..

네트워크 네트워크는 Net + Work의 합성어로써 컴퓨터가 통신 기술을 이용하여 그물망처럼 연결된 통신 이용 형태를 의미한다. 즉, 두 대 이상의 컴퓨터들을 연결하고 서로 통신 할 수 있는것이다. 시스템은 다음과 같이 구성되어 있다. 노드(Node) : 인터넷에 연결된 시스템 호스트(Host) : 컴퓨팅 기능이 있는 시스템 클라이언트(Client) : 서비스를 요청하는 시스템 서버(Server) : 서비스를 제공하는 시스템 네트워크 주소는 네트워크 상에 존재하는 노드를 고유하게 식별할 수 있게 해주는 일종의 식별자이다. 주소는 다음과 같이 구성되어 있다. MAC주소 : 모든 기기를 식별할 수 있도록 부여된 고유 주소이다. Link계층에서 사용하며, LAN 카드에 내장되어있다. IP 주소 : 모든 기기를..

RDD(Resilient Distributed Dataset) RDD는 스파크가 사용하는 핵심 데이터 모델로서 다수의 서버에 걸쳐 분산 방식으로 저장된 데이터 요소들의 집합이다. 병렬 처리가 가능하고 장애가 발생할 경우에도 스스로 복구될 수 있는 내성을 갖고 있다. RDD에 속한 요소들은 파티션이라 하는 더 작은 단위로 나눠질 수 있는데, 스파크는 작업을 수행할 때 바로 이 파티션 단위로 나눠서 병렬로 처리를 수행한다. 즉, RDD는 분산 데이터 모델이며 내부에는 단위 데이터를 포함하고 있고 저장할 때는 여러 서버에 나누어 저장되며, 처리할 때는 각 서버에 저장된 데이터를 동시에 병렬로 처리할 수 있는 모델이다. Databricks Databricks는 Spark 기반의 분석 플레폼 서비스를 제공한다. ..

AOP를 들어가기에 앞서 다음 3가지의 용어를 알 필요가 있다. 관심사(Concern) 어플리케이션을 개발하기 위한 구현 기능들을 관심사(Concern)라 한다. 어플리케이션의 비즈니스 중요 기능들을 핵심 관심사(Core Concern)이라 한다. 횡단 관심사(Cross-Cutting-Concern) 여러 모듈에 걸쳐 공통적이고 반복적으로 필요로 하는 처리 내용을 횡단 관심사라 한다. 횡단 관심사 분리 횡단 관심사를 한 곳으로 모으는 것을 횡단 관심사의 분리(Separation Of Cross-Cutting Concern)이라 하며, 이를 실현하는 방법을 관점지향 프로그래밍이라 한다. AOP 정의 AOP는 Aspect Oriented Programming의 약자로 관점 지향 프로그래밍이다. 관점 지향은 ..

Spark 하둡에서 하나의 데이터셋이 반복되어 재사용되는 작업의 효율적 처리를 위한 프레임워크에서 탄생한 Spark는 인메모리 기반의 대용량 데이터 고속 처리 엔진으로 범용 분산 클러스터 컴퓨팅 프레임워크이다. Spark는 변환 및 이들 간의 종속성을 나타내는 RDD와 DAG의 개념을 기반으로 구축되었다. 스파크의 특징은 다음과 같다. 빠르고 다양한 데이터 처리 인메모리(In-Memory)기반의 빠른처리 DAG(Directed Acyclic Graph)기반 처리엔진 보유 Ease of Use 다양한 언어 지원(Java, Scala, Python, R)을 통한 사용의 편이성 제공 Java를 제외한 언어에 대해 REPS(Read, Evaluate, Print, Loop)기능의 쉘을 제공 다양한 라이브러리 제..

MyBatis개요 MyBatis는 ORM(Object Relational Mapping)기술중 하나로 SQL과 자바 객체를 매핑하는 사상에서 개발된 데이터베이스 접근용 프레임워크이다. ORM이란? 더보기 ORM은 Object Relational Mapping의 약자로 Object는 객체지향 언어의 객체를, Relational은 관계형 데이터베이스의 데이터를, Mapping은 객체지향 언어의 객체와 관계형 데이터를 서로 변환 해준다는 의미를 갖고있다. 즉, ORM이란 관계형 데이터베이스에서 조회한 데이터를 Java 객체로 변환하여 리턴해 주고, Java 객체를 관계형 데이터베이스에 저장해 주는 라이브러리 혹은 기술을 뜻한다. MyBatis의 장점은 다음과 같다. SQL의 체계적인 관리(설정 파일, 애노테이..