GoldTree of C.E

이번시간에는 RDS에 대해 공부한다. RDS는 Relation Database Service의 약자로 클라우드에 데이터베이스를 구축할 수 있는 환경을 만들어 주는 서비스이다. DB생성 생성해보자. 생성 시 들어가는 페이지다. DB 인스턴스 식별자는 DB 이름을 정하는 것이다. 마스터 사용자, 암호는 root같은 것이다. 가장 중요한 것이다. 퍼블릭 엑세스를 "예"로 바꿔야 외부에서 원격으로 접속할 수 있다. 그렇게 해서 생성 버튼 클릭 시 데이터베이스가 생성된것을 볼 수 있다. DB설정 DB에 들어가서 유지 관리 및 백업으로 들어가면 볼 수 있는 화면이다. 자동 백업이 7일단위로 이뤄져있는것을 알 수 있다. 그 아래 볼 수 있는 스냅샷이다. 스냅샷이란 확인 당시의 DB자료를 저장한것이다. 나중에 복원할때..

Apache Spark 3.2.1를 설치하고 환경설정을 진행한다. 스파크 클러스러를 사용하기 위해서는 spark-env.sh spark-defaults.conf, workers를 편집하면 된다. Spark 설치 및 환경설정 # EC2 Ubuntu terminal # 설치 관리용 디렉토리 이동 cd /install_dir # Spark 3.2.1 설치 sudo wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz # Spark 3.2.1 압축 해제 sudo tar -xzvf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local # Spark 디렉토리 이름 변경 sudo mv /usr/local/s..

Apache Hadoop 3.2.3를 설치하고 환경설정을 진행한다. 하둡 클러스터를 사용하기 위해서는 hdfs-site.xml, core-site.xml, yarn-sit.xml, mapred-site.xml, Hadoop-env.sh, workers, masters를 편집해야 한다. Hadoop 설치 및 환경설정 # EC2 Ubuntu terminal # 설치파일 관리용 디렉토리 생성 sudo mkdir /install_dir && cd /install_dir # Hadoop 3.2.2 설치 sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz # Hadoop 3.2.2 압축 해제 sudo tar -zxvf h..

앞으로 사용할 Hadoop, Yarn, Spark, Zookeeper는 JVM에서 동작하기에 Java가 필수적으로 설치 되어 있어야 한다. 라이브러리 설치 Ubuntu에서 apt-get을 이용해 필요한 라이브러리를 설치한다. # EC2 Ubuntu terminal # 업데이트 목록 갱신 sudo apt-get -y update # 현재 패키지 업그레이드 sudo apt-get -y upgrade # 신규 업데이트 설치 sudo apt-get -y dist-upgrade # 필요 라이브러리 설치 sudo apt-get install -y vim wget unzip ssh openssh-* net-tools Java 8 설치 # EC2 Ubuntu terminal # Java 8 설치 sudo apt-get..

Zookeeper란? 주키퍼는 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트이다. 이러한 어플리케이션의 목적은 개발자가 코디네이션 로직보다는 비즈니스 핵심 로직에 집중하게끔 지원하는 역할을 한다. 주키퍼는 Leader Follower로 구성되는 Master-Slave 아키텍처를 기반으로 구성되어 있다. NameNode에 장애가 발생하면 모든 클라이언트가 HDFS를 사용할 수 없기에 stanby namenode를 둔다. 액티브 네임노드는 네임노드의 역할을 수행하고, 스탠바이 네임노드는 액티브 네임노드와 동일한 메타데이터 정보를 유지하다가, 액티브 네임노드에 문제가 발생하면 스탠바이 네임노드가 액티브 네임노드로 동작하게 됩니다. 액티브 네임노드에 문제가 발생하는 것을 자동으로 확인하는 것이 어렵기 때문..

1.스프링 MVC 개요 스프링 프레임워크는 MVC 패턴을 준수한다.그럼 MVC란 무엇인가? MVC는 Model-View-Controller 약자로 소프트웨어공학에서 사용되는 아키텍쳐 패턴으로 MVC 패턴의 주 목적은 Business logic과 Presentation logic을 분리하기 위함이다. 모델, 뷰, 컨트롤러는 각각의 인터페이스가 정의되어 있어 서로 구현에 의존적이지 않아 약한 결합도로 구성되어 유연하고 확장하기 쉽다는 이점이 있다. MVC패턴은 크게 Model1패턴과 스프링이 채택한 Model 2패턴으로 나눌 수 있다. Model 1 Model 1 패턴의 경우 View와 Controller를 모두 JSP가 담당하는 형태를 가진다. 즉 JSP 하나로 유저의 요청을 받고 응답을 처리하므로 구현 ..

우분투 디렉토리 구조 리눅스 시스템 디렉토리 구조는 전체적으로 역 트리(tree) 구조를 하며, 명령어의 종류와 성격, 사용권한등에 따라 각각의 디렉토리들로 구분된다. 루트 하위디렉토리로는 수많은 디렉토리가 있지만 그 중에 몇가지만 살펴보자. /(루트) 최상의 디렉토리인 루트 디렉토리를 의미하며, 리눅스의 모든 디렉토리들의 시작점이다. 즉, 모든 디렉토리들을 절대경로로 표기할 때 이 티렉토리로부터 시작해야 한다. /bin 기본적인 명령어가 저장된 디렉토리. 즉, 리눅스 시스템사용에 있어 가장 기본적이라고 할 수 있는 mv, cp, rm 등과 같은 명령어들이 이 디렉토리에 존재하며 root사용자와 일반사용자가 함께 사용할 수 있는 명령어 디렉토리이다. /etc 시스템의 거의 모든 설정파일이 존재하는 티렉토..

AWS에서는 아래 그림처럼 많은 서비스들을 제공한다. 이 많은 서비스들 중 앞으로 공부할 것은 EC2, S3가 있는데 이번 시간에는 EC2에 대해 작성하려 한다. 1. EC2 EC2는 Elastic Compute Cloud의 약자로 클라우드에서 확장 가능 컴퓨팅 용량을 제공한다. 이름에서 짐작할 수 있듯이 원하는 수의 가상 서버를 구축하고 보안 및 네트워킹을 구성하며 스토리지를 관리할 수 있으며, 확장 또는 축소를 통해 요구 사항 변경 또는 사용량 스파이크를 처리할 수 있다. 인스턴스 인스턴스는 가상 컴퓨팅 환경을 뜻한다. 인스턴스 유형은 인스턴스를 위한 CPU, 메모리, 스토리지 및 네트워킹을 기준으로 용량의 다양한 조합으로 구성된 여러가지 인스턴스 유형을 제공한다. 위 그림의 인스턴스 패밀리를 표로 ..

1.데이터 액세스 층 데이터 액세스 층의 역할은 데이터 액세스 처리를 비즈니스 로직 층에서 분리하는 것이다. 이를 통해 비즈니스로직층은 데이터 액세스처리에 신경쓰지 않고 기술할 수 있으므로 소스코드가 간결해지며, 유지관리가 쉬워진다. DAO(Data Access Object) DAO는 데이터 액세스 처리에 특화된 오브젝트로 데이터 취득과 변경(CRUD)에 데이터 처리의 역할을 한다. DAO가 CRUD메서드를 실행하면 자 JDBC,Hybernate,MyBatis, JPA등의 여러 프레임워크를 통해 데이터 액세스 기술을 처리한다. DAO패턴 DAO패턴은 데이터 취득과 변경에 데이터 처리를 DAO 오브젝트로 분리하는 패턴이다. 구성은 DAO 인터페이스와 DAO 인터페이스를 구현한 클래스, 데이터 전송 객체(D..

가상화란? 클라우드 컴퓨팅은 가상화 기술을 사용하여 자원들에 접근한다. 그럼 가상화는 무엇인가? 가상화는 물리적 IT 자원을 가상의 IT 자원으로 전환시키는 기술이다. 가상화 유형은 크게 데스크탑 가상화, 서버 가상화, 네트워크 기능 가상화등이 있다. 그럼 가상화가 주는 이점이 무엇이길래 사용을 하는가? 하드웨어 독립성 가상화 되지 않은 환경에서 운영체제는 특정 HW 모델에 맞추 설정되고 IT자원이 수정될 필요가 있으면 재설정 하드웨어 독립성을 통해 가상 서버는 다른 가상 호스트로 손쉽게 이전될 수 있고 자동으로 여러 HW, SW 간 비호환성 문제를 해결한다. 서버 통합 제공 가상화 기술은 여러 가상 서버가 하나의 물리적 서버를 공유할 수 있게 한다. 서버 통합은 여러 가상 서버가 여러 게스트 OS에서 ..