일상

컴퓨터 구조에 대한 이론 공부 요약

사라만 — Tue, 27 Jan 2026 14:25:42 +0900

내가 보려고 만든 컴퓨터 구조에 대한 요약

1. CPU 구성요소와 역할

CPU는 레지스터 / ALU / 제어장치로 구성된다.

레지스터(Register): CPU 내부의 매우 빠른 저장공간으로, 주소만 저장하는 게 아니라 당장 실행/연산에 필요한 값들을 저장한다.
예)
- PC(Program Counter): 다음 실행할 명령어의 주소
- IR(Instruction Register): 현재 가져온 명령어 자체
- 범용 레지스터: 연산 데이터/중간 결과
- SP(Stack Pointer), FLAGS/PSW 등
ALU(Arithmetic Logic Unit): 산술/논리 연산을 수행한다. (실제 계산 담당)
제어장치(Control Unit): IR의 명령어를 **해석(디코드)**하고, 레지스터/ALU/메모리/버스에 제어 신호를 생성해 실행 흐름을 만든다.
즉 “CPU 내부에서 무엇을 언제 어떻게 동작시킬지”를 조정한다.

2. 캐시-메모리-디스크 계층이 나뉘는 이유

계층이 나뉘는 이유는 속도/비용/용량의 트레이드오프를 해결하기 위함이며, 이를 지역성(Locality)(시간/공간 지역성)으로 “현실적으로 이길 수 있기 때문”이다.

CPU에 가까울수록 빠르지만 비싸고 용량이 작다.
캐시는 보통 SRAM 기반이라 빠르지만 비싸고 용량이 작다. (캐시 라인 단위로 가져와 hit/miss가 성능을 좌우)
**메모리(RAM)**는 보통 DRAM 기반으로 캐시보다 느리지만 싸고 용량이 크다. 또한 휘발성이라 전원이 꺼지면 데이터가 사라지고, DRAM은 리프레시가 필요하다.
**디스크(SSD/HDD)**는 비휘발성이라 전원이 꺼져도 데이터가 유지되고 용량이 크며 상대적으로 저렴하지만 RAM보다 느리다.
그래서 프로그램/데이터의 영구 저장은 디스크가 담당하고, 실행 중인 코드는 RAM/캐시로 올라와 사용된다.

3. 명령어 실행 흐름과 파이프라인이 왜 필요한가

컴퓨터는 디스크의 프로그램을 RAM으로 올리고, CPU는 이를 캐시에 올려 실행한다. CPU는 Fetch → Decode → Execute(→ Memory → Writeback) 같은 흐름으로 명령어를 처리한다.

파이프라인이 필요한 이유는 “클럭에 맞추기 위해서”가 아니라, 명령어 처리 단계를 겹쳐 수행해 처리량(throughput)을 높이기 위해서다.
즉 한 명령어가 끝나길 기다리는 게 아니라, 각 단계를 동시에 다른 명령어로 굴려 매 클럭마다 결과가 나오게 하는 구조다.
다만 파이프라인은 hazard(데이터/구조/제어), 분기 예측 실패, 그리고 인터럽트/예외 처리 시 flush/정확한 상태 보장(precise interrupt) 같은 복잡도/비용을 만든다.
즉 파이프라인은 성능을 올리지만, 인터럽트 처리를 더 까다롭게 만든다.

4. 인터럽트가 왜 필요한가

인터럽트는 CPU가 계속 확인(polling)해야 하는 낭비를 줄이고, 우선 처리가 필요한 이벤트를 빠르게 처리하기 위해 필요하다.

인터럽트가 없으면 CPU가 주기적으로 I/O 장치 요청 여부를 확인해야 하고 이는 CPU 리소스를 낭비한다.
인터럽트가 있으면 CPU는 다른 작업을 수행하다가 요청이 들어왔을 때만 처리한다.
인터럽트가 발생하면 CPU는 보통
1. 현재 실행 상태(PC/FLAGS 등)를 저장
2. 커널 모드로 전환
3. 인터럽트 벡터(IVT/IDT)로 핸들러 주소를 찾아 실행
4. 처리 후 복귀
  의 흐름으로 동작한다.
NMI는 일반 인터럽트보다 더 특수하게, 마스크(차단)가 불가능한 성격이라 치명적 이벤트에서 최우선급으로 처리된다.

5. 시스템콜(유저 → 커널 전환)이 필요한 이유

시스템콜은 사용자 프로그램이 파일/네트워크/프로세스/메모리 같은 특권 자원을 안전하게 사용하기 위한 “커널 진입 통로”다.

사용자 모드가 직접 하드웨어/커널 자원을 다루면 시스템 안정성/보안이 깨질 수 있다.
그래서 커널만 가능한 작업(특권 명령, 장치 접근, 페이지 테이블 조작 등)은 커널 모드에서만 수행한다.
시스템콜 비용이 드는 이유는
- 유저→커널 모드 전환 오버헤드,
- 커널 스택/레지스터 저장 등 컨텍스트 처리,
- 인자/권한 검증,
- 유저 버퍼↔커널 버퍼 복사,
- I/O라면 블로킹/스케줄링까지
  같은 요소가 포함되기 때문이다.

6. I/O 3종이 각각 언제 유리한지 (Polling / Interrupt / DMA)

Polling(프로그램 I/O, 바쁜 대기): CPU가 주기적으로 장치 상태를 읽어 요청 여부를 확인한다.
→ 일반적으로 CPU 낭비가 크지만,
- 이벤트가 매우 자주 발생해 인터럽트가 오히려 과부하(인터럽트 폭주)가 되는 경우
- 아주 짧은 시간만 기다리면 거의 끝나는 경우(지연을 예측 가능하게 관리)
- 부팅 초기/단순 환경
  에서는 유리할 수 있다.
Interrupt I/O: 장치가 준비되면 CPU에 인터럽트를 걸어, CPU는 필요할 때만 처리한다.
→ polling 낭비 감소. 단, 너무 잦은 인터럽트는 오버헤드가 될 수 있다.
DMA I/O: CPU는 전송 작업을 직접 하지 않고 DMA(또는 장치)가 메모리와 장치 사이 데이터를 직접 전송한다.
→ CPU는 전송 설정(주소/길이/방향)만 하고, 완료 후 보통 인터럽트로 통지받는다.
→ 대용량 전송에서 CPU 부담을 크게 줄인다. 다만 메모리/버스는 공유 자원이어서 경쟁이 발생할 수 있다.

※ 운영에 연결되는 질문 3개 (보완/개선 버전)

API 지연이 튈 때 CPU vs I/O 병목 구분

CPU 병목: user/sys CPU↑, run queue↑, context switch↑, iowait 낮음
I/O 병목: iowait↑, 디스크 util/큐↑, fsync/flush 대기, DB commit 지연
p95/p99는 “증상”이고, 위 지표로 원인을 분리한다.

스레드가 많아지면 왜 느려질 수 있나

단순히 “스레드가 캐시를 점유해서”라기보다
컨텍스트 스위칭 비용, 락 경합, 캐시 미스 증가(working set 증가), 스케줄러 큐 증가 때문에 느려질 수 있다.
즉 스레드 수가 증가하면 “일을 더 하는” 게 아니라 “관리 비용과 경합”이 커질 수 있다.

디스크 쓰기가 느릴 때 fsync/flush는 어디에 걸리나

write()는 보통 커널의 페이지 캐시에 먼저 쓰여 빠르게 반환될 수 있다.
flush/writeback은 커널이 나중에 디스크로 내려쓰는 과정이다.
fsync()는 “지금까지의 변경이 실제 디스크에 안전하게 기록될 때까지 기다려라”이므로
디스크/스토리지 지연을 정면으로 맞아 여기서 블로킹이 크게 발생한다.
DB의 commit 지연(특히 WAL/redo)은 이 fsync와 연결되는 경우가 많다.

※ 소리 내서 2개만 말하기 (보완/개선 버전)

인터럽트가 없으면
CPU가 I/O 완료 여부를 계속 확인(polling)해야 해서 낭비가 커지고, 중요한 이벤트 처리도 비효율적이어서 전체 성능과 반응성이 떨어질 수 있다.
DMA가 CPU를 살리는 방법
PIO/인터럽트 기반 전송에서는 CPU가 데이터 복사 전송에 더 많이 관여할 수 있는데, DMA를 쓰면 CPU는 전송 설정만 하고 실제 데이터 이동은 DMA/장치가 수행한다. 그래서 CPU는 계산/스케줄링 등 다른 작업을 수행할 수 있고, 대용량 I/O에서 성능이 크게 좋아진다.

Selenium (셀레니움) 설치 및 실행

사라만 — Sun, 7 Nov 2021 21:56:13 +0900

Selenium ?

- 셀레니움은 다양한 브라우저 및 플랫폼 에서 웹 응용프로그램을 위한 테스트 도구 입니다.

- 프로그래밍을 통해 마치 사람이 인터넷을 사용하는 것(특정 영역 클릭) 처럼 웹 페이지를 요청하고 응답을 받아올 수 있습니다.

- 웹 크롤링을 할 때 사용 합니다.

※ 크롤링 ?
· 데이터를 수집하고, 분류하는 것을 뜻 합니다.
· 주로 인터넷 상의 웹 페이지를 수집해서 분류하고 저장하는 것을 말합니다.
· 즉. 어떤 데이터가 어디에 있는지 등 위치에 대한 분류 작업 입니다.

- 결국, 브라우저와 직접 통신하여, 브라우저를 제어하는 데에 사용 합니다.

- "요청 실행하는 버튼 누르기" 라고 생각 하시면 될 것 같습니다.

Spring Selenium 환경 만들기

1. Spring 프레임워크를 기반으로 사용할 것이기 때문에 먼저, Maven 에 라이브러리를 추가

"Maven Repository" 에서 "Selenium" 을 검색해 "Selenium-java" 를 찾아 들어가 줍니다.

pom.xml 에 사람들이 많이 사용하는 거 그냥 복사해서 붙여 넣어주면 됩니다. ( 3.141.59 )

<!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java -->
<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>

2. Web Driver 설치

셀레니움을 사용하려는 브라우저의 드라이버를 다운로드 받아줍니다.

http://docs.seleniumhq.org/download/ 에 접속해서, 원하는 브라우저의 드라이버를 다운로드 받아 주세요

저는 크롬에서 진행하기 때문에, 크롬 껄로 다운로드 하였습니다.

※ 셀레니움은 크롬 or 파이어폭스 가 최적화가 되어 있다고 해요 ~ 익스플로러에서 사용해 봤는데, 크롬에 비해 엄청 느리더라구요 설정 해주는 것도 좀 더 까다롭고...

※ 다운로드를 하기 전에 ! 크롬 버전을 확인해 줍니다.

버전을 확인 했다면, 버전에 맞는 드라이버를 다운로드 해주어야 됩니다 ~

제일 앞에 보이는 95 버전 을 맞춰서 다운로드 해주면 되겠네요

둘 중에 마음에 드시는 걸로 ~

각각의 운영체제 맞춰서 다운로드를 해주시면 되는데, windows 64bit 사용하시는 분은 win32 다운로드 해주면 됩니다

다운로드를 한 후, 압축까지 풀어서 사용하고 싶은 경로에 가져다 줍시다

위 까지 완료가 되었다면, 간단하게 실행 및 테스트를 해보도록 합시다

Spring Selenium 실행

저는 Eclipse 에서 Spring 구조를 만들고 실행을 해볼게요 ~

Spring MVC 구조로 프로젝트를 만들고, 간단하게 셋팅을 했습니다.

네이버에 로그인 까지 하는 걸 시도했는데......

로그인 버튼 클릭, 아이디 입력, 비밀번호 입력 에는 성공 했으나, 캡챠 인증이 나왔습니다.. ㅎㅎㅎㅎ

일단 아래와 같은 방식으로 구현된다는 점 ...

@GetMapping("/openChrome")
	public String openChrome() {
		
		String chromeDriver = "webdriver.chrome.driver"; // 크롬드라이버 명시
		String chromePath = "D:\\chromedriver.exe"; // 셀레니움 크롬 .exe 경로
		
		System.setProperty(chromeDriver, chromePath); // 위의 드라이버 셋팅
		
		//Driver SetUp ( 셀레니움을 막는 것을 방지 )
        ChromeOptions options = new ChromeOptions();
        options.setCapability("ignoreProtectedModeSettings", true);
		
		WebDriver driver = new ChromeDriver();
		WebDriverWait wait = new WebDriverWait(driver, 30); // Thread.sleep 대신 사용하는 것으로, 대기를 위해 사용
		
		driver.get("https://www.naver.com/"); // get을 통해 해당 url을 open
		
        // 셀레니움을 통한 자동화 일 경우, 에러가 날 수 있으니 try구문에 넣는 것이 좋음
		try {
			
            // 명시적 대기 ( 해당 요소가 나타날 때까지 대기 )
			wait.until(ExpectedConditions.visibilityOfElementLocated(By.cssSelector("#account > a")));
			driver.findElement(By.cssSelector("#account > a")).click(); // #account > a 요소를 찾아서 클릭
			
			wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("id")));
			driver.findElement(By.id("id")).sendKeys("아이디"); // 해당 요소를 찾아서, 입력
			
			wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("pw")));
			driver.findElement(By.id("pw")).sendKeys("비밀번호");
			
			wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("log.login")));
			driver.findElement(By.id("log.login")).click();
			
		} catch (Exception e) {
			
			e.printStackTrace();
		}
		
		return "/seleniumTest";
		
	}

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

References

https://gdtbgl93.tistory.com/154

ORM(Object Relational Mapping) ?

사라만 — Wed, 13 Oct 2021 11:29:12 +0900

ORM ( Object Relational Mapping )

- ORM 은 객체-관계 매핑을 의미 합니다.

- 이는 객체를 구현한 클래스와 관계를 구현한 RDB(관계형 데이터베이스)에서 쓰이는 테이블을 자동으로 연결하는 것 입니다.

- 기존의 JDBC는 직접 SQL을 짜서, RDB에 연결을 해주어야 했다면, ORM을 통해서, SQL문을 짜지 않고, 객체 간의 관계를 바탕으로 SQL을 자동으로 생성해서, 사용할 수 있도록 해 줍니다.

- 따라서, SQL문을 사용할 필요 없이, 클래스를 이용해 간접적으로 데이터베이스를 제어할 수 있게 됩니다.

장점

- 객체 지향적인 코드로 인해 더 직관적이고 비즈니스 로직에 더 집중할 수 있도록 도와줌

SQL Query가 아닌, 직관적인 코드(메서드)로 데이터를 조작할 수 있어, 개발자가 프로그래밍하는데 집중할 수 있도록 도와줌
선언문, 할당, 종료 같은 부수적인 코드가 없거나 급격히 줄어듬
각종 객체에 별도로 코드를 작성하기 때문에, 코드의 가독성을 올려줌
SQL의 절차적이고 순차적인 접근이 아닌, 객체 지향적인 접근으로 인해 생산성 증대

- 재사용 및 유지보수의 편리성 증대

ORM은 독립적으로 작성되어 있으며, 해당 객체들을 재사용 할 수 있음
모델에서 가공된 데이터를 컨트롤러에 의해 뷰와 합쳐지는 형태로 디자인 패턴을 견고하게 다지는데 유리
매핑정보가 명확하여, ERD를 보는 것에 대한 의존도를 낮춤

- DBMS에 대한 종속성 감소

객체 간의 관계를 바탕으로 SQL문을 자동으로 생성
때문에, RDMS의 데이터 구조와 객체지향 모델 사이의 간격을 좁힐 수 있음
대부분의 ORM 솔루션은 DB에 종속적이지 않음
이는, 구현방법 뿐만 아니라 많은 솔루션에서 자료형 타입까지 유효
개발자는 객체에 집중할 수 있기 때문에 DBMS를 교체하는 거대한 작업에도 비교적 적은 리스크와 적은 시간 소요
자바에서 가공할 경우, equals, hashCode의 오버라이드 같은 자바의 기능을 이용할 수 있고, 간결하고 빠른 가공이 가능

단점

- ORM이 모든 걸 해결할 수 없음

사용하기는 편하나, 설계는 매우 신중하게 해야함
프로젝트의 복잡성이 커질경우 난이도가 올라감
부족한 설계로 잘못 구현되었을 경우 속도 저하 및 일관성을 무너뜨리는 문제점이 생길 수 있음
일부 자주 사용되는 대형 SQL문은 속도를 위해 별도의 튜닝이 필요할 수 있음 ( 직접 SQL문 작성 )
DMBS의 고유기능을 이용하기 어려움 ( 특정 DBMS의 고유기능을 이용하면 이식성이 저하됌 ) 이는 장단점이 있음

- 프로시저가 많은 시스템에선 ORM의 객체 지향적인 장점을 활용하기 어려움

이미 프로시저가 많은 시스템에서는 다시 객체로 바꿔야하며, 그 과정에서 생산성 저하나 리스크가 많이 발생할 수 있음

객체-관계 간의 불일치

Granularity(세분성)

- 경우에 따라서, 데이터베이스에 있는 테이블 수보다 더 많은 클래스를 가진 모델이 생길 수 있음

예를 들어 "사용자 세부 사항"에 대해 데이터를 저장한다고 생각해보자
객체지향 프로그래밍에서는 코드 재사용과 유지보수를 위해 "Person", "Address" 라는 두 개의 클래스로 나눠서 관리할 수 있다.
그러나, 데이터베이스 에서는 "Person" 하나의 테이블에 "사용자 세부 사항"을 저장할 수 있다.
이렇게 객체는 2개, 테이블은 1개가 되어 객체-관계 의 개수가 달라질 수 있다

Inheritance(상속)

- RDBMS는 객체지향 프로그래밍 언어의 자연적 패러다임인 상속과 유사한 것을 정의하지 않음 즉 상속의 개념이 없다

Identity(일치)

- REDMS는 'sameness' 라는 하나의 개념을 정확히 정의 하는데, 바로 '기본키' 를 이용해서 동일성을 정의한다.

그러나 자바는 객체 식별(a == b)과 객체 동일성( a.equals(b) )을 모두 정의한다.
RDBMS에서는 PK가 같으면 서로 동일한 record로 정의하지만, Java에서는 주소값이 같거나 내용이 같은 경우를 구분하여 정의한다.

Associations(연관성)

- 객체지향 언어는 객체 참조(reference)를 사용하는 연고나성을 나타내는 반면, RDBMS는 연관성을 '외래키'로 나타낸다

예를 들어, 자바에서의 객체 참조는 아래처럼 방향성이 있다.

public class Employee {
	private int id; 
	private String first_name;
	… 

	private Department department;// Employee -> Department
	…
}

Java에서 양방향 관계가 필요한 경우 연관을 두 번 정의해야 한다.
즉, 서로 Reference를 가지고 있어야 한다.

RDBMS의 외래키

INSERT INTO 
  EMPLOYEE(id, first_name, … ,department_id) // FK
  VALUES …

FK와 테이블 Join은 관계형 데이터베이스 연결을 자연스럽게 만든다.
그렇기 때문에, 방향성이 없는 연결이 이루어진다.

Navigation(탐색)

- 자바와 RDBMS에서 객체를 접근하는 방법이 근본적으로 다르다.

자바는 그래프형태로 하나의 연결에서 다른 연결로 이동하며 탐색한다.
예를 들어 aUser.getBillingDetails().getAccountNumber() 이는 RDBMS에서 데이터를 검색하는 효율적인 방법이 아니다
RDBMS에서는 일반적으로 SQL문을 최소화하고, JOIN을 통해 여러 엔티티를 로드하고 원하는 대상 엔티티를 선택하는 방식으로 탐색한다.

ORM Freameworks

JPA/Hibernate

- JPA(Java Persistence API)는 자바의 ORM 기술 표준으로 인터페이스의 모음이다. 이러한 JPA 표준 명세를 구현한 구현체가 Hibernate 이다

Sequelize

- Sequelize는 Postgres, MySQL, MariaDB, SQLite 등을 지원하는 Promise에 기반한 비동기로 동작하는 Node.js ORM

Django ORM

- Python 기반 프레임워크인 Django에서 자체적으로 지원하는 ORM

References

https://geonlee.tistory.com/207

https://eun-jeong.tistory.com/31

https://gmlwjd9405.github.io/2019/02/01/orm.html

Static(스태틱)

사라만 — Fri, 1 Oct 2021 16:21:56 +0900

이번에는 Static 에 대해서 알아 보겠습니다.

이미 학원에서 공부할 때 알아 보았었는데, 그 때는 이론적인 부분보다 어떻게 사용하는지 에 대해서 알아 봤었기 때문에, 이번에는 이론적인 측면에서 알아 봅시다.

Static 이란 무엇인가 ?

- Static 은 다른 말로 정적 변수 라고 한다.

- Static 은 클래스 내부 변수나 메서드에 키워드로 사용된다.

- Static 을 사용한 변수나 메서드는 클래스가 메모리에 올라갈 때 자동으로 생성이 된다.

- Static 변수는 메모리에 올라갔을 때, 딱 1번만 할당 된다.

- Static 변수는 모든 곳에서 참조해서 사용할 수 있기 때문에, 공통으로 사용하는 자원 이라고 생각할 수 있다.

- Static 변수는 Static Memory area 에 할당 된다.

※ Static Memory area

· Static 키워드를 사용한 변수, 메서드 들이 저장되는 곳이다.

· 프로그램의 시작부터 종료가 될 때까지 메모리가 남아 있다. 그렇기 때문에 Static을 남발한다고 좋은 것이 아니다.

Static 의 사용 이유 ?

- 공통적으로 관리되는 자원 이기 때문에, 어디에서나 접근할 수 있는 장점을 가지고 있다.

- 클래스 내에 사용한 Static 변수, 메서드 는 해당 클래스를 동적할당 하지 않고, 클래스:(static변수 or static메서드) 로 바로 사용할 수 있기 때문에 빠르고 편하다.

- 예를 들어 변하지 않는 고정 값 ( PI = 3.141592 ... ) 을 변수로 만든다고 생각해보자. 그리고 이를 클래스 내에 멤버변수로 만든다고 생각 해보자. 그런데, 만든 곳 뿐 아니라 다른 클래스에서도 PI 를 사용해야 한다. 그러면 PI 를 사용하려고 하는 클래스마다 전부 멤버변수로 만들어 줘야 된다. 그러면 이는 메모리의 낭비가 되는 것이다. 이럴 경우 static 을 사용해서 PI 를 만들었다면, 단 1개를 만들고, 이를 사용하는 것이다.

- static 을 사용한 클래스를 여러 번 동적할당 한다고 해도, static 변수, 메서드 이미 생성되어 있고, 더 이상 생성되지 않는다. ( "이미 생성되어 있다" 라는 말은 프로그램 실행 순서 상, static 은 미리 생성 되기 때문이다 )

Static 사용 시 주의점

- 위에서 언급했다 싶이 Static 키워드를 사용한 메서드는 미리 생성 되어 있다.

- 즉 Static 메서드 내에서 해당 클래스의 멤버변수를 사용할 수 없다. 뿐만 아니라 프로그램의 실행 순서상 Static Memory area 에 Static 변수, 메서드 들이 먼저 생성되기 때문에, 이 때 실행 순서상 생성되어 있지 않은 heap , stack 영역에 있는 변수 를 사용할 수 없다 ( = 인스턴스 변수 사용 x )

Static 사용이 유용한 경우

- 공통적으로 값을 유지해야하는 데이터

- 일반 변수( 인스턴스 변수 ) 를 사용하지 않는 메서드(함수)

※ 사실 우리가 사용하는 라이브러리 함수들은 Static 메서드인 것들이 꽤 많다.

ex) Arrays.toString(), Math.random() 등등 ....

Java 1.8 변경사항

사라만 — Fri, 1 Oct 2021 13:27:50 +0900

먼저, Java 1.8 의 변경사항을 공부하는 이유는 무엇일까?

- 보통 Java 를 사용할 때에 Java 1.8 을 사용한다. 나도 그렇다. 딱히 이유는 생각해 본적이 없다. 그냥 처음 배울 때부터 최신 버전은 SE15인가? 까지 나와 있었지만 학원에서 배울 때 Java 1.8 을 가지고 배웠다. 그리고 회사에 들어가도 Java 1.8 을 사용한다. 이 외에도 Java 설정 등 프로젝트 생성할 때 다른 사람들의 글을 보면 Java 1.8 을 가지고 작성한 것을 발견할 수 있다.

1. 첫 번 째로, Java 1.8 버전으로 업그레이드 되면서 중요한 기능이 생겼기 때문이다.

2. 호환성 문제

Java 1.8 버전 이후에도 계속적으로 Java 는 업그레이드 되어져 왔다.

그런데, Java 최신 버전인 SE15 설치된 환경에서 Java 1.8 이 작동을 하지 않는다.

하지만, 반대로 Java 1.8 이 설치된 환경에서는 Java 최신 버전인 SE15 가 작동한다.

결국. 버전을 업그레이드 한다는 것은, JDK 또한 업그레이드를 시킨 다는 것이기 때문에, 위의 문제가 발생하는 것이다.

※ 위의 2가지를 종합해서 Java 1.8 을 가장 많이 사용하기 때문에 이를 공부하는 것이다.

Java 1.8 의 변경사항

1. Lambda 표현식 적용 ( 함수적 프로그래밍 가능 )

2. StreamAPI ( 데이터를 추상화하여 다룰 수 있게 됌 )

3. java.time 패키지 ( 날짜 및 시간에 대해 조금 더 개선된 API 제공 )

4. 나즈혼 ( 자바 스크립트의 새로운 엔진 제공 )

1. Lambda 표현식 적용

- 이는 함수형 프로그래밍 패러다임에 의거한 적용 이라고 할 수 있다. 프로그래밍에 관심이 있다면, Java 는 객체지향 언어 라는 말을 들어 보았을 것이다. 프로그래밍의 흐름을 조금 말해 보자면, 절차지향 -> 객체지향 -> 함수지향 이라고 말할 수 있을 것 같다.

- 절차지향은 차례대로 실행되는 프로그래밍 이라고 생각 할 수 있을 것 같다.

- 객체지향은 클래스 등 으로 나누어서 하는 프로그래밍 이라고 생각 할 수 있을 것 같다.

※ 예를 들어서, 로봇이 있는데, 이 로봇 1대 에는 부품(머리, 몸통, 팔, 다리)이 있다. 절차지향은 부품을 나누지 않고 전체적인 로봇 1대를 만드는 것이고, 객체지향은 로봇의 부품을 따로따로 만들어서 합치는 것이다. 그렇기 때문에, 객체지향 프로그래밍은 부품들을 다른 로봇에도 사용할 수 있다는 장점이 있다.

- 함수형 프로그래밍은 함수 자체를 리턴 하는 방식 이라고 생각할 수 있을 것 같다. 좀 더 자세히 파고 들어 보자면, 기존의 프로그래밍은 변수에 값을 대입해 왔고, 이 변수를 리턴해서 사용을 하는 방식이 주를 이루었다. 하지만, 함수형 프로그래밍은 변수에 값을 대입하지 않고, 그대로 사용한다.

그러면 이제 Lambda 에 대해서 알아보자

Lambda 에 대해 설명하려면 익명 객체(클래스) 에 대해 알고 있어야 한다.

※ 익명 객체(클래스) : 이름이 없는 클래스로써 인터페이스를 implements 해서 사용하는 것이 아닌 인터페이스 자체를 구현화 해서 사용하는 것

※ 간단한 예

위의 예시 처럼, 인터페이스를 바로 구현화해서 사용하는 것을 익명 객체(클래스) 라고 한다.

Lambda 는 이러한 익명클래스를 좀 더 줄여서 사용할 수 있습니다.

인터페이스를 바로 구현화 하는 코드를 단 몇줄로 표현할 수 있게 됩니다.

2. StreamAPI

- 여기서 나오는 Stream 은 파일입출력 스트림과는 전혀 다른 스트림 입니다.

- Stream 은 함수적 인터페이스를 기반으로 사용하고 있습니다.

- 기존의 Collection(List, Map, Set) 등을 사용하려면, 각각의 접근 방법이 필요했습니다.

- 예를 들면, Iterator, EntrySet 등 을 만들어서 사용했습니다.

- 이렇게 Collection 별로 나누어지던 접근 방법을 하나로 통일하기 위해서 Stream 이 나왔습니다.

- Collection 에 속해 있는 List, Set, Map 등은 모두 Stream 으로 변환이 가능하게 되었습니다.

- Stream 을 만듦 으로써 인해 Collection 에 대한 접근 방법이 1개로 통일되게 되었습니다.

- StreamAPI 는 이러한 Stream 을 좀 더 편하게 사용할 수 있도록 만들어진 것들 입니다.

※ StreamAPI 종류

1. 시작연산 - Stream 객체가 아닌 다른 객체(Collection)로부터 Stream 을 얻는 연산

2. 중간연산 - Stream 객체를 가공하는 연산 (fillter) / 람다식을 사용해서 원하는 데이터만 추출 가능

3. 최종연산 - Stream 연산을 끝내고 최종 결과를 다른 타입으로 반환하는 연산

※ 예시

위처럼 만들어진 리스트를 StreamAPI 를 사용해서 아래처럼 사용할 수 있다.

3. java.time 패키지

- java 에서 날짜를 표현하기 위해서는 Date 클래스를 이용했었다. 하지만 현재 대부분의 메서드는 Date 클래스 사용을 권장하지 않고 있다.

- JDK 1.1 버전에서는 Calendar 클래스 를 도입시켰지만, 몇가지 문제들이 있어서, Joda-Time이라는 라이브러리를 함께 사용해 왔다.

- Java 1.8 버전에서는 이러한 Joda-Time 라이브러리를 발전시킨 새로운 날짜와 시간 API인 java.time 패키지 를 지원한다.

4. 나즈혼

- 지금까지 Java 는 Java Script 의 기본 엔진으로 모질라의 라이노 ( Rhino ) 가 사용되어 왔다. 하지만 세월이 흐르면서 자바의 최신 개선 사항 등을 제대로 활용하지 못하는 등의 문제가 생기게 되었다.

- 그래서, Java 1.8 에서는 Java Script 의 새로운 엔진으로 오라클의 나즈혼 ( Nashorn ) 을 도입하게 되었고, 기존에 사용되어 온 라이노 에 비해 성능과 메모리 관리 측면에서 크게 개선 되었다고 합니다.

그림으로 공부하는 IT인프라 구조 - 5

사라만 — Fri, 1 Oct 2021 08:37:38 +0900

이번에도 책 "그림으로 공부하는 IT인프라 구조" 를 이어서 정리 해보도록 하겠습니다.

네트워크

- 서로 다른 장비가 데이터를 교환할 때 기본적으로는 네트워크를 경유해서 데이터를 송수신할 필요가 있다.

- 시스템이 한 대만으로 구성되는 경우는 드물기 때문에 '반드시' 라고 할 수 있을 만큼 데이터는 네트워크를 경유해서 전달됌

계층 구조

- 계층 구조는 역할 분담을 위해 필요하며, 데이터나 기능 호출 흐름에 따라 계층 간 역할이 나누어진다.

- 각 계층은 상호 간에 어떤 기능을 가지고 있는지만 알고 있다 ( 구체적으로 어떤 방식으로 처리하는지는 알 수 없다 )

- 계층 구조로 나눔으로써 계층 간에 서로 영향을 주지 않고 독립적으로 동작한다.

- 작업 효율이 떨어질 수 있다 ( 하나의 일을 여러명이 하는 경우를 생각해보자 )

OSI (Open System Interconnection) 7계층 모델

- 계층 모델의 대표적인 예 이다.

- OSI 참조 모델로써, 이를 참조해 모든 통신장치를 만들게 된다.

- 이는 서로 다른 서버가 통신하기 위해 서로 알아 들을 수 있도록 만든 규칙이다.

- OSI 는 시스템 간의 상호연결성을 부여하는 표준이다.

1. 물리 계층

- 물리매체를 통해 bit 흐름 전송

- 물리적 장치와 인터페이스가 전송을 위해 필요한 기능과 처리절차 규정

2. 데이터 링크 계층

- 노드와 노드 사이의 데이터 전달

- LLC, MAC 두 개의 서브레이어로 구성

- 흐름제어 및 오류제어 기능

3. 네트워크 계층

- 송신 측에서 최종목적지까지 패킷을 전달

- 논리주소 지정 및 패킷의 경로를 지정하는 라우팅 기능

- 데이터 링크의 물리주소는 패킷이 시스템으로 이동할 때마다 변경되지만, 네트워크 주소는 목적지까지 변하지 않음

4. 전송 계층

- 패킷을 종단 내에서 최종 수신 프로세스로의 전달

- 분할/재조립 , 연결/흐름제어 , 오류제어 를 담당

5. 세션 계층

- 통신하는 프로세스 사이의 대화제어 및 동기화를 담당

6. 프레젠테이션 계층

- 데이터의 변환, 압축, 암호화를 담당

7. 애플리케이션 계층

- 사용자에게 서비스를 제공하는 역할

프로토콜

- 컴퓨터가 서로 소통하기 위해 정한 규약

- 계층 구조를 함께 생각하면 프로토콜은 같은 계층 간의 '약속' 이라고 할 수 있다

- 어떤 장비라도 서로 통신을 하기 위해서는 프로토콜이 필요하다.

ex) 마우스를 PC에 연결할 때 사용하는 USB 가 있다. 이것도 USB 프로토콜이 존재한다.

※ 현재 네트워크를 지탱하는 것은 TCP/IP 및 관련 프로토콜이다. 이들 프로토콜 집합을 모아서 TCP/IP 프로토콜 슈트 라고 한다.

TCP/IP 계층 구조

- TCP 와 IP의 두 가지 프로토콜을 주축으로 한 프로토콜 집합이다.

- IP 는 패킷 전달 여부를 보증하지 않고, 패킷을 보낸 순서와 받는 순서가 다를 수 있다.

- TCP 는 IP 위에서 동작하는 프로토콜로, 데이터의 전달을 보증하고 보낸 순서대로 받게 해준다.

※ IP : 패킷 통신 방식의 인터넷 프로토콜

※ TCP : 전송 조절 프로토콜

HTTP , FTP , SMTP 등 TCP를 기반으로 한 많은 수의 애플리케이션 프로토콜들이 IP 위에서 동작하기 때문에, 묶어서 TCP/IP 라고 부르기도 한다.

- 출처 : 위키백과 -

HTTP

- 애플리케이션 계층의 프로토콜 이다.

- URL을 입력하면, HTTP 를 통해 데이터를 요청하게 되고, 요청 내용이 해석되어 응답하게 된다.

- HTTP는 화면 하나를 표시하기 위해 몇 번이고 왕복한다.

- 클라이언트와 웹 서버는 HTTP를 통해서 몇 번이고 요청과 응답을 주고 받는다.

※ 요청 : 서버에 던지는 명령 ( 서버에 대한 요구 명령, 대상 데이터 지정 )

※ 응답 : 요청에 대한 결과 와 그에 대한 상태 정보

TCP

- 애플리케이션이 보낸 데이터를 그 형태 그대로 상대방에게 확실하게 전달하는 것.

- 단, 가능한 한 주변에는 민폐를 끼치지 않는다

- 전송한 데이터를 그 형태 그대로 전달 하기 위해서는 IP 기능만으로 어렵기 때문에 TCP 를 같이 사용한다.

※ 중요 기능

· 포트 번호를 이용해서 데이터 전송

· 연결 생성

· 데이터 보증과 재전송 제어

· 흐름 제어와 폭주 제어

TCP/IP 3-way handshaking

1. 통신을 시작하고 싶은 프로세스(사용자)는 커널에게 통신 개시를 의뢰한 후 , 이 커널은 통신 상대인 서버 측 OS에게 가상 경로를 열도록 의뢰한다

2. 서버 측에서는 리슨하고 있는 포트 번호로 통신 요구가 오며, 문제가 없으면 열어도 된다는 응답을 한다

3. 사용자 측도 확인했다는 메시지를 보내며, 이 때 처음으로 통신용 가상 경로가 열린다

- 위의 1~3 을 TCP/IP 의 3-way handshaking 이라고 한다.

IP

- 지정한 대상 서버까지 전달받은 데이터를 전해주는 것

- 단, 반드시 전달된다는 것을 보장하지 않는다.

※ 중요한 기능

· IP 주소를 이용해서 최종 목적지에 데이터 전송

· 라우팅

라우팅

- IP 패킷의 헤더에서 목적지를 확인해서 어디로 보내야 할지 확인

- 외부와 접속하는 네트워크는 보통 "기본 게이트웨이" 라는 라우터가 설치되어 있음

이더넷

- 링크 계층에서 사용되는 대표적인 프로토콜

- 동일 네트워크 내의 네트워크 장비까지 전달받은 데이터를 운반한다

VLAN

- 물리 구성에 의존하지 않고 가상적인 네트워크를 나누는 구조 ( VLAN ID 로 불리는 숫자로 관리 )

- VLAN ID 에 '태그' 를 붙여서 하나의 물리 링크 내에서도 복수의 네트워크 이더넷 프레임을 처리할 수 있는 구조

2021 AWSome Day 온라인 컨퍼런스 참여 후기 및 정리

사라만 — Thu, 30 Sep 2021 17:55:28 +0900

https://aws.amazon.com/ko/events/awsome-day/awsome-day-online/

AWSome Day 온라인 컨퍼런스

비용 절감, 속도, 민첩성, 확장성 등 강력한 클라우드 컴퓨팅의 장점을 이해할 수 있습니다. 또한 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 보안에 대해 학습하고, IoT, 기계 학습 등을 통해 혁

aws.amazon.com

회사에서 공부하는 시간을 가지고 있기 때문에, 마침 진행되는 AWSome Day 무료 온라인 컨퍼런스에 참여해 보았습니다.

아는 만큼 보인다고 ... 네트워킹과 보안 쪽은 잘 모르겠더라구요

거기다가 회사 내에서 참여한 만큼, 중간 중간에 간단한 업무를 본다던가, 회의를 한다던가 하는 것 때문에 처음부터 끝까지 참여하지는 못했습니다.

특히나, 5강 AWS와 함께 혁신하기 에서 회의를 하게 되었는데, 너무 아쉬웠습니다.

최신 기술에 대한 문제점이나 개념들이 나오는 것 같던데 ...

다음에 이런 기회가 있다면 참여할 수 있을지 잘 모르겠네요

아래는 참여하면서 나름 정리를 해 보았습니다.

※ 차례

1. AWS 클라우드 소개

2. AWS 클라우드 핵심 서비스 소개 : 컴퓨팅

3. AWS 클라우드 핵심 서비스 소개 : 스토리지, 데이터베이스

4. AWS 클라우드 핵심 서비스 소개 : 네트워킹, 보안

5. AWS와 함께 혁신하기

1. AWS 클라우드 소개

클라우드란?

- 구름, 즉 인터넷을 통해서 원격지에 있는 IT 리소스, 스토리지, 데이터베이스, 애플리케이션 등을 접속해서 이용하는 서비스 이다.

- 인프라를 하드웨어가 아닌 소프트웨어로 간주하고 사용할 수 있다.

- 기존의 방법보다 훨씬 빠르게 사용할 수 있다는 장점이 있다.

- 사용량에 따라 비용을 지불한다. ( 본격적인 약정 없이 테스트 가능 , 언제든지 필요에 따라 중지 할 수도 있다 )

AWS 클라우드 사용 이점

1) 자본 비용을 가변 비용으로 대체

- 구축하고자 하는 서비스에 대해 필요한 리소스 만큼만 사용할 수 있다

2) 규모의 경제로 얻게되는 이점

- 비용 절감 , 보안 , 안정성

3) 용량 추정 불필요

4) 속도 및 대응력 향상

- 기존의 만들어서 사용해야 했던 것들을, 미리 만들어져 있는 인프라 사용

5) 데이터 센터 운영 및 유지 관리에 비용 투자 불필요

6) 몇 분 만에 전 세계에 배포

- 클릭 몇 번 만으로 전 세계에 배포할 수 있다.

작동 방식

- API 호출을 통해서 액세스

- 필요한 서비스 프로비저닝하고 사용

- 불 필요할 경우, 손 쉽게 삭제 및 해제 가능

클라우드 배포 모델

1) 온프레미스 ( 프라이빗 )

- 회사 소유의 센터에 데이터를 저장

2) 하이브리드

- 기존의 온프레미스 데이터 센터와 클라우드를 같이 사용하는 모델

3) 클라우드

- 클라우드 상에서 모든 애플리케이션을 배포하고 사용 하는 모델

AWS 글로벌 인프라

1) 리전

- 서비스를 제공할 위치

2) 가용 영역

- 1개의 리전은 2개 이상의 가용 영역을 가지고 있다 ( 데이터 센터 )

※ aws는 서버, 데이터 센터 , 네트워크 를 임대해서 사용할 수 있다.

AWS 엣지 인프라

- 클라우드를 엔드포인트에서 엔드 유저에 더 가까이 사용할 수 있도록 하는 서비스

- AWS Outposts ( 온프레미스 데이터 센터를 가까이 가져오는 서비스 )

- AWS Local Zones ( 자체 데이터 센터 인프라를 보유 및 운영할 필요 없이 컴퓨팅 및 스토리지 리소스를 최종 사용자, 엔드 유저에게 더 가까이 가져오는 서비스 )

- AWS Wavelength ( 스토리지 및 컴퓨팅 서비스를 5G 에 접속해서 5G 최종 사용자용 애플리케이션을 손쉽게 제작할 수 있도록 하는 서비스 )

AWS와 상호 작용하는 3가지 방법

1) AWS Management Console

2) AWS 명령줄 인터페이스(AWS CLI)

3) 소프트웨어 개발 키트(SDK)

2. AWS 클라우드 핵심 서비스 소개 : 컴퓨팅

Amazon Elastic Compute Cloud(EC2)

1) 크키 고정 가능한 컴퓨팅 용량

- CPU , 메모리 등 컴퓨터 스펙을 제공 ( 원하는 컴퓨팅 유형, 사이즈 선택 )

- 운영 도중에도 변경가능

2) 컴퓨팅 리소스 완전 제어

3) 새로운 서버 인스턴스 확보 및 부팅 시간 단축

- 실제 사용한 만큼한 요금 지불

- 일반적인 장애 상황으로부터 애플리케이션 격리 도구 제공

가상 머신과 물리적 서버 비교

- 온프레미스 서버로 해결하기 어려운 몇몇 문제 해결

- 데이터 기반으로 서버 확장 , 축소 의사 결정 가능

- 빠른 반복

- 자유로운 실수 ( 온프레미스 서버를 사용할 경우 잉여 자원이 될 수 있는 부분을 , AWS 환경에서는 삭제 , 추가 등 자유로움 )

EC2

- AMI ( Amaznon Machine Image ) 사용 <- 플랫폼

- 선택한 AMI 를 기반으로 인스턴스를 사용할 수 있음

이점

1) 탄력성 ( 필요한 만큼의 리소스에 액세스 , 몇 분 만에 확장 또는 축소 )

2) 제어 ( 중단, 시작 등 쉽게 할 수 있음 )

3) 유연성

4) 통합( ELB, S3, RDS 등 다양한 서비스와 같이 사용할 수 있음 )

5) 안정성

6) 보안

7) 저렴한 비용 ( 자유로운 제어를 통해 효율적으로 컴퓨팅 자원 사용, 오토스케일링 )

8) 용이성 ( 사용하기가 쉽다 )

EC2 인스턴스 패밀리 및 이름

인스턴스 패밀리 타입

1) 균형잡힌 인스턴스의 성능을 가진 범용 패밀리

2) 고성능 CPU를 제공하는 컴퓨터 최적화

3) 대규모 메모리

4) 스토리지 최적화

5) GPU 액셀러레이티드 컴퓨팅 패밀리 - 기계 학습이 필요한 경우 등

EC2 요금

1) 온디맨드 인스턴스 - 초당 비용 ( ubuntu, Linux 만 가능 )

2) 예약 인스턴스 - 온디맨드 인스턴스에 비해 정해진 시간에만 사용하기 때문에 저렴

3) Savings Plans - 예약 인스턴스보다는 덜 저렴 , 리전, 인스턴스 패밀리, 사이즈 등을 변경할 수 있음

4) 스팟 인스턴스 - 온디맨드 인스턴스보다 최대 90% 할인 가격으로 예비 EC2 , 비용 예측이 가능하고, 언제든지 종료될 수 있기 때문에 , 재처리 될 수 있는 것에 대해 최적화

비관리형 서비스와 관리형 서비스 비교

1) 비관리형 - 직접 데이터베이스 셋업 ( 사용자가 거의 모든 것을 수행 )

2) 관리형 - AWS 에서 알아서 해줌

- Amazon Elastic Container Srvice(ECS)

컨테이너가 소수일 때는 충분히 관리 할 수 있지만, 많아지면 관리가 어려워져서 중간 관리자가 필요함. 쿠버네티스 등을 사용하게 됌. 이를 줄이기 위해 ECS 라는 서비스를 제공

※ 상황에 맞춰서 각각에 맞는 것 선택해야 함

서버리스 컴퓨팅

- 서버를 관리하지 않고 애플리케이션과 서비스를 구축하고 실행하는 서비스

1) 프로비저닝하거나 관리할 서버가 없음

2) 사용량에 따라 조정

3) 유휴 상태에 대한 지불 없음

4) 가용성 및 내결함성 내장

5) 오버헤드를 줄일 수 있다

※ 대표적으로 AWS Lambda 가 있다

AWS Lambda

- Node.js , Java 등 으로 코드만 제공하면 됌

- 완전 관리형 컴퓨팅 서비스

- 상태 비저장 코드 실행 ( Lambda 함수가 실행될 때만 사용 됌 , 비용도 마찬가지 )

- 이벤트에 대한 응답으로 Lambda 함수 사용 가능

3. AWS 클라우드 핵심 서비스 소개 : 스토리지, 데이터베이스

스토리지

- Amazon S3 - 클라우드상의 확장 가능하고 내구성이 뛰어난 객체 스토리지

- Amazon S3 Glacier - 클라우드 상의 저렴하고 내구성이 뛰어난 아카이브 스토리지

- Amazon EFS

- AWS Strorage Gateway

- Amazon EBS

1) Amazon S3

- 객체 수준 스토리지

- 높은 내구성 ( 연간 객체에 대해 99.99999999999% 내구성을 제공하도록 설계 )

- 높은 수평 확장성. 즉 유연성 ( 원하는 형식의 데이터를 원하는 만큼 저장 가능 )

- 이벤트 알림 기능 ( 다른 프로세스 Lambda 같은 것에 트리거를 연결할 수 있음 )

- 고유한 HTTP URL 연결 ( 정적 웹 콘텐츠 또는 미디어 저장 배포 가능 )

- 사용 사례 ) 데이터 레이크 , 빅 데이터 분석

Aamazon S3가 객체를 저장하는 방식

- 데이터를 저장 및 검색하도록 구축 ( 어떤 문자열 모두 사용 가능 )

- 속도, 내구성, 가용성이 뛰어난 객체 액세스

- 버킷에 저장할 수 있는 객체 수에 제한이 없음 ( 최상의 수평확장성을 가지고 있음 )

- 웹 어디서나 언제든 데이터 저장 및 검색

- 생성한 버킷, 객체에 직접 제어할 수 있음 ( 사용자에 대한 정책 등 )

- 키 : 벨류 값의 객체 스토리지

※ 버킷 : 객체 스토리지 ( 폴더를 대신하는 여러 개의 객체를 저장할 수 있는 큰 공간 )

2) Amazon S3 Glacier

- 장기 데이터 스토리지

- 아카이브 및 백업

- 비용이 매우 저렴한 아카이브용 스토리지

사용사례 ) 미디어 자산 워크폴로, 의료 정보 아카이빙 ,규제 및 규정 준수를 위한 아카이빙, 과학적 데이터 스토리지, 디지털 보존, 마그네틱 테이프 대체

3) Amazon Elastic Block Stroe(Amaznon EBS)

- 인스턴스용 영구 블록 스티리지

- 복제를 통해 보호

- 상이한 드라이브 유형

- 몇 분 만에 확장 또는 축소

- 프로비저닝한 만큼만 요금 지불

- 스냅샷 기능

- 암호화 사용 가능

- 가용 역역 자체에 지진 또는 재해 발생시 미러링된 데이터가 소실 될 수 있으니, 주기적으로 스냅샷 을 생성하기를 권장

- 다른 리전으로 스냅샷을 복사 또는 공유 가능

- 추가비용 없이 암호화 가능 ( EC2 에서 보안 비용이 발생 )

데이터베이스

- 15개 이상의 목적별로 DB 엔진 중에서 선택 가능 ( 다양한 데이터 모델 지원 )

MySQL , PostGreSQL 과 호환되는 완전 관리형 DB -> Amazon Auroa

- 서버 프로비저닝, 패치, 구성 또는 백업 같은 DB 관리 태스크는 걱정할 필요가 없음.

DIY 와 AWS 데이터베이스 서비스 비교

- DIY 는 OS 수준에 액세스 등이 필요한 세밀한 조정이 필요할 때 EC2의 데이터베이스 사용

- AWS 데이터베이스 서비스는 손쉬운 설정, 관리, 유지, 즉각적인 고가용성 구현, 성능에 초점, 관리형 인프라 라는 장점이 있다. ( DB 이중화를 손쉽게 할 수 있다 )

Amazon RDS

클릭 몇 번으로 클라우드에서 관계형 데이터베이스를 설정, 운영, 조정 할 수 있음.

- Amazon Aurora , MsSQL , MariaDB , Oracle , PostgreSQL , MySQL

- DB 를 구축하기 위해서 다운로드 , 설치 , 패치 등이 불 필요

- DB 를 중단하지 않고 확장 가능

- 안정성이 높은 인프라에서 실행

Amazon Aurora

- 클라우드를 위해 구축된 MySQL 및 PostgreSQL 을 위해 만든 데이터베이스

- 완전 관리형 서비스 ( 서버 프로비저닝 , 장애 탐지 등 자동화 )

- 읽기 전용 복제본 최대 15개 까지 생성

- 64TB 까지 자동 확장 가능

Amazon DynamoDB

- 비관계형 데이터베이스 서비스

- 완전 관리형 클라우드 DB ( 문서 모델, 키 값 스토어 모두 제공 )

- 모든 테이블에 대해 복구 , 백업 등 지원

- 평균 처리 시간 10밀리초 미만 ( 짧은 지연 시간 )

- 자동 파티셔닝 SSD

- 각각의 사용자에게 각각의 보안 자격을 주고 , 세부적으로 권한 제어 가능

- 유연성 ( 문서의 저장, 쿼리 및 업데이트 지원 )

4. AWS 클라우드 핵심 서비스 소개 : 네트워킹, 보안

네트워킹

Amazon Virtual Private Cloud ( Amazon VPC )

- IP 주소의 범위 선택, 서브넷 생성, 라우팅 테이블 및 가상 네트워킹 환경 완벽 제어

- aws 클라우드의 논리적으로 격리되어 있는 프라이빗 가상 네트워크 공간

- 워크로드의 논리적 격리 제공

- 리소스에 대한 사용자 지정 액세스 제어 및 보안 설정 허용

VPC의 계층화된 네트워크 방어

1. VPC 라우팅 테이블을 사용해 트래픽에 대한 위치를 상세하게 제어해서 방어

2. 네트워크 ACL : 1개 이상의 서브넷 내부와 외부의 트래픽을 제어하기 위한 방화벽 활동을 하는 VPC 규칙을 통해 SSH 접속과 같은 유형 등등 허용/거부 가능

3. 보안 그룹 : 인스턴스에 대한 인바운드 및 아웃바운드 트래픽을 제어하는 가상 방화벽

4. 서드파티 솔루션 : 직접 설치하는 보안 솔루션 또는 서비스

ELB

- 들어오는 애플리케이션 트래픽을 EC2 인스턴스 ,컨테이너, IP주소, 람다 함수 가상 어플라이언스 같은 곳에 분산

- 내결함성에 필요한 고가용성, 상태 확인, 강력한 보안

Route 53

- 가용성과 확장성이 뛰어난 DNS 서비스

- 인터넷을 통해 웹 서버 같은 리소스로 자동화된 요청을 보냄

- 접근 및 사용이 가능하고 정상 작동 중인지 확인

- 지연시간 기반 라우팅, 지역 기반 라우팅, 가중치 기반 라우팅 등 다양한 옵션 제공

지역 기반 라우팅

- 싱가포르 접속자는 싱가포르 리전으로 ...... 트래픽을 라우팅을 할 수 있음

- 여기서 중간 업무 -

5. AWS와 함께 혁신하기

사물 인터넷(Iot)

- 사물을 인터넷으로 연결한 것

- 자동차, 기계, 가정용 어플라이언스 등 센서 및 API 를 사용해서 인터넷에서 데이터를 연결하고 교환하는 물리적 개체 네트워크 입니다.

IoT 가 직면한 과제

1. 플랫폼 문제

- Iot 표준과 플랫폼 부족으로 인해 Iot 하드웨어, 네트워크, 애플리케이션 통합 부족으로 완전한 IoT 개발이 어려움

- 디바이스가 원격에 있어 물리적으로 액세스 할 수 없는 문제

2. 데이터 분석의 문제나 긴 대기시간

- 많은 데이터가 발생되고 있으나, 모두 테이터 분석이 되고 있는 것은 아님

- 대기시간이 길어서 실시간 분석 등에 한계

장점

1. 새로운 비즈니스 모델

2. IoT가 제공할 수 있는 효율성 ( 비즈니스 및 제조 프로세스를 자동화 하고 원격으로 모니터링 )

3. 직원 생산성의 증가 ( 다양한 직군에서 직무 만족도 및 인력 생산성을 높이고 있음 )

4. 고객 경험 개선 ( 실제 제품 성능 및 사용과 통합하는 것부터, 고도로 개인화 상품까지 .... )

AWS IoT 서비스

1. "어떻게 IoT 데이터를 이해하고 활용할 수 있을까"

2. "연결성 및 제어 서비스 - 어떻게 대규모 IoT 장치들을 제어하고 관리하고 보안을 신경 쓸 것인가"

3. "고객과 더 가까운 곳에서 운영하는 장치를 빌드할 때 "

- 회의 -

그림으로 공부하는 IT인프라 구조 - 4

사라만 — Wed, 29 Sep 2021 10:25:05 +0900

이번에도 책 "그림으로 공부하는 IT인프라 구조" 를 이어서 정리 해보도록 하겠습니다.

캐시 ( cache )

- 캐시는 임시 저장소를 의미한다.

- 일부 데이터를 데이터 출력 위치와 가까운 지점에 일시적으로 저장한다

- 데이터 재사용을 전제로 한다

- 사용자가 특정한 요청을 했을 때, 해당 데이터가 캐시에 있는지 먼저 확인을 한다. 있다면 캐시에 있는 데이터를 반환하고, 없다면 서버에 요청을 하게 된다. 그렇기 때문에 데이터에 고속으로 액세스할 수 있다

- 실제 데이터에 대한 액세스 부하를 줄일 수 있다

캐시에 적합한 시스템

1. 참조 빈도가 높은 데이터

2. 캐시의 데이터가 손실돼도 문제가 없는 시스템

캐시에 부적합한 시스템

1. 데이터 갱신 빈도가 높은 시스템

2. 대량의 데이터에 액세스하는 시스템

주의할 점

- 설계 시 어떤 데이터를 캐시하는 것이 효과적인지를 검토해야 한다.

- 시스템 가동 직후 등에는 캐시에 데이터가 없기 떄문에, 원하는 성능이 나오지 않을 수 있다

- 캐시 계층이 늘어나기 때문에, 시스템 성능 문제나 데이터 불일치 문제가 발생한 경우는 문제 발생을 야기한 용의자가 늘어난다

- 캐시의 데이터가 손실되는 경우를 대비해서 복구 순서를 설계 시에 확립해야 한다

- 갱신 데이터(쓰기 데이터)를 캐시할 때 캐시가 여러 개 있으면 갱신된 최신 데이터를 서로 뺏으려는 상태가 발생하지 않도록 주의해야 한다.

끼어들기

- 어떤 원인으로 인해 지금 하고 있는 일을 중단하고 급히 다른 일을 하는 것을 의미한다.

- 급한 일을 먼저 하도록 CPU에 알리는 중요한 역할

- 끼어들기는 급한 일이 생겨서 지금 진행 중인 일을 중단하고 급한 일을 끝낸 후에 다시 원래 일을 진행하는 것이다. 일하는 동안에 전화가 와서 일을 중단하고 전화를 받은 후 다시 하던 일을 진행하는 것과 같다

- 구체적으로는 키보드 입력 등의 특정 이벤트가 발생했을 때 CPU에 이것을 알려서 해당 이벤트에 대응하는 처리를 끝낸 후 원래 하던 처리를 계속하는 것이다

폴링

- 폴링은 정기적으로 질의하는 것을 가리킨다.

- 질의 방향이 단방향 이다

- 질의는 일정 간격을 따라 정기적으로 발생한다.

장점

- 반복(루프)만 하면 되기에 프로그래밍이 쉽다

- 상대가 응답하는지 확인할 수 있다

- 모아서 일괄적으로 처리할 수 있다

적합한 처리

1. 일정 간격으로 처리를 실행하면 좋은 처리

2. 감시

부적합한 처리

1. 상태가 아닌 입력 내용에 따라 실행 내용을 변경하는 처리

ex) 키보드는 키를 누른 '상태' 가 아닌 입력한 '내용' 에 따라 처리해야 하기 때문에 끼어들기가 더 적합하다

2. 처리 우선순위를 정해야 하는 처리

- 일정 간격으로 처리가 실행되기 때문에 우선순위를 정할 수 없음

핑퐁

- 몇 번이고 왕복해야 하는 상황을 '핑퐁' 이라고 부른다.

- 물건(데이터)를 운반할 때는 상자에 넣으면 효울적으로 관리할 수 있다.

- 운반하는 양에 따라 상자 크기를 선택하면 효율적으로 운반할 수 있다.

- 운반하고자 하는 데이터의 크기(양) 에 따라 적합한 상자를 선택하여야 한다.

ex) OS 블록 크기와 데이터베이스 블록 크기가 다를 경우, 최소 공배수를 통해서 빈 공간이 없도록 데이터를 운반하는 것이 효율적이다.

저널링

- 트랜잭션이나 매일 갱신되는 데이터의 변경 이력을 '저널' 이라고 한다.

- 이러한 '저널' 을 남겨 두는 것을 '저널링' 이라고 한다.

ex) 언제, 어디서, 무엇을 했는지 기록하는 것.

특징

- 데이터 자체가 아닌 처리(트랜잭션) 내용을 기록한다

- 데이터 일관성이나 일치성이 확보되면 필요 없어진다

- 데이터 복구 시 롤백(rollback), 롤포워드(rollforward) 에 이용된다

장점

- 시스템 장애 시 복구가 빠르다

- 데이터 복제보다도 적은 리소스를 소비해서 데이터를 보호할 수 있다

적합한 시스템

- 데이터 갱신이 발생하는 시스템

부적합한 시스템

- 데이터 안정성보다 성능을 요구하는 시스템

- 롤백은 저널을 읽어서 실제 데이터 정보를 과거로 되돌리는 처리

- 롤포워드는 저널을 읽어서 실제 데이터 정보를 앞으로 진행시키는 처리

※ 롤백과 롤포워드는 트랜잭션 단위로 실행된다.

복제

- 복사본을 만드는 것을 의미

특징

- 장애 시 데이터 손실을 예방할 수 있다

- 복제를 이용한 부하분산이 가능하다

장점
- 사용자가 데이터에 액세스할 때 복제한 것이라는 것을 의식할 필요가 없다

- 백업과 달리 실제 데이터가 복제 데이터와 실시간을 동기화된다

적합한 시스템

- 데이터 손실을 허용하지 않고 장애 시 복구 속도가 빨라야 하는 시스템

- 데이터 참조와 갱신 부분이 나뉘어져 있으며 참조가 많은 시스템

부적합한 시스템

- 데이터 갱신이 많은 시스템

주의사항

- 복제 위치가 많으면 갱신이 많은 시스템과 같이 복제 오버헤드가 높아진다

- 실제 데이터와 복제 데이터를 완전히 일치시키고 싶으면 복제 데이터의 쓰기 완료처리를 보장해야 한다. 이 경우 시스템 응답이 악화될 수 있다

- 시스템 유지관리나 장애 시에는 복제 데이터도 고려해야 하기 때문에 설계나 운용 난이도가 높아질 수 있다

- 복제 데이터와 실제 데이터의 차이가 커지면 그 차이를 채우기 위한 시간이나 성능도 고려해야 한다

마스터-슬레이브

- 주종 관계를 카리킨다. 명령하는 쪽과 명령을 받는 쪽의 관계라고 할 수 있다.

- 이와 반대되는 개념은 "피어 투 피어" 이다

특징

- 상호 접속 관계의 일종으로, 한 사람이 관리자가 돼서 모든 것을 제어한다

장점

- 관리자가 한 명이기 때문에 구현이 쉽다

- 슬레이브 간 처리를 동기화할 필요가 없기 때문에 통신량이 줄어든다

단점

- 마스터가 없어지면 관리를 할 수 없다 ( 작업 인계 구조가 필요 )

- 마스터의 부하가 높아진다

압축

- 쓸데없는 공간을 줄이는 것. ( 이미 'zip 파일' 로 익숙하게 사용중 )

ex) 이불을 장농에 넣을 때 이불에 있는 공기를 없애는 것.

- 압축의 기본은 '중복 패턴 인식' 과 그것을 '변경' 하는 것

- 같은 패턴이 어느 정도 있느냐에 따라 압축률이 달라진다.

- 압축한 데이터를 원래대로 복원할 수 있는 "가역 압축"과 이미지나 음성 데이터 등에 있는 사람이 인식할 수 없는 부분을 생략하는 "비가역 압축"이 있다.

장점

- 데이터 크기를 줄이는 것

- 네트워크 경유의 데이터 전송 등 I/O 속도가 느린 환경에서 미리 압축해서 전송할 경우 전체적인 처리 시간을 줄일 수 있다.

단점
- 처리 시간이 걸린다는 것

디지털 데이터의 '낭비' 는 어떤 것일까?

- 디지털 데이터에서 교환하는 것은 '정보' 다.

- '정보' 의 낭비를 막으면 압축을 할 수 있다.

- '자신에게 필요없는 정보' or '이미 알고 있는 정보' 를 의미 없는 정보라고 한다.

ex) Central Processing Unit 이 정식 명칭이지만, 이를 줄여서 CPU 라고 부른다. 이러한 것도 정보의 압축이라고 볼 수 있다.

오류 체크 / 오류 수정

- '오류 체크' 는 디지털 데이터의 오류를 스스로 확인하고, 파손되었을 때 이를 감지하는 것

- '오류 수정' 은 자동으로 복구하는 것을 가리킴

장점

- 상위 계층에서의 오류 관리 없이 데이터 일치성을 일정 수준 보장할 수 있다

단점

- 체크 기능에 의한 리소스 부하 상승, 알고리즘 복잡화 등

그림으로 공부하는 IT인프라 구조 - 3

사라만 — Tue, 28 Sep 2021 17:39:53 +0900

이어서 이번에도 "그림으로 공부하는 IT 인프라 구조" 라는 책을 읽으면서, 해당 책에서 소개되는 여러 구조 들을 정리해보겠습니다.

직렬 병렬 구조

- 도로를 예로 들어서 1차선 도로를 직렬 , 2차선 도로 이상을 병렬 이라고 한다. 이를 CPU에 적용하면 클럭 수는 직렬 , 코어 수는 병렬 이라고 볼 수 있다.

- 하나의 CPU 로 처리를 하는 데에는 한계가 있기 때문에, 다수의 CPU 를 배치해서 처리한다.

- 병렬화해서 데이터를 처리한 후 집약할 때 오버헤드가 걸리는데, 이 오버헤드를 감안하더라도 효과가 있을 때 병렬화 처리를 한다.

- 웹 서버는 복수의 프로세스 , AP 서버는 1개의 프로세스 내에서 복수의 스레드를 사용한다.

동기 / 비동기

- 특정 요청을 했을 때, 해당 요청이 끝날 때까지 기다리는 것을 동기 , 기다리지 않고 다른 처리를 수행하는 것이 비동기 이다.

- 동기의 장점 : 구현난이도가 낮고 , 요청한 일이 끝났는지 즉각 확인 할 수 있다.

- 동기의 단점 : 요청한 일이 끝날때까지 다른 것을 할 수 없다.

- 비동기의 장점 : 요청한 일이 처리되고 있는 동안 , 다른 업무를 수행할 수 있다. ( 시간을 효율적으로 사용해서 병렬화 할 수 있다 )

- 비동기의 단점 : 구현난이도가 상대적으로 높다. 요청한 일이 끝났는지 확인하지 않으면 , 해당 요청이 끝났는지 알 수 없기 때문에, 불필요한 확인 작업이 필요하다.

큐

- 우리말로 ‘대기 행렬’ 이라고 한다.

- 이는 하드웨어, OS, 데이터베이스, 애플리케이션 등 거의 모든 곳에서 사용되는 구조 로써, 먼저 들어온 데이터(요청) 이 먼저 처리 되는 것이 특징이며 이를 FIFO(First In First Out) 선입선출 방식이라고 한다.

- CPU 처리를 기다리고 있는 프로세스나 스레드 행렬 / 하드 디스크 등의 저장소 읽기 처리를 기다리고 있는 I/O 요구 행렬 / 네트워크 접속 성립을 기다리고 있는 접속 요구 행렬 등에 사용 된다. ( 여러 처리가 동시에 진행되는 경우에 자주 사용된다 )

배타적 제어

- 여러 사람이 공유하는 물건일 경우, 누군가가 그 물건을 사용하고 있으면 다른 사람은 그것을 사용할 수 없도록 하는 것이다.

- 동시에 사용하게 되면 고장이 날 수도 있기 때문에, 배타적 제어가 필요하다.

- 공유 자원을 사용할 때에 데이터의 불일치를 유발하지 않기 위해서 배타적 제어를 사용한다.

상태 저장 / 상태 비저장

- 어떤 작업을 하고 있을 때 현재 어디까지 작업이 진행됐는지를 ‘상태’ 라고 한다.

- 이러한 ‘상태’ 를 저장해서 사용하는 것을 ‘상태 저장’ , ‘상태’ 를 저장하지 않는 것을 ‘상태 비저장’ 이라고 한다.

- 상태 저장은 복잡한 처리가 가능하지만, 시스템 복잡성이 커지며 상태 비저장은 성능이나 안정성 측면에서 우수하다.

- 거의 모든 곳에서 상태 저장이 사용되고 있는데, 네트워크 통신(웹) 에서는 보통 세션이라는 개념을 사용해서 구현하고 있다.

가변 길이 / 고정 길이

- 가변 길이는 데이터 크기를 매번 변경하는 것으로, 데이터 전체 양이 준다는 장점이 있다.

- 고정 길이는 모두 같은 크기를 이용해서 처리하는 것으로, 크기가 균일해서 관리가 수월하다는 장점이 있다.

- 효율성을 추구한다면 가변 길이를, 간단한 것을 추구한다면 고정 길이를 사용하는 등 적절하게 선별해서 사용하여야 한다.

데이터 구조 ( 배열과 연결 리스트 )

- 배열과 연결리스트 모두 순차적으로 데이터를 처리하는 구조.

- 배열은 ‘같은 크기’의 상자를 ‘빈틈 없이 순서대로’ 나열하는 것으로, 몇번 째 상자인지만 알면 해당 상자에 한 번에 액세스할 수 있다.

- 연결 리스트는 상자를 선으로 연결한 형태의 데이터 구조

- 연결 리스트는 다음 상자의 위치 정보를 가지고 있는 것으로 특정 상자를 찾으려면 끝에서부터 순서대로 하나씩 상자 내부를 확인해야 한다.

- 배열은 탐색이 빠르지만, 배열 도중에 상자를 추가 및 삭제가 느린 데이터 구조

- 연결 리스트는 상자를 추가 및 삭제가 빠르며 탐색이 느린 데이터 구조

탐색 알고리즘

※ 이 책에서 설명하는 탐색 알고리즘은 코드가 아닌 탐색 알고리즘의 본질에 대해서 설명하고 있다.

ex) 데이터 관리는 어떤 식으로 해야 하는지 , 특정 데이터를 찾기 위해서 어떻게 접근해야 하는지 가 주다

- 필요한 때에 필요한 데이터를 빠르게 찾기 위해서 데이터를 정리해 둘 필요가 있다

- 데이터를 찾을 때의 데이터 구조와 데이터 저장 방식(메모리, HDD, SSD 등 ) 특성에 따라 적합한 데이터 정리 방법이 달라진다

- 데이터 정리 방법을 '데이터 구조', 처리 순서를 '알고리즘' 이라고 한다

- 처리 상대에 맞추어 데이터 구조를 정리할 필요가 있기 때문에 '알고리즘과 데이터 구조'는 자주 함께 다루어진다

인덱스가 없는 경우

- 특정한 데이터를 찾기 위해서 테이블의 모든 블록을 처음부터 순서대로 읽어나가는 것을 풀 스캔 이라 한다.

- 페이지가 가나다순으로 정렬돼 있지 않았을 때의 풀 스캔은 차례도 색인도 없는 사전에서 단어를 찾는 것과 같다.

인덱스가 있는 경우

- 인덱스가 있다면 최소한의 필요 블록만 읽으면 된다.

- 사전을 찾을 때 색인을 이용하는 것과 마찬가지다.

- 인덱스가 있는 경우 검색이 빨라지는 대신에 데이터 추가, 갱신, 삭제 시 테이블 뿐 아니라 인덱스 데이터도 갱신되어야 되기 때문에, 불필요한 오버헤드가 발생할 수 있다.

- 인덱스는 읽을 블록 수를 줄이기 위한 수단이지만, 인덱스를 사용하면 오히려 읽을 블록 수가 늘어날 수도 있다.

ex) 테이블 데이터를 모두 취득해야 하는 경우 등

※ 데이터 구조는 데이터를 찾는 방식이나 데이터 저장 위치의 특성을 고려해서 선택할 필요가 있다.

※ DBMS 에서 인덱스를 만들면 검색은 빨라지지만 갱신 시에 오버헤드가 걸린다는 단점도 있기 때문에 함께 고려해야 한다.

그림으로 공부하는 IT인프라 구조 - 2

사라만 — Tue, 28 Sep 2021 15:58:58 +0900

이번에도 책 "그림으로 공부하는 IT 인프라 구조" 를 이어서 정리 해보겠습니다.

CPU ( Central Processing Unit )

- 서버 중심에 위치해서 연산 처리를 진행 한다. ( 연산은 1초에 10억회 이상 수행 )

- 명령을 받아서 연산을 실행하고 결과를 반환 한다.

- 명령과 데이터는 기억장치나 입출력 장치를 통해서 전달 된다.

메모리

- CPU 옆에 위치하며, CPU에 전달하는 내용이나 데이터를 저장하거나 처리결과를 받는 기억 영역

- 메모리에 저장되는 데이터는 영구성이 없다. ( 서버 재시작시 사라진다. )

- 액세스 속도가 캐시에 비해 느리지만, HDD 에 비해 빠르다.

- 메모리는 다단계 구조를 가지고 각각의 액세스 속도에 맞게 사용되기 때문에, CPU의 처리 속도를 줄일 수 있다.

I/O (Input Output) 장치

하드 디스크 드라이브(HDD)

- 서버에서 메모리에 비해 CPU에서 떨어진 곳에 배치된다.

- 메모리에 비해 비교적 액세스 속도가 느리지만, 전기가 끊겨도 데이터가 사라지지 않는다. ( 서버 재시작시 안사라짐 )

- HDD가 직접 데이터를 교환하는 것이 아니라, 캐시를 통해서 데이터를 교환 한다.

네트워크 인터페이스

- 서버와 외부 장치를 연결하기 위한 것으로 외부 접속용 인터페이스

버스

- 서버 내부에 있는 컴포넌트를 연결시켜 주는 회선 이다.

대역

- 원래는 주파수 대역을 의미하지만, 'IT 인프라' 에서는 데이터 전송 능력을 의미 한다.

- 한번에 보낼 수 있는 데이터의 폭(전송폭), 1초에 전송할 수 있는 횟수(전송 횟수) 로 결정 된다.

프로세스와 스레드

- 프로그램을 설치해서 실행하면 창이 열리고, 또 실행시키면 새로운 창이 열린다. ( 같은 프로그램 2개 실행 ) 이 것을 프로세스 또는 스레드 라고 부른다.

- 프로그램 실행 파일 그 자체가 아닌, OS 상에서 실행돼서 어느 정도 독립성을 가지고 동작한다.

- 프로세스 및 스레드가 활동하려면 메모리 공간이 필요하다. 이것은 커널에 의해 메모리 상에 확보 된다.

- 각 프로세스는 전용 메모리 공간을 이용해서 동작한다. ( 프로세스 간에 메모리 공간을 공유하지 않는다 )

- 스레드는 다른 스레드와 메모리 공간을 공유하고 있는 운명 공동체다.

장점

- 프로세스는 개별 처리 독립성이 높다

- 스레드는 생성 시 부하가 낮다

단점

- 프로세스는 생성 시 CPU 부하가 높다

- 스레드는 메모리 공간을 공유하기 때문에 의도치 않은 데이터 읽기/쓰기 가 발생할 수 있다.

- 단, 프로세스는 메모리 공간을 공유할 수 없는 것은 아니다.

ex) 오라클DB는 여러 프로세스가 '공유 메모리 공간'을 상호 이용할 수 있도록 되어 있다.

OS 커널

- OS에서 커널은 심장이자 뇌이며 척수이다.

- 커널 자체가 OS의 인프라 라고 생각해도 무방하다.

- 커널이 존재하기 때문에, 개발자는 하드웨어나 다른 애플리케이션에 미치는 영향을 의식하지 않고 애플리케이션을 개발할 수 있다.

- 커널은 여섯 가지의 역할을 한다.

1. 시스템 콜 인터페이스

- 프로세스/스레드 에서 커널로 연결되는 인터페이스 이다.

- 애플리케이션이 OS를 통해서 어떤 처리를 하고 싶을 때 "시스템 콜" 이라는 명령을 이용해서 커널에 명령을 내린다.

2. 프로세스 관리

- 언제, 어떤 프로세스가 어느 정도의 CPU 코어를 사용할 수 있는지, 처리 우선순위를 결정한다.

3. 메모리 관리

- 프로세스가 이용하는 독립 메모리 공간을 확보하거나 상호 간의 참조 영역을 지키기 위해 독립성 관리하는 등의 역할을 한다.

4. 네트워크 스택

- 해당 부분은 추후에 자세하게 다룬다고 한다.

5. 파일시스템 관리

- OS 기능의 하나로써 물리 디스크에 제공된 데이터를 관리하는 기능이다.

- 주요 관리기능 으로는 디렉터리(폴더) 구조 제공, 액세스 관리, 고속화, 안정성 향상 등이 있다.

6. 장치 드라이버

- 디스크나 NIC 등의 물리 장치용 인터페이스를 제공 한다.

- 각 장치 제조사가 OS에 대응하는 장치 드라이버를 제공해서 해당 OS의 표준 장치로서 커널을 경유해 이용할 수 있게 한다.

웹 데이터의 흐름

PC -> 웹 서버 -> AP 서버 -> DB 서버 -> AP 서버 -> 웹 서버 -> PC

의 순으로 데이터는 흘러 간다.

PC -> 웹 서버

1. 웹 브라우저가 요청을 발행한다.

2. 이름 해석을 한다.

3. 웹 서버가 요청을 접수한다.

4. 웹 서버가 정적 콘텐츠인지 동적 콘텐츠인지 판단 한다.

5. 필요한 경로로 데이터에 액세스 한다.

이름 해석

- 웹 브라우저는 요청한 서버가 어디에 있는지 모르기 때문에 요청한 URL 을 기반으로 DNS 서버에 해당 서버를 요청하게 된다.

정적 콘텐츠 / 동적 콘텐츠

- 정적 콘텐츠 : 실시간으로 변경할 필요가 없는 데이터를 가리킨다.

ex) 회사 로고 이미지 등

- 동적 콘텐츠 : 높은 빈도로 변경되는 데이터를 가리킨다.

ex) 은행 잔고, 최신 날씨 정보 등

웹 서버는 동적 콘텐츠에 대한 요청을 AP 서버에게 던지고 결과를 기다린다.

웹 서버 -> AP 서버

- AP서버는 '동적 콘텐츠'에 대한 요청을 처리한다.

1. 웹 서버로부터 요청이 도착한다.

2. 스레드가 요청을 받으면 자신이 계산할 수 있는지, 아니면 DB 접속이 필요한지를 판단한다.

3. DB 접속이 필요하면 연결 풀에 액세스한다.

4. DB 서버에 요청을 던진다.

※ 데이터가 필요하면 DB 서버에 접속하는게 일반적 이지만, 이것이 항상 효율적이지는 않다.

ex) 갱신 빈도가 낮고 규모가 작은 데이터의 경우 매번 접속할 필요 없이 캐시에 저장해두고 사용하는게 좋다. 이 경우 데이터가 갱신 되었을 시만 DB 서버에 접속해서 데이터를 업데이트 하면 된다.

AP 서버 -> DB 서버 -> AP 서버

- DB 서버로의 요청은 SQL 이라는 언어 형태로 이루어 진다. 이 SQL 을 해석해서 데이터 액세스 방식을 결정하고, 디스크나 메모리에서 필요한 데이터만 수집해 오는 것이 데이터베이스의 주요 역할 이다.

1. AP 서버로부터 요청이 도착한다

2. 프로세스가 요청을 접수하고 캐시가 존재하는지 확인한다

3. 캐시에 없으면 디스크에 액세스 한다

4. 디스크가 데이터를 반환한다

5. 데이터를 캐시 형태로 저장한다

6. 결과를 AP 서버에 반환한다

AP 서버 -> 웹 서버

- DB 서버에서 데이터가 돌아왔기 때문에 AP 서버의 요청 스레드로 경과가 반환된다.

1. DB 서버로부터 데이터가 도착한다.

2. 스레드가 데이터를 가지고 계산 등을 한 후에 파일 데이터를 생성한다.

3. 결과를 웹 서버로 반환한다.

웹 서버 -> PC

- AP 서버에서 돌아온 데이터를 받아서 웹 서버의 httpd 프로세스가 PC의 웹 브라우저로 반환한다.

1. AP 서버로부터 데이터가 도착한다

2. 프로세스는 받ㄴ은 데이터를 그대로 반환한다

3. 결과가 웹 브라우저로 반환되고 화면에 표시된다.

※ 구체적으로는 하나의 요청에 하나의 데이터가 반환된다.

데이터 흐름 정리

- 프로세스나 스레드가 요청을 받는다

- 도착한 요청을 파악해서 필요에 따라 별도 서버로 요청을 보낸다

- 도착한 요청에 대해 응답한다

※ 웹 데이터 흐름의 본질은 '요청 기반으로 어떠한 처리를 하고 필요에 따라 해당 요청을 삼자에게 할당하는 것'