생명과학 데이터 사이언스 · 중간고사 학습노트

시험 정보 (1/2) W1-1 p18, p21 · W7 p2 · 녹음 10/12, 10/14

시험 정보 (2/2) · 틀리기 쉬운 것 W1-1 p18, p21 · W7 p2 · 녹음 10/12, 10/14

공부 전략

개념 시험 답안 쓰는 법 (1/4) W1-1 p21 · W7 p2

지시어 15개의 뜻과 답안에 들어가야 할 것은 0.✎ 영어 문제 지시어 정리에 따로 모아 두었다.

개념 시험 답안 쓰는 법 (2/4) · 틀리기 쉬운 것 W1-1 p13, p21 · W7 p2

개념 시험 답안 쓰는 법 (3/4) — 예시 답안 W5-2 p16–24 · W7 p2 · 실습 W5 6.1–6.3

교수님이 직접 든 예시 문제 "How does k-means work?"를 앞의 5칸 틀로 쓴 모범 답안이다. 분량은 약 12분이다.

개념 시험 답안 쓰는 법 (4/4) — 채점 포인트와 단답형 W5-2 p21 · W7 p2

앞 슬라이드의 k-means 예시 답안을 채점자의 눈으로 점검한다. 아래 그림은 "왜 수렴하나"의 근거가 된 슬라이드다.

0.✎ 영어 문제 지시어 정리 문제는 영어, 답은 한국어 OK

시험 문제는 영어로 나오지만, 10/14 수업에서 교수님이 한국어 답안을 허용했다. 핵심 용어(centroid, unbiased 등)는 영어 그대로 써도 좋다. 문제 첫머리의 지시어가 답의 형태를 정하므로, 아래 표로 미리 익혀 둔다.

1.1 데이터 타입과 값의 범위 (1/6) · 정수의 범위 W2-1 p6–8 · 실습 W2 1.3

정수 타입은 비트(bit) 수가 정해지면 표현할 수 있는 범위도 정해진다. 8비트는 1바이트(byte)다.

• $n$비트 부호 없는 정수(unsigned)의 범위는 $0 \sim 2^n-1$이다.
• $n$비트 부호 있는 정수(signed)의 범위는 $-2^{n-1} \sim 2^{n-1}-1$이다.

⚠️ 슬라이드 오타 주의: W2-1 슬라이드에는 int32의 범위가 $-2^{15} \sim 2^{15}-1$로, int64의 범위가 $-2^{31} \sim 2^{31}-1$로 적혀 있다. 이것은 오타다. 위 공식 $-2^{n-1} \sim 2^{n-1}-1$을 따르면 int32는 $\pm 2^{31}$, int64는 $\pm 2^{63}$이 맞다.

1.1 데이터 타입과 값의 범위 (2/6) · 쉬운 설명 · 함정 W2-1 p6–8 · 실습 W2 1.3

1.1 데이터 타입과 값의 범위 (3/6) · 연산 결과의 타입 · bool W2-1 p9, p12–14 · 실습 W2 1.2–3.1 · 녹음 10/12

연산 결과의 타입

• 정수끼리 더하기, 빼기, 곱하기를 하면 결과도 정수(int)다.
• 2 ** 4의 결과는 정수 16이다.
• 나눗셈 /의 결과는 항상 실수(float)다. 예를 들어 8/3의 결과는 2.666…이다.
• 나누어떨어질 때도 결과는 float다. 예: 8/2 → 4.0.
• //는 몫을 정수로 준다. 예: 8//3 → 2.
• %는 나머지를 준다. 예: 8%3 → 2.
• 정수와 실수를 섞어 계산하면 결과는 float다. 예: 1 + 2.5 → 3.5.

파이썬 기본 int는 크기 제한이 없어서 2**100도 정확히 계산한다. 비트 수가 고정된 것은 NumPy의 int8, uint8 같은 타입이다. 따라서 overflow는 영상 같은 NumPy 배열에서 생기는 문제다. (실습 W2 1.3)

bool

• bool은 True 또는 False 값이다. 0이 아닌 수는 True, 0은 False로 취급한다.
• 계산에 쓰면 True는 1, False는 0이 된다. 예: True + True → 2.
• 그래서 조건에 맞는 개수를 셀 때 쓸 수 있다. 예: sum([True, False, True, True]) → 3. (실습 W2 2.2)

⚠️ 슬라이드 오타 주의: W2-1 p14에는 True or False의 결과가 False로 적혀 있지만 오타다. or는 하나라도 True이면 True이므로 실제 결과는 True다. (실습 W2 3.1 출력 True)

1.1 데이터 타입과 값의 범위 (4/6) · 왜 중요한가 · 함정 W2-1 p9, p12–14 · 실습 W2 1.2–3.1 · 녹음 10/12

1.1 데이터 타입과 값의 범위 (5/6) · overflow W2-1 p10–11 · 실습 W2 1.3 · 실습 W7 2.1 · 녹음 10/12

Overflow (넘침)

• a=242, b=100이 둘 다 uint8이면 a+b = 86이 된다.
• 342는 8비트에 들어가지 않으므로 256으로 나눈 나머지로 감긴다(wrap around). 계산하면 $342-256=86$이다.
• NumPy는 이때 계산을 멈추지 않는다. 경고가 나오든 안 나오든 결과는 이미 86이다.
• 실습 W2 설명에는 "NumPy warns you"라고 적혀 있다. 하지만 배열 연산은 경고 없이 조용히 감긴다. 경고(RuntimeWarning)는 np.uint8(242)처럼 값 하나짜리 numpy 숫자로 계산할 때 나오기도 하는데, numpy 버전에 따라 다르다 자료 외 보충.
• 그래서 overflow는 눈에 잘 띄지 않는 조용한 버그가 된다.

일반식으로 쓰면 uint8 결과는 (참값) $\bmod 256$이다. $2^8$을 넘은 부분은 버려지고 나머지만 남는다. 뺄셈으로 0 아래로 내려가도 마찬가지로 감긴다 자료 외 보충.

uint8 배열에서 250+10의 결과는? 그리고 안전하게 더하려면?

결과는 $260 - 256 = 4$다. 범위를 넘어 감기는 overflow(wrap-around)다. 안전하게 더하려면 astype(int)나 float로 바꾼 뒤 더한다. 영상이라면 np.clip(·,0,255)로 범위를 맞춘 다음 다시 uint8로 변환한다.

1.1 데이터 타입과 값의 범위 (6/6) · overflow — 어디서 터지나 · 함정 W2-1 p10–11 · 실습 W7 2.1, 4.1 · 녹음 10/12

1.2 왜 데이터 타입이 중요한가 — 메모리 & 분할 영상 (1/4) · 메모리 W2-1 p15 · 실습 W2 1.4

픽셀 값이 0–255인 9800×9792 영상을 예로 든다. 픽셀 수는 $9800 \times 9792 = 95{,}961{,}600$개다.

• 메모리는 픽셀 수에 픽셀당 byte 수를 곱한 값이다. 픽셀당 byte 수는 비트 수를 8로 나눈 값이다.
• 예를 들어 uint64는 64 bit, 즉 픽셀당 8 byte다. 따라서 필요한 메모리는 다음과 같다. $$95{,}961{,}600\times8\approx7.68\times10^8\ \text{byte}\approx768\ \text{MB}$$

같은 정보인데 dtype을 잘못 고르면 메모리를 8배 쓰게 된다. 값의 범위(0–255)를 담을 수 있는 가장 작은 타입이 최적이다.

여기서 MB는 $10^6$ byte다. 실습 W2의 출력값은 767.7, 383.8, 96.0 MB다. $2^{20}$ byte 단위(MiB)로 재면 약 732, 366, 92가 된다 자료 외 보충. 어느 단위로 재든 비율 8 : 4 : 1은 같다.

1.2 왜 데이터 타입이 중요한가 — 메모리 & 분할 영상 (2/4) · 메모리 — 언제 쓰나 · 함정 W2-1 p15 · 실습 W2 1.4

9800×9792 영상(값 0–255)을 uint32로 저장하면 uint8 대비 몇 배, 대략 몇 MB인가?

uint32는 픽셀당 4 byte, uint8은 1 byte이므로 4배다. 메모리는 $95{,}961{,}600\times4\approx384$ MB이고, uint8은 약 96 MB다. 담는 값(0–255)은 같으므로 늘어난 3 byte는 낭비다.

1.2 왜 데이터 타입이 중요한가 — 메모리 & 분할 영상 (3/4) · 분할 영상 W7 · 녹음 10/12

분할(segmentation) 영상의 dtype

• 분할 영상의 값은 각 세포를 이웃 세포와 구분하는 고유 ID다. 그래서 반드시 정수여야 한다. float로는 고유값을 부여하기 어렵다.
• 음수 ID는 없으므로 보통 uint를 쓴다.
• dtype이 표현할 수 있는 세포 수를 결정한다. uint8은 0–255만 표현하므로 세포가 300개면 표현할 수 없고, uint16(65,535) 이상이 필요하다.
• 분할 전에는 세포가 몇 개일지 모른다. 그래서 "모든 세포를 담을 만큼 넉넉한(liberal) dtype"을 고르라고 한다.
• 세포가 수십 개인지, 수백 개인지, 수천 개인지 규모를 가늠해서 정한다.
• 반면 밝기(intensity) 영상은 float도 쓸 수 있다. 0–1로 정규화된 영상이 그 예다.

1.2 왜 데이터 타입이 중요한가 — 메모리 & 분할 영상 (4/4) · 분할 영상 — 왜 · 함정 W7 · 녹음 10/12

세포 분할(segmentation) 결과를 uint8로 저장하면 생길 수 있는 문제는?

세포 ID는 고유한 정수여야 하는데, uint8은 0–255만 표현한다. 배경을 0으로 쓴다면 세포는 최대 255개까지만 담을 수 있다 추론. 그보다 많은 세포는 서로 다른 ID를 가질 수 없고, overflow로 감기면서(wrap-around) ID가 충돌한다. 분할 전에는 세포 수를 모르므로 uint16이나 uint32처럼 충분히 큰 정수 타입을 써야 한다. float는 고유한 정수 ID를 표현하기에 부적절하다.

1.3 평균과 축(axis) (1/2) W3-1 p16–21 · 실습 W3 2.1–2.2

표기는 다음과 같다. $x$는 스칼라다. $\mathbf{x}$는 $N\times1$ 벡터이고, $\mathbf{X}$는 $M\times N$ 행렬이다.

BOLD 데이터 $\mathbf X$는 $N\times T$ 행렬이다. 행은 피험자 $N$명, 열은 시간점 $T$개이고, 크기는 14×19다.

• X.mean(axis=0)은 위에서 아래로(세로로) 내려가며, 즉 피험자들에 걸쳐 평균을 낸다. 결과는 시간점마다 1개씩, 길이 T인 평균 시간 반응 곡선이다. 실습에서 shape은 (19,)다.
• X.mean(axis=1)은 왼쪽에서 오른쪽으로(가로로), 즉 시간에 걸쳐 평균을 낸다. 결과는 피험자마다 1개씩, 길이 N이다. 실습에서 shape은 (14,)다.
• 루프로 쓰면 sum_x += X[i,:]를 N번 반복한 뒤 /N을 하는 것과 같다. 루프 결과를 X.mean(axis=0)과 비교하면 True가 나온다.
• 즉 "axis=0에 마법은 없다."

1.3 평균과 축(axis) (2/2) · 왜 평균을 내나 · 함정 W3-1 p14–21 · 실습 W3 2.2

X.shape = (14, 19)일 때 X.mean(axis=0), X.mean(axis=1), X.mean()의 shape과 의미는?

• X.mean(axis=0)의 shape은 (19,)다. 시간점마다 14명의 평균을 낸 것으로, 집단 평균 반응 곡선이다.
• X.mean(axis=1)의 shape은 (14,)다. 피험자마다 19개 시간점을 평균한 값이다.
• X.mean()은 스칼라 하나로, 전체 266개 값의 평균이다. 축을 지정하지 않으면 전부 합치기 때문이다 자료 외 보충.

1.4 모집단 SD vs 표본 SD (1/3) · 정의와 ddof W3-1 p22–26 · 실습 W3 2.3

슬라이드(W3-1 p26)는 두 식을 모두 $s$로 쓴다. 두 식 모두 같은 데이터의 $\bar x$를 기준으로 하고, 나누는 수만 다르다. 모집단의 참값은 따로 $\mu$, $\sigma$로 쓰고, 1.5부터 $s$는 $N-1$로 나눈 표본 SD만 뜻한다.

• numpy std()의 기본값은 모집단 SD다. 즉 ddof=0이다.
• pandas std()의 기본값은 표본 SD다. 즉 ddof=1이다.
• 나누는 수는 $N-\text{ddof}$다. ddof(delta degrees of freedom)는 N에서 빼는 수다.
• numpy로 표본 SD를 구하려면 np.std(X, axis=0, ddof=1)처럼 쓴다.
• 두 SD의 비는 $\sqrt{N/(N-1)}$이다. N=14이면 1.0377이다. (notebook: 0.0958 vs 0.0994)
• 생물학에서는 보통 표본 SD가 맞다. 우리는 거의 항상 모집단의 일부만 측정하기 때문이다. N이 크면 두 값의 차이는 미미하다.

1.4 모집단 SD vs 표본 SD (2/3) · 그림과 예 W3-1 p22–26 · 실습 W3 2.3

1.4 모집단 SD vs 표본 SD (3/3) · 언제 쓰나 · 함정 W3-1 p22–26 · 실습 W3 2.3 · 과제1 1.1

같은 14개 값에서 np.std는 0.0958, pandas는 0.0994가 나왔다. 왜 다르며, 어느 쪽을 보고해야 하나?

numpy는 N으로 나누는 ddof=0이, pandas는 N−1로 나누는 ddof=1이 기본이기 때문이다. 두 값의 비는 $\sqrt{14/13}=1.0377$로 정확히 일치한다. 14명은 사람 전체 중 일부인 표본이므로, 모집단 SD를 추정하려면 표본 SD를 보고하는 것이 적절하다. 그 값은 0.0994이고, numpy에서는 np.std(x, ddof=1)로 구한다.

1.5 Bessel 보정: 왜 N−1인가 (증명) (1/6) · 증명 1–3단계 유도 필수W3-1 p27 · W3-2 p2–4 · 과제1 Part 1

설정: $x_0,\dots,x_{N-1}$은 평균이 $\mu$, 분산이 $\sigma^2$이고 서로 독립이며 같은 분포를 따르는(i.i.d.) 값이다. 표본평균은 다음과 같다.

$$\bar x=\frac1N\sum_i x_i$$

목표: 다음 식을 보이는 것이다. $\mathbb E[\cdot]$는 기댓값이다. 같은 크기의 표본을 수없이 다시 뽑아 같은 계산을 했을 때 나오는 값들의 평균이다.

$$\mathbb E\!\left[\sum (x_i-\bar x)^2\right]=(N-1)\sigma^2$$

1. 제곱 전개: $(x_i-\mu)$를 $(x_i-\bar x)+(\bar x-\mu)$로 쪼갠 뒤 제곱해서 더한다. $$\sum_{i}(x_i-\mu)^2=\sum_i(x_i-\bar x)^2+\sum_i(\bar x-\mu)^2+2\sum_i(x_i-\bar x)(\bar x-\mu)$$
2. 교차항은 0: $\sum_i x_i = N\bar x$이므로 편차의 합 $\sum_i(x_i-\bar x)$가 0이다. 따라서 교차항도 0이다. $$2\sum_i(x_i-\bar x)(\bar x-\mu)=2(\bar x-\mu)\sum_i(x_i-\bar x)=2(\bar x-\mu)(N\bar x-N\bar x)=0$$ (슬라이드 식: $2(N\bar x^2-N\mu\bar x-N\bar x^2+N\bar x\mu)=0$)
3. 정리: 같은 값을 N번 더하므로 $\sum_i(\bar x-\mu)^2=N(\bar x-\mu)^2$이다. 따라서 다음이 성립한다. $$\sum_i(x_i-\bar x)^2=\sum_i(x_i-\mu)^2-N(\bar x-\mu)^2$$

4–7단계(기댓값 계산)는 다음 장에 이어진다.

1.5 Bessel 보정: 왜 N−1인가 (증명) (2/6) · 증명 4–7단계 유도 필수W3-1 p27 · W3-2 p2–4 · 과제1 Part 1

1–3단계에서 다음 식을 얻었다. 이제 양변의 기댓값을 계산한다.

$$\sum_i(x_i-\bar x)^2=\sum_i(x_i-\mu)^2-N(\bar x-\mu)^2$$

1. 기댓값: 양변에 기댓값을 취한다. 기댓값은 합과 상수배를 그대로 통과한다(선형성). $$\mathbb E\Big[\sum_i(x_i-\bar x)^2\Big]=\mathbb E\Big[\sum_i(x_i-\mu)^2\Big]-N\,\mathbb E[(\bar x-\mu)^2]$$
2. 표본평균의 분산: 규칙 두 개를 쓴다. 첫째, 상수 $c$를 곱하면 분산은 $c^2$배가 된다($\mathrm{Var}(cX)=c^2\mathrm{Var}(X)$). 값들이 2배로 벌어지면 제곱 거리는 4배가 되기 때문이다. 그래서 $\frac1N$이 밖으로 나오며 $\frac1{N^2}$이 된다. 둘째, $x_i$들이 서로 독립이면 합의 분산은 각 분산의 합이다. 그래서 $\mathrm{Var}(\sum_i x_i)=N\sigma^2$이다. $$\mathrm{Var}(\bar x)=\mathrm{Var}\Big(\frac1N\sum_i x_i\Big)=\frac1{N^2}\mathrm{Var}\Big(\sum_i x_i\Big)=\frac1{N^2}\cdot N\,\mathrm{Var}(x_i)=\frac{\sigma^2}{N}$$
3. 대입: 분산의 정의에 따라 $\mathbb E[(x_i-\mu)^2]=\sigma^2$이다. 또 $\mathbb E[\bar x]=\mu$이므로 $\mathbb E[(\bar x-\mu)^2]=\mathrm{Var}(\bar x)=\sigma^2/N$이다. 이것을 4단계 식에 넣으면 다음과 같다. $$\mathbb E\Big[\sum_i(x_i-\bar x)^2\Big]=N\sigma^2-N\cdot\frac{\sigma^2}{N}=(N-1)\sigma^2$$
4. 결론: 양변을 $N-1$로 나누면 다음을 얻는다. $$\sigma^2=\mathbb E\Big[\frac{1}{N-1}\sum_i(x_i-\bar x)^2\Big]$$ 따라서 아래의 표본분산 $s^2$은 $\sigma^2$의 불편추정량(unbiased estimator)이다. $$s^2=\frac1{N-1}\sum_i(x_i-\bar x)^2$$

불편(unbiased)이란 표본을 수없이 다시 뽑아 계산했을 때 평균적으로 참값과 같다는 뜻이다. 표본 하나로 구한 $s^2$가 $\sigma^2$와 같다는 뜻은 아니다.

1.5 Bessel 보정: 왜 N−1인가 (증명) (3/6) · 직관 유도 필수W3-1 p27 · W3-2 p2–4 · 과제1 Part 1

1.5 Bessel 보정: 왜 N−1인가 (증명) (4/6) · 직관 예 · 언제 쓰나 유도 필수W3-1 p27 · W3-2 p2–4 · 과제1 Part 1

1.5 Bessel 보정: 왜 N−1인가 (증명) (5/6) · 과제1 실험 과제1 1.1–1.3 · W3-1 p25

과제1 실험 결과

모집단 200개에서 크기 n=30인 표본을 1000회 뽑아 SD를 계산했다.

편향과 잡음의 차이

• 표본 하나하나의 SD는 위아래로 흔들린다. 이것이 잡음(noise)이다.
• 하지만 1000번의 평균이 한쪽, 즉 아래로 치우쳐 있다면 반복을 늘려도 사라지지 않는 편향(bias)이다. (과제 해설: "a bias, not random noise — it stays in the same direction no matter how many repetitions you run.")

1.5 Bessel 보정: 왜 N−1인가 (증명) (6/6) · 함정 · 답안 과제1 1.1–1.3 · W3-1 p25

Why do we divide by N−1 instead of N when estimating the variance from a sample? (증명 + 직관)

• 먼저 1.5의 1/6–2/6에 있는 7단계 증명을 쓴다.
• 핵심 직관: $\bar x$는 표본 자체로 구한 값이며 제곱편차 합을 최소화하는 점이다. 그래서 $\bar x$ 기준 편차는 참평균 $\mu$로부터의 편차보다 작다.
• N으로 나누면 평균적으로 $\frac{N-1}{N}\sigma^2$이 되어 과소추정한다. N−1로 나누면 $\mathbb E[s^2]=\sigma^2$이다.
• 과제 결과 8.61, 8.76, 8.80으로 확인할 수 있다. SD는 제곱근 때문에 여전히 약간 편향되어 있다.

표본 크기 N=1이면 두 공식은 각각 어떤 값을 주나? 자료 외 보충

• N으로 나누면 $(x_0-x_0)^2/1=0$이다. 데이터 1개로 "퍼짐이 0"이라는 말도 안 되는 추정을 하게 된다.
• N−1로 나누면 0/0이 되어 정의되지 않는다. 평균을 추정하는 데 자유도 1개를 다 써서, 퍼짐을 추정할 정보가 남지 않았다는 뜻이다.
• 이 예는 N−1의 "자유도" 해석을 잘 보여 준다.

과제1에서 n−1로 나눈 SD의 평균(8.76)이 참값(8.80)보다 여전히 낮은 이유를 한 문장으로?

Bessel 보정은 분산의 기댓값만 $\sigma^2$로 맞춘다. SD는 그 제곱근이고 제곱근은 오목 함수이므로 $\mathbb E[\sqrt{s^2}]\le\sqrt{\mathbb E[s^2]}=\sigma$가 되어, SD는 약간 낮게 남는다. 다만 ÷n일 때의 큰 체계적 과소추정(8.61)은 사라졌다.

1.6 SD vs SEM vs CV (1/5) · SD vs SEM W3-1 p28 · W3-2 p5 · 실습 W3 2.4

SEM 유도: Bessel 증명 5단계에서 $\mathrm{Var}(\bar x)=\sigma^2/N$이었다. 제곱근을 씌우면 $\mathrm{SD}(\bar x)=\sigma/\sqrt N$이다.

• 즉 SEM은 표본평균의 SD다. 같은 실험을 여러 번 반복해 매번 평균을 구하면 그 평균값들이 흔들린다. 그 흔들림의 크기가 SEM이다.
• 독립인 값들은 분산이 더해지므로 평균의 분산은 $1/N$로 준다. SD는 분산의 제곱근이므로 $1/\sqrt N$로 준다.
• 그룹을 비교하는 error bar에는 보통 SEM을 쓴다. 피험자 간 퍼짐 자체가 요점이면 SD가 정직한 선택이다.
• 실습 notebook 값은 N=14, 평균 0.2672, SD 0.0994, SEM 0.0266, CV 0.372다.
• CV 예: 평균 4000 kg, SD 10 kg이면 CV는 1/400이다. 평균 70 kg, SD 10 kg이면 CV는 1/7이다. 같은 SD라도 상대적 변동은 완전히 다르다.
• 코끼리는 평균 4000 kg에 SD 400, 쥐는 평균 25 g에 SD 2.5다. 둘 다 CV가 0.10으로 같으므로, CV로는 스케일이 전혀 다른 것끼리도 변동성을 비교할 수 있다. (자세히는 4/5)

1.6 SD vs SEM vs CV (2/5) · 언제 무엇을 · 함정 W3-1 p28 · 실습 W3 2.4

1.6 SD vs SEM vs CV (3/5) · SD vs SEM 답안 · 문제 W3-1 p28 · 실습 W3 2.4

When should you plot SEM error bars rather than SD error bars? Why does SEM shrink with more subjects while SD does not?

• SEM은 평균 추정치의 불확실성, 즉 표본평균의 표준편차 $\sigma/\sqrt N$이다. 그래서 "두 그룹의 평균이 다른가"를 보여 줄 때 쓴다.
• SD는 개체 간 변동, 즉 모집단의 퍼짐을 나타낸다. 그래서 개인차나 퍼짐 자체가 관심일 때 쓴다.
• N이 늘면 평균에 대한 정보가 늘어 $\mathrm{Var}(\bar x)=\sigma^2/N$이 줄어든다. 하지만 개체들이 퍼져 있는 정도인 σ는 표본을 많이 뽑는다고 변하지 않는다.

실습 값 N=14, SD 0.0994에서 SEM을 직접 계산하고, 피험자가 56명이면 SEM은 대략 얼마가 될까?

SEM은 다음과 같이 계산되며, 실습 출력과 일치한다. $$\mathrm{SEM}=\frac{0.0994}{\sqrt{14}}\approx\frac{0.0994}{3.742}\approx0.0266$$ N이 4배인 56이고 SD가 비슷하다면 SEM은 다음과 같이 절반이 된다. $$\mathrm{SEM}\approx\frac{0.0994}{\sqrt{56}}\approx0.0133$$ SD는 여전히 0.1 근처다 추론.

1.6 SD vs SEM vs CV (4/5) · CV W3-2 p5 · 실습 W3 2.4

변동계수(CV, coefficient of variation)

$$\mathrm{CV}=\frac{\sigma}{\mu}$$

실습 W3 2.4 코드는 cv = sd / x.mean()이다. 여기서 sd는 ddof=1인 표본 SD다.

• CV는 모집단 평균에 비해 변동이 어느 정도인지를 나타낸다. (W3-2 p5: "the level of variation compared to the mean of the population")
• SD와 평균은 단위가 같아서, 나누면 단위가 사라진다. 그래서 kg과 g처럼 단위나 스케일이 달라도 비교할 수 있다.
• 평균 4000 kg, SD 10 kg이면 CV는 1/400이다. 평균 70 kg, SD 10 kg이면 CV는 1/7이다.
• 코끼리 4000 kg ± 400과 쥐 25 g ± 2.5는 둘 다 CV가 0.10이다. 둘 다 전형적인 크기의 약 10 %만큼 변동한다는 뜻이다. (실습 W3 2.4: "both vary by about 10% of their typical size")

1.6 SD vs SEM vs CV (5/5) · CV 함정 · 답안 W3-2 p5 · 실습 W3 2.4

코끼리는 SD 400 kg, 쥐는 SD 2.5 g이다. 코끼리 몸무게가 더 "변동이 크다"고 말할 수 있나?

절대적인 퍼짐(SD)은 코끼리가 훨씬 크다. 하지만 평균 대비로 보면 코끼리는 CV = 400/4000 = 0.10, 쥐는 2.5/25 = 0.10으로 같다. 둘 다 전형적인 크기의 약 10 %만큼 변동한다. 스케일이 다른 대상의 변동성은 SD가 아니라 CV로 비교해야 한다.

1.✎ 영어 용어 정리 시험 문제는 영어로 나온다

문제에서 이 단어가 보이면 무엇을 묻는지 바로 떠올릴 수 있어야 한다. 답은 한국어로 써도 되지만, 용어는 영어 그대로 써도 좋다.

2.1 1D 데이터란? (1/4) W3-1 p10–13

1D 데이터는 하나의 축(axis)으로 인덱싱되는 숫자 리스트다. 슬라이드는 이를 "The axis changes; the toolbox does not."라고 표현한다. 축의 종류가 바뀌어도 같은 코드를 그대로 쓴다는 뜻이다.

같은 1D 자료구조라도 그리는 방식은 다르다("Same 1D data structure, visualized differently."). 시계열은 선 그래프로 그린다(p11). DNA 서열은 위치마다 염기를 색으로 칠한 띠로 그린다(p12). 유전자 발현은 가로축이 유전자 번호(gene index)인 막대 그래프로 그린다(p13).

2.1 1D 데이터란? (2/4) — 이웃 관계가 의미 있는 축 · 함정 W3-1 p10–13

2.1 1D 데이터란? (3/4) — 시계열 예: BOLD · LFP W3-1 p14–15, p32

BOLD(Blood-Oxygen-Level-Dependent)

• 뉴런이 발화하면 국소 혈류 증가가 산소 소비보다 훨씬 크다. 그래서 산소화된 혈액이 밀려온다.
• 그 결과 deoxy-Hb가 줄어들고 신호가 밝아진다.
• 한 voxel의 크기는 약 3×3×3 mm다.
• 효과가 매우 작아서(약 0.1–3% signal change) 모든 분석은 trial이나 피험자 평균에서 시작한다.
• 한 voxel의 값을 시간순으로 늘어놓으면 $x_1,\dots,x_T$가 된다. 이것이 1D 시계열이다. (p15)

LFP(local field potential)

• 조직 안에 꽂은 전극에서 잰 세포외 전압 중 느린 성분이다.
• 전극 끝 약 0.1–1 mm 안에 있는 뉴런 수천 개의 시냅스 전류 합이 신호를 지배한다. 즉 집단(population) 신호다.
• 전기 신호라서 직접적이고 빠르다. ms 해상도이며 1–30 kHz로 샘플링한다.

2.1 1D 데이터란? (4/4) — BOLD · LFP: 이해와 함정 W3-1 p14, p28, p32

2.2 다운샘플링(downsampling) (1/2) W3-1 p29 · W3 notebook 3.4

다운샘플링은 데이터를 압축(compress)하는 데 쓸 수 있다. 직선 데이터에서는 두 방법의 결과가 비슷하다. 하지만 노이즈가 있는 신호에서는 block averaging이 훨씬 낫다. (notebook: sin파 + 노이즈, 4배 다운샘플)

왜 block averaging이 노이즈를 줄이나 추론

• 각 샘플이 "진짜 값 + 서로 독립인 잡음(SD $\sigma$)"이라고 하자. 그러면 $f$개를 평균한 값의 잡음 SD는 $\sigma/\sqrt f$다. SEM과 같은 원리다.
• 예를 들어 $f=4$이면 잡음이 절반으로 준다. (직접 시뮬레이션: subsampling 잡음 SD 1.00, 4-block 평균 0.50)
• subsampling은 샘플 하나를 고를 뿐이다. 그래서 잡음 SD는 $\sigma$ 그대로다.
• 대가도 있다. 블록 안의 빠른 변화도 함께 평균되어 사라진다.
• block averaging은 폭 w, step w인 sliding window 평균, 즉 겹치지 않는 이동평균이다. 그래서 이동평균의 trade-off를 그대로 가진다. (2.3)

2.2 다운샘플링 (2/2) — 언제 쓰고, 언제 안 되나 W3-1 p29 · W3 notebook 3.4

Is this downsampling appropriate for gene expression data? (슬라이드 질문) 추론한 답

아니다. 시간 신호는 인접 샘플이 시간적으로 연속이라 비슷한 값을 가진다. 그래서 신호가 샘플 간격에 비해 충분히 천천히 변한다면, 건너뛰는 subsampling이나 이웃끼리 평균내는 block averaging을 해도 정보가 크게 손상되지 않는다. 하지만 유전자 발현 벡터의 축은 feature index다. 유전자 순서는 임의적이고, 이웃한 유전자끼리 생물학적 관련이 없다. 따라서 gene 0과 gene 1을 평균내면 의미 없는 값이 된다. 하나 걸러 버리면 절반의 유전자 정보를 그냥 잃는다. 고차원 발현 데이터를 줄이려면 PCA 같은 차원축소나 유전자 선택을 써야 한다. (PCA는 4장. 자료에 정답이 없어 추론으로 작성)

2.3 Sliding window (1/5) W3-1 p30 · W3-2 p6 · W3 notebook 3.1–3.2

sliding window는 다음 과정을 반복한다.

1. 연속된 $w$개 값을 본다.
2. 그 값들로 숫자 하나를 계산한다.
3. window를 한 칸(stride=1) 옮기고 다시 계산한다.

• window가 데이터 안에 완전히 들어가야 하므로 출력 길이는 $N-w+1$이다. 예: N=8, w=3 → 6개.
• window 폭 w는 사용자가 정한다. step은 보통 1이다("usually 1").

왜 $N-w+1$개?

window의 시작 위치 i는 0, 1, …, $N-w$까지만 가능하다. 마지막 window x[N-w : N]이 데이터 끝에 딱 맞기 때문이다. 따라서 시작 위치의 개수는 $N-w+1$이다. 예를 들어 8개, w=3이면 i = 0…5이므로 6개다.

안의 함수를 바꾸면 다른 도구가 된다 실습 W3 3.2 · x=[4,8,6,2,9,5,7,3], w=3

2.3 Sliding window (2/5) — 쉽게 보기 · 함정 W3-1 p30 · W3-2 p6 · W3 notebook 3.1–3.2

2.3 Sliding window (3/5) — step 3으로 codon 찾기 W3-1 p31 · W3 notebook 3.3

Codon 찾기: 21 bp 서열 "GACAACTCATGGATGATATCA"를 i = 0, 3, 6, …에서 3글자씩 읽는다. 즉 step 3으로, 틀에 맞춰(in frame) 읽는다. 코드는 for i in range(0, len(gene_seq) - 2, 3)이다.

• 목표 서열(target) TGG는 codon 4, position 9에 있다. 출력은 4 9다.
• 문자열 ATG를 step 1로 찾으면 position 8과 12에서 나온다.
• 그중 3의 배수인 12만 실제 codon(5번째)이다.
• position 8의 ATG는 TCA의 A와 TGG의 TG에 걸쳐 있다. 두 codon에 걸쳐 있으므로 아무것도 코딩하지 않는다.
• 실습 노트북의 핵심 문장은 "The step size is the whole biology."다. step 1로 읽으면 단순한 문자열 검색(string search)이고, step 3으로 읽어야 생물학적 질문이 된다.

2.3 Sliding window (4/5) — 이동평균(moving average)과 window 크기 W3-1 p32–35 · W3 notebook 4.5

• 이동평균(moving average)은 lfp.rolling(20, center=True).mean()으로 계산할 수 있다. loop로 쓰면 for k in range(T-w+1): mean(lfp[k:k+w])이다.
• LFP는 1000 Hz로 기록했으므로 w = 20 샘플은 20 ms 구간의 평균이다.

짧은 feature가 사라지는 과정을 숫자로 보기 (직접 계산한 예)

• 1샘플짜리 spike x = [0, 0, 0, 0, 10, 0, 0, 0, 0]에 w=5 이동평균을 길이를 유지하며 적용한다. 그러면 [0, 0, 2, 2, 2, 2, 2, 0, 0]이 된다.
• 높이가 10에서 2(1/5)로 낮아지고, 5칸으로 퍼진다.
• 반면 window보다 훨씬 긴 느린 파형은 거의 그대로 남는다.

2.3 Sliding window (5/5) — 이동평균: 언제 쓰나 · 함정 W3-1 p32–35 · W3 notebook 4.5

2.4 Window vs Kernel · Correlation vs Convolution (1/8) 계산·설명 필수W3-2 p6–7 · W3 notebook 4.1

• Window는 어떤 샘플들을 볼지, 즉 연속된 w개의 구간을 정한다. 그 위에서 할 연산은 정해져 있지 않다(예: ==, min, max, std).
• Kernel은 신호에 곱한 뒤 더하는 가중치 리스트다.

따라서 kernel 연산의 출력은 언제나 가중합(weighted sum)이다. 즉 "가중치 × 샘플"을 모두 더한 값이다.

그래서 평균(가중치 1/w)은 kernel로 계산할 수 있다. 반면 max, std, ==처럼 "곱하고 더하기"로 쓸 수 없는 연산은 window로만 할 수 있다.

2.4 Window vs Kernel · Correlation vs Convolution (2/8) — 두 가지 미끄러뜨리기 계산·설명 필수W3-2 p8 · W3 notebook 4.2

$$\text{Correlation: }(x\star h)_t=\sum_k h_k\,x_{t+k}\qquad\qquad \text{Convolution: }(x*h)_t=\sum_k h_k\,x_{t-k}$$

즉 convolution은 kernel을 뒤집어서(flip) 미끄러뜨린 correlation이다. 슬라이드 그림에서 convolution의 첫 출력은 $y_0=w_2x_0+w_1x_1+w_0x_2$이다.

식 읽는 법

• correlation은 $h_k$를 t보다 k만큼 나중 샘플인 $x_{t+k}$와 곱한다. 그래서 kernel이 적힌 순서 그대로 겹친다. 예: $y_0=w_0x_0+w_1x_1+w_2x_2$.
• convolution은 $h_k$를 t보다 k만큼 이전 샘플인 $x_{t-k}$와 곱한다. 그래서 반대 순서로 겹친다. $w_0$는 가장 최근 샘플 $x_2$와, $w_2$는 가장 오래된 샘플 $x_0$와 곱해진다.
• 슬라이드의 valid 출력 $y_0$은 window $x_0..x_2$ 위치의 값이다. convolution 식의 t로 쓰면 t=2에 해당한다. 출력 번호와 식의 t가 어긋나는 것은 표기 차이일 뿐이다. 추론

2.4 Window vs Kernel · Correlation vs Convolution (3/8) — 두 가지 미끄러뜨리기: 쉽게 보기 · 함정 계산·설명 필수W3-2 p8 · W3 notebook 4.2

2.4 Window vs Kernel · Correlation vs Convolution (4/8) — 계산 예 계산·설명 필수W3-2 p9 · W3 notebook 4.2

계산 예: signal = [1,2,3,4,5], kernel = [1,2,3] (valid)

• correlation: $1\cdot1+2\cdot2+3\cdot3=14$, $2\cdot1+3\cdot2+4\cdot3=20$, $3+8+15=26$이다. 결과는 [14, 20, 26]이다.
• convolution: $3\cdot1+2\cdot2+1\cdot3=10$, $3\cdot2+2\cdot3+1\cdot4=16$, $3\cdot3+2\cdot4+1\cdot5=22$이다. 결과는 [10, 16, 22]이다.
• 코드로 확인하면 np.correlate(s,k) == np.convolve(s, k[::-1], "valid")가 성립한다.

손 계산 순서 (시험용)

1. convolution이면 kernel을 먼저 뒤집어 [3,2,1]로 만든다. correlation이면 그대로 둔다.
2. kernel을 신호의 맨 앞에 맞춘다. valid 모드는 완전히 겹치는 곳만 계산한다.
3. 겹친 칸끼리 곱해서 더하면 출력 1개가 나온다.
4. 한 칸 옮겨 반복한다. 출력 개수는 $N-w+1=5-3+1=3$이다.

2.4 Window vs Kernel · Correlation vs Convolution (5/8) — 교환법칙 계산·설명 필수W3-2 p10–11 · W3 notebook 4.3

교환법칙 (commutative property)

• Convolution은 교환법칙이 성립한다: $x*h=h*x$이다. full 결과가 둘 다 [1,4,10,16,22,22,15]이다.
• 그 이유는 곱해지는 두 인덱스의 합이 항상 t이기 때문이다($h_k x_{t-k}$). 그래서 두 인자에 대해 대칭적이다.
• Correlation은 교환법칙이 성립하지 않는다: 인자를 바꾸면 출력이 뒤집힌다. [3,8,14,20,26,14,5]가 [5,14,26,20,14,8,3]이 된다.
• kernel이 대칭이면 뒤집어도 같으므로 두 연산은 계산상 동일하다. 예: box, Gaussian.

왜 그런가 (유도) 대입 유도는 자료 외 보충

• convolution의 정의에서 $j=t-k$로 치환하면 다음과 같다. $$(x*h)_t=\sum_k h_k\,x_{t-k}=\sum_j x_j\,h_{t-j}=(h*x)_t$$ 두 인덱스의 합 $k+(t-k)=t$가 고정되어 있다. 그래서 누가 신호이고 누가 kernel인지 상관없다. 슬라이드는 이를 $\sum_{a+b=t}x(a)h(b)$로 쓴다.
• correlation에서는 인자를 바꾼 식에서 $j=t+k$로 치환한다. $$(h\star x)_t=\sum_k x_k\,h_{t+k}=\sum_j h_j\,x_{j-t}=(x\star h)_{-t}$$ 즉 인자를 바꾸면 출력의 시간축이 거울처럼 뒤집힌다. 고정된 것이 두 인덱스의 합이 아니라 차이이기 때문이다.

2.4 Window vs Kernel · Correlation vs Convolution (6/8) — 의미: memory vs template matching 계산·설명 필수W3-2 p12 · W3 notebook 4.4

의미의 차이

Convolution: "Convolution is memory."

• 신호는 시간으로, kernel은 나이(age)로 인덱싱한다.
• $h_k$는 임펄스가 들어온 뒤 k step이 지났을 때의 반응이다.
• 시각 t의 출력은 과거 입력들이 남긴 흔적의 누적이다.
• 용도는 filtering, 즉 신호를 시스템에 통과시키는 것이다. 예: spike 하나 → calcium transient 하나.

Correlation: template matching

• 신호에서 kernel과 비슷한 곳을 찾는다. 각 위치에서 내적 $\mathbf y=\mathbf x\cdot\mathbf h$를 계산하며, 모양이 닮을수록 값이 커진다.
• 단, 이 값은 신호의 크기에도 비례한다. (8/8 함정)

왜 뒤집나(flip)?

• 나이 k인 입력은 시각 $t-k$에 들어온 것이다. 그래서 $h_k$와 곱해지는 것이 $x_{t-k}$다.
• 반대로 "각 입력이 앞으로 h를 퍼뜨린다"고 쓰면 뒤집기 없이 더하기만 하면 된다.
• 임펄스를 convolve하면 kernel 자신이 나온다. 그래서 kernel을 impulse response라 부른다.

impulse response 확인 실습 W3 4.4

• h = [0.7, 0.2, 0.1]은 임펄스 하나가 남기는 흔적이다. 시각 2에 임펄스를 한 번 넣으면 출력은 [0, 0, 0.7, 0.2, 0.1, 0, 0, 0]으로, kernel 그 자체다.
• 각 입력(INPUT)마다 h를 앞으로 깔아 더해도 np.convolve와 같은 결과가 나온다. 실습 코드는 spread[t + k] += h[k]이고, 주석에 "PLUS, no flip"이라고 쓴다.
• 임펄스를 시각 2와 3에 두 번 넣으면 [0, 0, 0.7, 0.9, 0.3, 0.1, 0, 0]이 된다. 흔적이 겹쳐 더해지기 때문이다(0.2 + 0.7 = 0.9). (두 임펄스 예는 직접 계산)
• 실습은 이를 "the output now is the pile-up of everything that already happened"라고 표현한다. 지금의 출력은 이미 일어난 모든 일이 쌓인 결과라는 뜻이다.

2.4 Window vs Kernel · Correlation vs Convolution (7/8) — memory vs template matching: 쉽게 보기 · 언제 쓰나 계산·설명 필수W3-2 p12 · W3 notebook 4.4

2.4 Window vs Kernel · Correlation vs Convolution (8/8) — 함정 정리 · 시험 답안 계산·설명 필수W3-2 p7–12 · W3 notebook 4

Explain the difference between correlation and convolution. Compute both for signal [1,2,3,4,5] and kernel [1,2,3].

• 둘 다 kernel 가중치를 곱하고 더하며 신호 위를 미끄러진다. 차이는 convolution이 kernel을 뒤집는다는 것이다. convolution은 $x_{t-k}$를, correlation은 $x_{t+k}$를 곱한다.
• 계산하면 correlation은 [14,20,26], convolution(valid)은 [10,16,22]다. 첫 값은 각각 1+4+9=14와 3+4+3=10이다.
• convolution은 인덱스 합이 t로 고정되어 교환법칙이 성립한다. correlation은 인자를 바꾸면 결과가 뒤집힌다.
• convolution은 kernel을 임펄스 응답, 즉 기억으로 보는 필터링(시스템 통과)이다. correlation은 kernel 모양과 닮은 위치를 찾는 template matching이다.
• kernel이 대칭이면 둘은 같다.

Why does convolution flip the kernel? Why is it called "memory"?

• convolution의 kernel $h_k$는 시각이 아니라 나이로 인덱싱된다. $h_k$는 임펄스가 들어온 뒤 k step이 지났을 때 남아 있는 반응이다.
• 시각 t의 출력에서 나이 k인 입력은 시각 $t-k$에 들어온 것이다. 그래서 $h_k$와 곱해지는 것은 $x_{t-k}$이고, 이것이 kernel을 뒤집어 대는 것과 같다.
• 같은 계산을 "각 입력이 자기 뒤로 h를 퍼뜨린다"로 쓰면 뒤집기 없이 더하기만 하면 된다.
• 출력은 과거 입력들이 각자 남긴 흔적의 누적이므로 "memory"라 부른다.
• 임펄스를 넣으면 kernel 자신이 나오므로 h를 impulse response라 부른다. 예: spike 하나 → calcium transient 하나.

2.5 평활화 kernel: Box vs Gaussian (1/4) W3-2 p13–14 · notebook 4.5–4.6

• box kernel [1/w, …, 1/w]를 쓰면 이동평균과 정확히 같다. notebook에서도 루프 결과와 convolution 결과가 일치한다.
• Gaussian kernel은 다음 식으로 정의한다. $$h(t)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(t-\mu)^2}{2\sigma^2}\right)$$ 슬라이드의 예는 100·h = [1, 2, 2, 3, 4, 5, 6, 7, 7, 8, 8, 8, 7, 7, 6, 5, 4, 3, 2, 2, 1]이다.
• Gaussian도 smoothing이지만 고주파 노이즈 제거에 더 좋다. box는 가장자리가 딱 끊기고(hard edge), Gaussian은 부드럽게 줄어들기 때문이다.
• 두 kernel 모두 대칭이므로 correlation과 convolution의 결과가 같다. notebook은 Gaussian kernel로 이를 확인했고, 두 결과의 최대 차이(max difference)는 0.0이다.

2.5 평활화 kernel (2/4) — 합이 1이어야 한다 · 이산 Gaussian의 정규화 W3-2 p13–14 · notebook 4.5–4.6

• box와 Gaussian 모두 합이 1이어야 신호의 수준(level)이 유지된다. 합이 c이면 상수 신호 a가 ca로 바뀐다.
• 실제 이산 Gaussian은 유한 개의 점으로 자른다. 실습에서는 k = −18…18, σ = 6을 쓴다.
• 실습은 상수 $\frac{1}{\sqrt{2\pi\sigma^2}}$ 없이 exp 부분만 계산한다. 그다음 gauss / gauss.sum()으로 다시 정규화해 합을 정확히 1로 맞춘다. (실습 4.6)
• 슬라이드의 100·h 목록은 합이 98이다. 주원인은 21개 점에서 양쪽 꼬리를 잘라 낸 것이다. 꼬리 절단만으로 합은 약 96.5가 되고, 반올림은 오히려 합을 98로 올린다. 추론
• 이 목록은 σ = 5, t = −10…10으로 계산한 값과 일치하며, 그림의 σ = 6과는 다른 예다. 추론 (직접 계산)

2.5 평활화 kernel (3/4) — 왜 Gaussian이 낫고, 왜 합이 1인가 W3-2 p14 · notebook 4.6

왜 합이 1이어야 하나?

상수 신호 $x_t=a$에 kernel을 적용하면 다음과 같다.

$$\sum_k h_k\,a=a\sum_k h_k$$

합이 1일 때만 출력이 a가 된다. 이때 kernel 연산은 가중평균이 되어 수준(level)이 보존된다. 합이 2이면 출력은 2a다.

왜 Gaussian이 고주파 노이즈를 더 잘 지우나 추론

• box에서는 샘플이 window에 들어오고 나가는 순간 가중치가 0과 1/w 사이에서 갑자기 바뀐다. 그래서 샘플 하나의 출입이 출력을 툭툭 흔들어 빠른 흔들림이 일부 남는다.
• Gaussian은 가장자리 가중치가 0에 가깝게 서서히 줄어든다. 그래서 샘플의 출입이 출력에 거의 영향을 주지 않는다.
• 또 Gaussian은 가까운 샘플을 더 많이 반영하므로, 결과가 매끈하면서도 모양이 보존된다.
• 빠르게 오르내리는 성분(고주파)을 넣어 보면 차이가 보인다. box는 빠른 성분의 일부를 그대로 통과시키고, Gaussian은 빠른 성분일수록 더 많이 줄인다. 자료 외 보충
• 예: [1, −1, 1, −1, …]처럼 가장 빠르게 오르내리는 신호에 box w=3을 쓰면 크기 1/3인 흔들림이 남는다. 폭이 비슷한 Gaussian(σ = 0.8)은 약 0.08만 남긴다. 자료 외 보충 (직접 계산)

2.5 평활화 kernel (4/4) — 함정 정리 · 시험 답안 W3-2 p13–14 · notebook 4.5–4.6

Why does a Gaussian kernel remove high-frequency noise better than a box kernel, and why must smoothing kernels sum to 1? 추론 포함

• box는 window 안의 모든 샘플에 같은 가중치를 주고, 경계에서 가중치가 갑자기 0이 된다. 그래서 샘플 하나가 window에 들어오고 나갈 때 출력이 들쭉날쭉해진다.
• Gaussian은 중심에서 멀수록 가중치가 부드럽게 줄어든다. 가까운 샘플을 더 반영하고 급격한 변화를 남기지 않으므로 고주파 노이즈를 더 깨끗하게 제거한다.
• 합이 1이면 가중평균이 되어 신호의 평균 수준이 보존된다. 합이 1이 아니면 전체 신호가 그 배수만큼 커지거나 작아진다.

2.✎ 영어 용어 정리 시험 문제는 영어로 나온다

문제에서 이 단어가 보이면 무엇을 묻는지 바로 떠올릴 수 있어야 한다. 답은 한국어로 써도 되지만, 용어는 영어 그대로 써도 좋다.

3.1 선형회귀 모델과 손실 (1/4) W3-2 p15–18, p21

회귀(regression)는 한 변수가 다른 변수와 어떻게 관련되는지, 즉 데이터의 추세(trend)를 기술한다. 슬라이드는 이것을 "Regression is a predictor"라고 표현한다. 새 데이터가 들어오면 그 데이터가 어떤 값을 가질지 예측한다는 뜻이다.

3.1 선형회귀 모델과 손실 (2/4) W3-2 p15–18, p21

$$\hat y=\beta_0+\beta_1x_1+\dots+\beta_px_p=\mathbf b\cdot\mathbf x,\qquad \mathbf x=[1,x_1,\dots,x_p],\ \mathbf b=[\beta_0,\dots,\beta_p]$$

$n$개 샘플을 모으면 아래처럼 행렬로 쓸 수 있다. 여기서 $n$은 샘플 수, $p$는 feature 수다.

$$\underbrace{\mathbf X}_{n\times p}=\begin{bmatrix}1&x_{11}&\cdots&x_{1p}\\ \vdots&&&\vdots\\ 1&x_{n1}&\cdots&x_{np}\end{bmatrix},\quad \underbrace{\hat{\mathbf y}}_{n\times1}=\mathbf X\underbrace{\mathbf b}_{p\times1},\quad L=\|\mathbf y-\hat{\mathbf y}\|^2=\sum_i(y_i-\mathbf x_i\cdot\mathbf b)^2$$

위 크기는 슬라이드의 표기다. 절편용 1 열을 포함하면 엄밀히 $\mathbf X$는 $n\times(p+1)$, $\mathbf b$는 $(p+1)\times1$이다.

목표는 L을 최소화하는 b를 찾는 것이다. 이 방법을 최소제곱(least squares)이라고 한다.

절편 $\beta_0$는 특별한 값이 아니라 항상 1인 feature의 계수다. 그래서 디자인 행렬의 첫 열이 1이다.

펭귄 예: 날개 길이로 체중(body mass)을 예측하면 $\beta_0=-5872.1$ g, $\beta_1=50.15$ g/mm이다. 날개가 205 mm이면 4409.3 g으로 예측하고, $R^2=0.762$이다.

3.1 선형회귀 모델과 손실 (3/4) W3-2 p15–17 · 실습 W3 5.1

왜 하필 "제곱"합인가? 자료 외 보충

• 잔차를 그냥 더하면 +와 −가 상쇄된다. 예를 들어 평균 $\bar y$ 높이의 수평선도 잔차의 합이 0이다.
• 제곱은 매끄럽게 미분할 수 있다. 그래서 "편미분 = 0" 조건으로 손 유도를 하고 닫힌 해를 얻을 수 있다. (3.2, 3.3)
• 큰 오차를 더 크게 벌한다. 오차가 2배가 되면 벌점은 4배가 된다. 대신 이상치(outlier)에 민감하다.
• 노이즈가 정규분포를 따른다고 가정하면, 최소제곱 추정은 최대우도(maximum likelihood) 추정과 같다.

3.1 선형회귀 모델과 손실 (4/4) W3-2 p15–17 · 실습 W3 5.1

3.2 두 점으로 손 유도하기 (1/2) 유도 필수W3-2 p19–20

데이터는 두 점 $(0,0)$과 $(m,n)$이다. 모델은 $\hat y_i=\beta_0+\beta_1x_i$이고, 행렬로 쓰면 다음과 같다.

$$\mathbf X=\begin{bmatrix}1&0\\1&m\end{bmatrix},\qquad \mathbf y=\begin{bmatrix}0\\n\end{bmatrix},\qquad \mathbf b=\begin{bmatrix}\beta_0\\\beta_1\end{bmatrix}$$

1. 손실을 쓰고 데이터를 대입한다: 두 점의 잔차를 각각 제곱해서 더한다. $$L=(0-(\beta_0+\beta_1\cdot0))^2+(n-(\beta_0+\beta_1m))^2=\beta_0^2+(n-\beta_0-m\beta_1)^2$$ 이것을 전개하면 다음과 같다. $$=2\beta_0^2+2m\beta_0\beta_1-2n\beta_0-2nm\beta_1+m^2\beta_1^2+n^2$$
2. 편미분을 0으로 놓는다: $\beta_0$와 $\beta_1$로 각각 미분한다. 첫 식은 양변을 2로, 둘째 식은 양변을 $2m$으로 나누어 정리한다. $$\frac{\partial L}{\partial\beta_0}=4\beta_0+2m\beta_1-2n=0\ \Rightarrow\ 2\beta_0=n-m\beta_1\quad(1)$$ $$\frac{\partial L}{\partial\beta_1}=2m\beta_0+2m^2\beta_1-2nm=0\ \Rightarrow\ \beta_0=n-m\beta_1\quad(2)$$
3. (2)를 (1)에 대입한다: (1)의 $\beta_0$ 자리에 (2)를 넣으면 $\beta_1$이 나온다. $$2(n-m\beta_1)=n-m\beta_1\ \Rightarrow\ n=m\beta_1\ \Rightarrow\ \beta_1=\frac nm$$
4. 역대입한다: $\beta_1$을 (2)에 넣으면 $\beta_0=n-m\cdot\frac nm=0$이다. 따라서 해는 $\beta_0=0,\ \beta_1=n/m$이다. 이 직선은 두 점을 정확히 지나므로 잔차가 0이다.

3.2 두 점으로 손 유도하기 (2/2) W3-2 p19–21

일반화: n개 점의 단순회귀 공식 자료 외 보충

$$\frac{\partial L}{\partial\beta_0}=-2\sum_i(y_i-\beta_0-\beta_1x_i)=0\ \Rightarrow\ \beta_0=\bar y-\beta_1\bar x$$ $$\frac{\partial L}{\partial\beta_1}=-2\sum_i x_i(y_i-\beta_0-\beta_1x_i)=0\ \Rightarrow\ \beta_1=\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sum_i(x_i-\bar x)^2}$$

첫 식 때문에 직선은 항상 $(\bar x,\bar y)$를 지나고, 잔차의 합은 0이다.

검산: 두 점 $(0,0),(m,n)$이면 $\bar x=m/2$, $\bar y=n/2$이다. 분자는 $mn/2$, 분모는 $m^2/2$이므로 $\beta_1=n/m$이다. 그러면 $\beta_0=n/2-(n/m)(m/2)=0$이 되어 앞의 결과와 일치한다.

연습: 세 점 (0,0), (1,1), (2,3)에 직선을 맞추고 R²를 구하라. 자료 외 보충 연습

먼저 정규방정식을 세운다. $n=3$, $\sum x=3$, $\sum x^2=5$, $\sum y=4$, $\sum xy=7$이므로 두 행렬은 다음과 같다.

$$X^TX=\begin{bmatrix}3&3\\3&5\end{bmatrix},\qquad X^T\mathbf y=\begin{bmatrix}4\\7\end{bmatrix}$$

따라서 $3\beta_0+3\beta_1=4$와 $3\beta_0+5\beta_1=7$을 연립해서 풀면 $\beta_1=3/2$, $\beta_0=-1/6$이다.

예측값은 $-\tfrac16,\ \tfrac43,\ \tfrac{17}6$이고, 잔차는 $\tfrac16,\ -\tfrac13,\ \tfrac16$이다. 잔차의 합이 0이므로 앞의 성질과도 맞는다.

$\bar y=4/3$을 써서 제곱합과 $R^2$를 구하면 다음과 같다.

$$SS_{res}=\tfrac1{36}+\tfrac4{36}+\tfrac1{36}=\tfrac16,\qquad SS_{tot}=\tfrac{16+1+25}{9}=\tfrac{14}3,\qquad R^2=1-\frac{1/6}{14/3}=\frac{27}{28}\approx0.964$$

$R^2$가 높아도 $n=3$이라 잔차 자유도가 1뿐이다. 그래서 $p\approx0.12$로 유의하지 않다. 추론 (3.4 (4/4))

3.3 정규방정식(normal equation) (1/2) W3-2 p21 · 과제1 Ex 3.3

$$\hat{\mathbf b}=\arg\min_{\mathbf b}\|\mathbf y-\hat{\mathbf y}\|^2=(\mathbf X^T\mathbf X)^{-1}\mathbf X^T\mathbf y$$

일반 유도 스케치 자료 외 보충

손실을 행렬로 쓰고 전개한다.

$$L(\mathbf b)=(\mathbf y-\mathbf X\mathbf b)^T(\mathbf y-\mathbf X\mathbf b)=\mathbf y^T\mathbf y-2\mathbf b^T\mathbf X^T\mathbf y+\mathbf b^T\mathbf X^T\mathbf X\mathbf b$$

전개하면 $-\mathbf y^T\mathbf X\mathbf b-\mathbf b^T\mathbf X^T\mathbf y$가 나온다. 두 항은 같은 숫자(스칼라)라서 합쳐 $-2\mathbf b^T\mathbf X^T\mathbf y$가 된다.

이제 b의 각 성분으로 편미분한 값을 모은 그래디언트 $\nabla_{\mathbf b}L$을 구한다. 미분 규칙 두 개를 쓴다. $\partial(\mathbf b^T\mathbf a)/\partial\mathbf b=\mathbf a$이고, 대칭행렬 $A$에 대해 $\partial(\mathbf b^TA\mathbf b)/\partial\mathbf b=2A\mathbf b$이다. 1변수에서 $ab$를 b로 미분하면 $a$, $ab^2$을 b로 미분하면 $2ab$인 것과 같은 꼴이다. $\mathbf X^T\mathbf X$는 대칭행렬이므로 둘째 규칙을 쓸 수 있다. 그래디언트를 0으로 놓으면 정규방정식이 나온다.

$$\nabla_{\mathbf b}L=-2\mathbf X^T\mathbf y+2\mathbf X^T\mathbf X\mathbf b=-2\mathbf X^T(\mathbf y-\mathbf X\mathbf b)=\mathbf 0\ \Rightarrow\ \mathbf X^T\mathbf X\mathbf b=\mathbf X^T\mathbf y$$

$X^TX$가 가역이면, 즉 열들이 선형독립이면 $\hat{\mathbf b}=(X^TX)^{-1}X^T\mathbf y$이다.

기하학적 의미는 잔차 $\mathbf y-\mathbf X\hat{\mathbf b}$가 $\mathbf X$의 모든 열과 직교한다는 것이다.

• 과제1 Ex 3.3에서는 cubic 모델의 디자인 행렬 $[1, t, t^2, t^3]$(266×4)로 직접 계산했다. 결과는 $[-0.1150, 0.1357, -0.0185, 0.00063]$이고, sklearn과의 차이는 약 $10^{-14}$이다.
• 둘은 같은 최소제곱(least-squares) 문제를 푼다. sklearn은 역행렬을 명시적으로 구하는 대신, 수치적으로 더 안정적인 least-squares solver를 쓸 뿐이다.
• 선형회귀에는 닫힌 해(closed form)가 있다. 반면 로지스틱 회귀에는 닫힌 해가 없다. (3.8)

3.3 정규방정식(normal equation) (2/2) W3-2 p21 · 실습 W3 5.2 · 과제1 Ex 3.3

3.4 평가: 잔차(residual)와 R² (1/4) W3-2 p22–23 · notebook 5.3

$$\text{residual}=y-\hat y=y-\mathbf b\cdot\mathbf x\qquad R^2=1-\frac{SS_{res}}{SS_{tot}}=1-\frac{\sum_i(y_i-\hat y_i)^2}{\sum_i(y_i-\bar y)^2}$$

• 좋은 모델이라면 잔차에 구조가 없어야 한다(only noise).
• 잔차를 적합값에 대해 그린 그림에서 곡선 패턴이나 깔때기 모양 같은 구조가 보이면, 모델이 무언가를 놓치고 있다는 뜻이다.
• $R^2$는 전체 분산 중 모델이 설명하는 비율이다. $R^2=1$이면 완벽한 적합이고, $R^2=0$이면 평균값만 예측하는 것과 다를 바 없다.
• feature(열)를 추가하면 training $R^2$는 절대 내려가지 않는다. 펭귄 모델도 linear의 0.762에서 cubic의 0.777로 올랐다.
• 새 열의 계수를 0으로 두면 이전 모델과 똑같아진다. 따라서 최소제곱 해는 이전 모델보다 나쁠 수 없다.
• 그래서 training 성능만으로는 모델이 더 좋은지 판단할 수 없다. test set이나 교차검증(cross-validation)이 필요하다. (3.10, 4.9)

3.4 평가: 잔차(residual)와 R² (2/4) W3-2 p22–23 · 실습 W3 5.3–5.4 · 과제1 3.2

3.4 평가: 잔차(residual)와 R² (3/4) W3-2 p22–23 · 실습 W3 5.3–5.4 · 과제1 3.2

3.4 평가: R²와 p-value (4/4) W3-2 p23 · 실습 W3 5.3

잔차 자유도(residual degrees of freedom)는 점 개수에서 맞춘 파라미터 수를 뺀 값이다. 직선은 β0와 β1 두 개를 맞추므로 $n-2$이다. 점이 파라미터 수보다 많아야 직선이 모든 점을 지나지 못하고, 점들이 직선에서 벗어난 정도로 노이즈의 크기를 잴 수 있다. 자유도가 0이면 직선이 모든 점을 지나므로 노이즈를 잴 수 없고, 그래서 p-value도 계산할 수 없다. 자료 외 보충

표의 p-value는 단순회귀의 기울기 검정인 F 검정으로 계산했다. 자유도는 $(1,\ n-2)$이고, 검정통계량은 아래와 같다. 자료 외 보충

$$F=\frac{R^2}{1-R^2}(n-2)$$

What if R² is high but the p-value is also high? (슬라이드 질문) 추론

점이 아주 적을 때 이런 일이 생긴다. 예를 들어 $n=3$, $R^2=0.9$이면 다음과 같다.

$$F=\frac{R^2}{1-R^2}(n-2)=9,\qquad p\approx0.20$$

같은 $R^2$라도 $n=4$이면 $p\approx0.05$이다.

극단적으로 점이 2개이면 직선이 항상 두 점을 정확히 지나므로, 잔차가 0이고 $R^2=1$이다. (3.2)

그러나 이때 잔차 자유도가 $n-2=0$이라 p-value 자체를 계산할 수 없다. 아무 증거도 없는 "완벽한 적합"인 셈이다.

정리하면 $R^2$는 직선이 얼마나 잘 맞는지를 재고, p-value는 관계가 없다고 가정해도 이만큼의 관계가 쉽게 나오는지를 잰다. 둘은 서로 다른 질문이다.

따라서 높은 $R^2$가 자동으로 좋은 소식은 아니다.

3.5 "Linear"의 의미: linear in β (1/2) W3-2 p24–25 · 과제1 Ex 3.1–3.2

$$\hat y=\beta_0+\beta_1x+\beta_2x^2+\beta_3x^3$$

Is this model linear? → Yes

• $x, x^2, x^3$은 데이터로부터 계산되는 알려진 값이다. 즉 그냥 추가된 feature 열이다.
• 예측은 고정된 열들의 가중합이다. 그래서 "linear"는 파라미터 β에 대해 선형이라는 뜻이고, 같은 정규방정식이 그대로 적용된다.
• 과제1의 BOLD 데이터는 14명 × 19시점 = 266점이다.
• 직선 $y=b_0+b_1t$는 $R^2\approx0.169$로, 한 방향으로만 변하는 단조 drift만 표현한다.
• cubic은 $R^2\approx0.561$이다. 신호가 올라가 피크를 찍고 내려온 뒤 baseline 아래로 꺼지는(dip) 모양을 재현한다.
• 남은 분산은 대부분 같은 시점에서의 피험자 간 변동이다. 이것은 t만의 함수로는 설명할 수 없다.
• β에 대해 비선형인 모델의 예는 다음과 같다. 자료 외 보충 $$\hat y=\beta_0e^{\beta_1x},\qquad \hat y=\frac{1}{1+e^{-(\beta_0+\beta_1x)}}$$

3.5 "Linear"의 의미: linear in β (2/2) W3-2 p24–25 · 실습 W3 5.4 · 과제1 Ex 3.2

3.6 Simpson's paradox (과제1 Part 2) (1/2) 과제1 Ex 2.2–2.4

• 전체를 합친(pooled) 기울기가 음수라는 것은 부리가 깊을수록 가볍다는 뜻이다. 이것은 생물학적으로 말이 안 된다.
• 각 종 안에서는 부리가 깊을수록 무겁다. 즉 양의 추세가 있다.
• 원인은 Gentoo가 훨씬 무겁고 부리는 얕다는 데 있다. Gentoo의 체중은 약 5000 g으로, 다른 종의 약 3700 g보다 무겁다. 부리 깊이는 약 15 mm로, 다른 종의 약 18.4 mm보다 얕다.
• 그룹을 합치면 그룹 간 차이가 그룹 내 관계와 섞여 방향이 뒤집힌다. 여기서 종(species)이 교란변수(confounder)다.
• 개선 1: 종별로 따로 회귀한다. Adelie와 Chinstrap은 서로 겹치므로 묶어도 되고, 3개 모델로 나눠도 된다.
• 개선 2: 종 dummy 변수와 '종 × 부리 깊이' 상호작용항을 넣은 다중회귀를 한다. 그러면 그룹마다 기울기가 달라질 수 있다.
• dummy 변수 g는 Gentoo면 1, 아니면 0인 열이다. 상호작용항은 g와 부리 깊이 x를 곱한 열 gx다. 모델 $\hat y=\beta_0+\beta_1x+\beta_2g+\beta_3gx$에서 Adelie와 Chinstrap(g = 0)의 기울기는 $\beta_1$이고, Gentoo(g = 1)의 기울기는 $\beta_1+\beta_3$이다. 절편도 $\beta_0$와 $\beta_0+\beta_2$로 그룹마다 따로다. 그래서 이 모델로 구한 두 기울기는 그룹별로 따로 회귀한 +214, +369와 같다. 자료 외 보충

A single regression across all penguins gives a negative slope, but each species shows a positive one. Explain and propose a fix.

Simpson's paradox다. 종이 체중과 부리 깊이 모두에 영향을 주는 교란변수이기 때문이다.

Gentoo는 무겁고 부리가 얕으며, Adelie와 Chinstrap은 가볍고 부리가 깊다.

합치면 종 간 차이가 기울기를 지배해 음수가 된다. 그러나 종 내부의 실제 관계는 양수다.

pooled 모델은 $R^2$도 0.22로 낮고, 모든 종에서 예측이 편향된다.

해결 방법은 두 가지다. 첫째, 종별로(또는 Gentoo와 나머지로) 나눠 따로 회귀한다. 그러면 기울기는 +369, +214가 되고 $R^2$는 0.52, 0.34로 개선된다.

둘째, species dummy와 상호작용(interaction) 항을 포함한 하나의 다중회귀를 쓴다.

3.6 Simpson's paradox (2/2) 과제1 Ex 2.3–2.4

3.7 로지스틱 회귀(logistic regression) (1/3) 설명 필수W4 p3–8 · notebook 3

로지스틱 회귀는 데이터의 추세를 기술하는 회귀이면서, 범주를 예측하는 분류(classification)에 쓰인다.

데이터는 Breast Cancer Wisconsin이다. 생검(biopsy) 569건에서 세포핵을 측정한 30개 feature가 있다. label은 malignant 212건, benign 357건이고, 숫자로는 0 = malignant, 1 = benign이다.

1. 선형 점수(logit)를 계산한다: $z=\mathbf w\cdot\mathbf x+b$이고, feature가 1개면 $z=wx+b$이다. 30개 feature가 숫자 하나 z로 압축된다.
2. sigmoid로 확률을 만든다: sigmoid는 모든 실수를 0과 1 사이로 보낸다. $$\sigma(z)=\frac1{1+e^{-z}}=P(y=1\mid\mathbf x)$$ 예를 들어 $\sigma(0)=0.5$, $\sigma(-3)=0.047$, $\sigma(3)=0.953$이다.
3. threshold로 판정한다: $\sigma(z)\ge0.5$이면 $\hat y=1$, 아니면 0으로 판정한다. $\sigma(z)\ge0.5$는 $z\ge0$과 같으므로, 결정 경계 $\mathbf w\cdot\mathbf x+b=0$은 직선 또는 초평면이다. feature가 2개면 경계는 직선이고, 3개면 평면이다. feature가 30개처럼 더 많아도 경계는 휘지 않은 평평한 면이며, 이것을 초평면(hyperplane)이라고 부른다. 즉 선형 경계다.

• 학습되는 것은 w와 b뿐이다. w는 feature마다 가중치가 1개씩 있다.
• 실습 노트북에서 predict_proba의 값은 직접 계산한 sigmoid(z)와 같았다. 예: z = 0.41 → P(benign) = 0.601.
• 또 (z ≥ 0)으로 판정한 결과가 predict()와 완전히 일치했다.
• train accuracy는 0.99, test accuracy는 0.96이다.
• W4 p5 그림은 training 샘플 398개를 각자의 z 위치에 찍은 것이다. z = 0의 반대편에 놓인(틀린) 샘플은 3개뿐이라 train accuracy가 395/398 ≈ 0.99다. 악성 50개는 z가 −12보다 작아 그림 왼쪽 밖에 있다. 모델이 이 샘플들을 매우 확신한다는 뜻이다. (W4 p5 · 실습 W4 3.4)

왜 선형회귀를 그대로 분류에 쓰지 않나? 자료 외 보충

선형회귀의 출력은 $(-\infty,\infty)$ 범위라서 확률로 해석할 수 없다. 또 극단적인 점에 기울기가 끌려간다. sigmoid는 점수를 (0,1) 범위의 확률로 바꾸고, 손실도 확률에 맞는 cross-entropy를 쓴다.

3.7 로지스틱 회귀 (2/3) W4 p3–8 · 실습 W4 3.1–3.4

3.7 로지스틱 회귀 (3/3) W4 p3, p7–8 · 실습 W4 3.2–3.3

3.8 Cross-entropy 손실과 학습 (1/3) W4 p9 · notebook 4

$$\hat p_i=\frac1{1+e^{-(\mathbf w\cdot\mathbf x_i+b)}},\quad y_i\in\{0,1\},\qquad L=-\sum_i\Big(y_i\log\hat p_i+(1-y_i)\log(1-\hat p_i)\Big)$$

• 샘플 하나의 손실은 정답 클래스에 준 확률에 −log를 씌운 값이다. $y=1$이면 $-\log\hat p$, $y=0$이면 $-\log(1-\hat p)$이다.
• 확신하고 맞히면 손실이 거의 0이고, 확신하고 틀리면 손실이 폭발한다(confident and right, confident and wrong).
• 예: $\hat p=0.5$이면 0.693이다. 정답에 0.99를 주고 맞히면 0.01이고, 정답에 0.01만 주고 틀리면 4.605다.
• 목표는 L을 최소화하는 w와 b를 찾는 것이다. 닫힌 해가 없으므로 반복적 최적화로 푼다. 경사하강법(gradient descent)이 대표적이고, sklearn의 기본 solver는 lbfgs다.
• 경사하강법은 손실의 그래디언트(gradient) $\nabla L$을 계산하고, 그 반대 방향으로 w와 b를 조금씩 옮기는 일을 반복한다. 그래디언트는 손실이 가장 빨리 커지는 방향이므로, 반대로 가면 손실이 줄어든다. 식으로는 $\mathbf w\leftarrow\mathbf w-\eta\,\nabla_{\mathbf w}L$이고, b도 같은 식으로 옮긴다. η(learning rate)는 한 번에 움직이는 보폭이다. 안개 낀 산에서 발밑의 경사만 보고 한 걸음씩 내려가는 것과 같다. 자료 외 보충
• lbfgs는 그래디언트와 함께 손실 곡면이 얼마나 휘었는지도 어림해서 방향과 보폭을 정하는, 경사하강의 개량형이다(quasi-Newton 방법). 자료 외 보충
• 실습 노트북에서 test 평균 손실은 0.0846이고, sklearn의 log_loss 값과 같다.

왜 squared error 대신 cross-entropy? 자료 외 보충

CE는 Bernoulli 모델의 음의 로그우도(negative log-likelihood)다. 즉 정답들에 준 확률을 모두 곱한 값에 −log를 씌운 것이라, 확률 예측에 자연스러운 손실이다. 또 확신에 찬 오답을 매우 크게 벌한다. 로지스틱 회귀에서 CE는 w에 대해 볼록(convex)이라 최적화가 안정적이다.

3.8 Cross-entropy 손실과 학습 (2/3) W4 p9 · 실습 W4 4.1–4.2, 5.2

3.8 Cross-entropy 손실과 학습 (3/3) W4 p9 · 실습 W4 4.1–4.2, 5.2

3.9 Standardization (z-score)과 train/test split (1/3) W4 p5–6 · notebook 1–2

$$z_{ij}=\frac{x_{ij}-\mu_j}{\sigma_j}$$

• 왜 하나: feature들의 스케일이 위 표처럼 천차만별이기 때문이다. 그대로 두면 L2 penalty가 불공정해지고, 가중치끼리 비교할 수 없고, 거리 기반 방법에서는 area 하나가 결과를 지배한다. 자세한 이유는 다음 쪽(2/3)에 있다.
• scaler는 training set에만 fit한다. 그리고 같은 μ, σ로 train과 test를 모두 transform한다.
• test set은 본 적 없는 샘플처럼 행동해야 하기 때문이다. 즉 test 정보가 새어 들어가는 것을 막는다.
• 그래서 test 열에서는 평균 0, SD 1이 근사적으로만 성립한다. 첫 3열의 평균은 0.02–0.06, SD는 0.91–1.02였고, 이것이 맞는 결과다.
• train_test_split(test_size=0.3, stratify=y)로 데이터를 398개와 171개로 나눈다.
• stratify는 malignant와 benign의 비율을 양쪽에 똑같이 유지한다. benign 비율은 train 0.628, test 0.626이었다.

3.9 Standardization과 train/test split (2/3) W4 p5–6 · W5-1 p7 · 실습 W4 1.1–2.2

3.9 Standardization과 train/test split (3/3) W4 p5–6 · W5-1 p7 · 실습 W4 1.1–2.2

3.10 Overfitting: bias와 variance (1/3) W4 p10 · notebook 5

• bias는 모델이 너무 단순해서 진실을 표현하지 못해 생기는 오차다. 그 결과 모델이 패턴을 놓치는데, 이것을 과소적합(underfitting)이라고 한다.
• variance는 모델이 training data에 너무 민감해서 노이즈까지 잡아 생기는 오차다. 그 결과 데이터가 조금만 바뀌어도 크게 흔들리는데, 이것을 과적합(overfitting)이라고 한다.
• feature를 늘리거나, 차수를 올리거나, λ를 줄이면 모델 복잡도가 커진다.
• 복잡도가 커질수록 training loss는 계속 줄어든다. 반면 test(validation) loss는 U자 모양을 그린다.
• test loss는 아래처럼 세 부분으로 나뉜다. $$\text{test loss}=\text{bias}^2+\text{variance}+\text{noise}$$
• U자의 바닥이 best model이다.

3.10 Overfitting: bias와 variance (2/3) W4 p10 · 실습 W4 5.2

3.10 Overfitting: bias와 variance (3/3) W4 p10 · 실습 W4 5.2

3.11 Regularization (L2) (1/3) W4 p11 · notebook 5

$$L=-\sum_i\Big(y_i\log\hat p_i+(1-y_i)\log(1-\hat p_i)\Big)+\lambda\|\mathbf w\|_2^2,\qquad \lambda=\frac1{2C}$$

• 큰 가중치가 나쁜 이유는 두 가지다. 첫째, 큰 가중치는 개별 노이즈 점을 맞출 수 있다. 둘째, 모든 결정을 과신(overconfident)하게 만든다.
• 그래서 큰 가중치에 비용을 매긴다.
• sklearn에서 조절하는 값(knob)은 C다. C가 크면 정규화가 약하고, C가 작으면 정규화가 강하다. $\lambda=1/(2C)$로 반비례하기 때문이다.
• C sweep 결과, training accuracy는 1.0까지 오른 뒤 그대로 유지된다.
• test accuracy는 최고점(peak)을 찍은 뒤 떨어진다. 이 training과 test의 차이(gap)가 overfitting이다.
• test cross-entropy는 C가 커지면 accuracy가 평평해도 계속 오른다. 같은 판단을 더 과신하게 되어, 확신에 찬 오답의 비용이 커지기 때문이다.
• C가 커질수록 $\|\mathbf w\|$는 끝없이 커진다.
• peak의 왼쪽은 underfit인 high bias 영역이고, 오른쪽은 overfit인 high variance 영역이다.

3.11 Regularization (L2) (2/3) W4 p5, p11 · 실습 W4 5.1–5.2

3.11 Regularization (L2) (3/3) W4 p5, p11 · 실습 W4 5.1–5.2

3.12 평가 지표: confusion matrix, precision, recall (1/6) 계산 필수W4 p12–16 · notebook 6

먼저 무엇을 positive로 볼지 정한다. 데이터 label에서 0은 malignant다. screening의 대상이 악성이므로, 실습 노트북은 malignant를 positive로 둔다(pos_label=0).

$$\text{Accuracy}=\frac{TP+TN}{N_{all}}=\frac{164}{171}=0.959\qquad \text{Precision}=\frac{TP}{TP+FP}=\frac{61}{65}=0.938\qquad \text{Recall}=\frac{TP}{TP+FN}=\frac{61}{64}=0.953$$ $$F1=\frac{2\cdot\text{Precision}\cdot\text{Recall}}{\text{Precision}+\text{Recall}}=0.946$$

• precision은 모델이 positive라고 한 것 중 진짜 positive의 비율이다. 슬라이드는 이것을 "How accurate is the prediction?"이라고 묻는다.
• recall은 진짜 positive 중 모델이 잡아낸 비율이다. 슬라이드는 이것을 "How many did we catch?"라고 묻는다.
• threshold는 사람이 고르는 선택이다. P(malignant)의 기준을 낮추면 recall은 같거나 오른다. 대신 false alarm이 늘어 precision은 보통 내려간다.

3.12 평가 지표 (2/6) W4 p12–15 · 실습 W4 6.1–6.2

3.12 평가 지표 (3/6) W4 p12–15 · 실습 W4 6.1–6.2

3.12 평가 지표 (4/6) W4 p12–16 · 실습 W4 6.1–6.2

3.12 평가 지표: confusion matrix, precision, recall (5/6) 계산 필수W4 p12–16 · notebook 6

• PR curve는 threshold를 1에서 0까지 내리면서 (recall, precision)을 기록한 곡선이다.
• 곡선 아래 면적을 Average precision(AP)이라고 한다. 슬라이드의 AP는 0.99다.
• 슬라이드 그림의 주황 점은 threshold 0.5(recall 0.953, precision 0.938)이고, 빨간 점은 threshold 0.1이다. 0.1에서는 recall이 1.0이 되고, precision은 그림에서 약 0.85로 읽힌다. 추론
• baseline은 0.5가 아니라 prevalence, 즉 positive의 비율이다. 여기서는 64/171 ≈ 0.37이다.
• 무작위로 찍는 분류기(random guess)는 positive를 몇 개 부르든 precision이 평균적으로 prevalence이기 때문이다. threshold 0에서 모든 샘플을 positive라고 불러도 precision은 prevalence와 같다.
• 곡선의 왼쪽 위는 높은 threshold로, 적게 부르고 다 맞히는 쪽이다. 오른쪽 아래는 threshold 0이다.
• screening에서는 필요한 recall을 먼저 정하고, 그때 감수할 precision을 읽는다.

What if we have 1 positive sample and 99 negative samples? (슬라이드 질문)

"항상 negative"라고만 하는 쓸모없는 모델도 accuracy가 99/100 = 99%다.

하지만 positive를 하나도 못 잡으므로 recall = 0/1 = 0이다. positive라고 판정한 샘플이 없어 TP + FP = 0이므로, precision은 0/0이 되어 정의할 수 없다. 0으로 처리하기도 한다.

클래스가 불균형하면 accuracy가 성능을 속인다. 그래서 positive 클래스를 중심으로 한 precision과 recall, 또는 F1이나 PR curve와 AP를 봐야 한다.

AP의 기준선도 0.5가 아니라 prevalence인 1%다.

For a cancer screening test, would you lower or raise the threshold? What do you trade off?

암을 놓치는 것(FN)이 치명적이므로 threshold를 낮춰 recall을 높인다.

그 대가로 false alarm(FP)이 늘어 precision이 떨어진다.

실습 노트북에서 threshold를 0.5에서 0.05로 낮추면 recall은 0.953에서 1.0으로 오른다. 반면 precision은 0.938에서 0.78로 내려가고, false alarm은 4건에서 18건으로 늘어난다.

그래서 필요한 recall을 먼저 정하고, 그때의 precision을 감수하는 방식으로 고른다.

3.12 평가 지표 (6/6) W4 p13–16 · 실습 W4 6.3–6.4

3.13 정리: 선형 회귀 vs 로지스틱 회귀 W3-2 p15–25 · W4 p3–16

로지스틱 회귀 실습의 전체 흐름은 다음과 같다. (실습 W4)

1. split: train_test_split(test_size=0.3, stratify=y)로 데이터를 398개와 171개로 나눈다.
2. 표준화: scaler를 train으로만 fit하고, train과 test를 모두 transform한다.
3. 학습: LogisticRegression(C)로 cross-entropy와 L2 penalty의 합을 반복적으로 최소화한다.
4. 확률: predict_proba의 열 순서는 [P(malignant), P(benign)]이다. 둘째 열인 P(benign)이 σ(z)다.
5. 판정: threshold를 고른다. 기본값 0.5는 z ≥ 0과 같고, screening이라면 P(malignant)의 기준을 낮춘다.
6. 평가: test set에서 positive를 밝힌 혼동행렬을 만든다. 그리고 accuracy, precision, recall, F1, PR curve와 AP를 계산한다.

3.✎ 영어 용어 정리 시험 문제는 영어로 나온다

문제에서 이 단어가 보이면 무엇을 묻는지 바로 떠올릴 수 있어야 한다. 답은 한국어로 써도 되지만, 용어는 영어 그대로 써도 좋다.

4.1 왜 차원축소? (1/2) W5-1 p3–4 · 실습 W5 Part 1

생물학 데이터는 열이 매우 많은 넓은(wide) 데이터다. 세포 하나에 유전자 20,000개, 샘플 하나에 peak 수천 개, 뉴런 하나에 형태 feature 수백 개가 붙는다.

그래서 "이 정보가 다 필요한가?", "고차원 정보를 어떻게 시각화하나?"라는 질문이 생긴다. 차원축소는 중요한 것은 유지하고 중복(redundancy)은 버리는 저차원 지도를 찾는 일이다.

예를 들어 유방암(breast cancer) 데이터는 feature가 30개이고, 이 feature들은 서로 강하게 상관되어 있다.

• 이 챕터의 데이터는 Breast Cancer Wisconsin이다. 생검(biopsy) 569개마다 세포핵의 radius, texture, concavity 등 30개 feature를 측정했다.
• label은 malignant 212개, benign 357개다. 코딩은 0 = malignant, 1 = benign이다.
• n은 샘플 수(행)로 569이다. p는 feature 수(열)로 30이며, 이 p를 차원이라고 부른다.
• 차원축소는 p를 줄이는 것이다. 샘플 수는 그대로 둔다.

4.1 왜 차원축소: 쓰는 이유와 함정 (2/2) W5-1 p3–4 · 실습 W5 Part 1

4.2 PCA: 같은 데이터, 새로운 축 (1/5) W5-1 p5–7 · 실습 W5 3.1

• 원래 축 $x_1$, $x_2$ 각각으로 보면 점들이 적당히만 퍼져 있다. 그러나 PC1 방향으로 보면 점들이 가장 많이 퍼져 있다.
• PCA는 좌표계를 회전시킨다. 첫 번째 축이 가능한 한 많은 분산을 담고, 두 번째 축이 남은 분산 중 가장 많은 양을 담게 한다.
• 이렇게 만든 축들은 서로 직교한다.
• PCA는 선형(linear) 방법이며 빠르다. 또 결정적(deterministic) 방법이라 결과가 매번 같다.
• 표준화(standardization)가 필수다. PCA는 분산을 최대화하므로, 표준화하지 않으면 분산이 큰 feature가 PC1을 독차지한다.
• 예를 들어 mean area는 SD가 352나 된다. (4.2 (3/5), (5/5))
• PCA는 label을 보지 않는다(unsupervised). 그런데도 PC1–PC2 평면에서 malignant와 benign이 서로 다른 곳에 놓인다.

4.2 PCA: 언제 쓰고 무엇을 조심하나 (2/5) W5-1 p5–7, p21 · 실습 W5 3.1–3.2

4.2 PCA: 왜 표준화가 필수인가 (3/5) 설명 필수W5-1 p7 · 실습 W5 2.1–2.2

4.2 PCA: 표준화에서 틀리기 쉬운 것 (4/5) W5-1 p7 · 실습 W5 2.1–2.2

4.2 PCA: 왜 표준화가 필수인가 (5/5) W5-1 p7, p10 · 실습 W5 2.1

4.3 벡터 사영(projection) (1/2) W5-1 p8–9

$$\mathrm{proj}_{\mathbf u}(\mathbf a)=(\mathbf a\cdot\mathbf u)\,\mathbf u\quad(\|\mathbf u\|=1),\qquad \mathbf a-(\mathbf a\cdot\mathbf u)\mathbf u\ \perp\ \mathbf u$$

$k$차원 부분공간(예: 3차원 공간 속의 평면)으로 사영할 수도 있다. 이 부분공간은 서로 직각이고 길이가 1인 방향 벡터 k개로 나타낸다. 이 묶음을 정규직교 기저(orthonormal basis)라 한다. 이것을 $\mathbf W=[\mathbf u_1,\dots,\mathbf u_k]\in\mathbb R^{p\times k}$라 하면, 사영은 다음과 같다.

$$\mathrm{proj}_{\mathbf W}(\mathbf a)=\mathbf W\mathbf W^T\mathbf a$$

새 좌표(score)는 $\mathbf W^T\mathbf a$이며, k개의 숫자다.

• $\mathbf a\cdot\mathbf u$는 score다. 그 축 위의 좌표이며, 숫자 1개다.
• $(\mathbf a\cdot\mathbf u)\mathbf u$는 원래 공간에 놓인 사영 벡터다.
• 잔차 $\mathbf a-(\mathbf a\cdot\mathbf u)\mathbf u$는 $\mathbf u$에 수직이며, 사영으로 잃어버린 부분이다.
• 뒤에서 볼 deflation은 바로 이 잔차만 남기는 연산이다. (4.4)
• 왜 $\|\mathbf u\|=1$이어야 하나 자료 외 보충: $\mathbf u$를 2배로 늘리면 $(\mathbf a\cdot 2\mathbf u)(2\mathbf u)=4(\mathbf a\cdot\mathbf u)\mathbf u$가 되어 결과가 4배가 된다. 단위벡터일 때만 진짜 "그림자"와 같다. 단위벡터가 아닌 일반 벡터에는 다음 식을 쓴다. $$\mathrm{proj}_{\mathbf u}(\mathbf a)=\frac{\mathbf a\cdot\mathbf u}{\mathbf u\cdot\mathbf u}\,\mathbf u$$

4.3 벡터 사영(projection) (2/2) W5-1 p12

PCA에서는 $\mathbf u$ 자리에 PC 방향 $\mathbf w_1$이 들어간다. 샘플 i의 PC1 score는 $z_{i1}=\mathbf x_i\cdot\mathbf w_1$이다.

모든 샘플을 앞의 k개 PC에 한꺼번에 사영하면 $\mathbf Z=\mathbf X\mathbf V_k\in\mathbb R^{n\times k}$가 된다.

4.4 주성분 찾기: 분산 최대화 + deflation (1/2) 설명 필수W5-1 p10

$\mathbf X\in\mathbb R^{n\times p}$는 표준화되어 각 열의 평균이 0이라고 하자. $\mathbf X\mathbf v$는 모든 샘플을 단위벡터 $\mathbf v$에 사영한 값(n개)이며, 그 분산은 다음과 같다.

$$\mathrm{Var}(\mathbf X\mathbf v)=\frac1{n-1}\|\mathbf X\mathbf v\|^2$$

1. 분산이 최대가 되는 방향을 찾는다. 이것이 PC1이다. $$\mathbf v_1=\arg\max_{\|\mathbf v\|=1}\|\mathbf X\mathbf v\|$$
2. PC1이 설명하는 부분을 제거해 잔차를 만든다. $$\mathbf X_1=\mathbf X-(\mathbf X\mathbf v_1)\mathbf v_1^T$$
3. 잔차에서 분산이 최대인 방향을 찾는다. 이것이 PC2이며, 같은 과정을 반복한다. $$\mathbf v_2=\arg\max_{\|\mathbf v\|=1}\|\mathbf X_1\mathbf v\|$$

$\arg\max_{\|\mathbf v\|=1}$는 "길이가 1인 v 중에서 뒤의 값을 가장 크게 만드는 v"라는 뜻이다. 최댓값 자체가 아니라, 그 값을 만드는 방향 v를 가리킨다. $\|\mathbf v\|$는 벡터 v의 길이다.

4.4 주성분 찾기: 각 단계의 "왜" (2/2) W5-1 p8–10

4.5 SVD, PC score, explained variance (1/3) W5-1 p6, p11–13 · 실습 W5 3.2

$$\mathbf X=\mathbf U\boldsymbol\Sigma\mathbf V^T=\sum_k\sigma_k\,\mathbf u_k\mathbf v_k^T$$

• SVD는 모든(any) 행렬에 대해 가능하다.
• $\mathbf U$는 $n\times n$ 행렬이며, 그 열은 왼쪽 특이벡터(left singular vectors)다.
• $\boldsymbol\Sigma$는 $n\times p$ 행렬이며, 대각에 특잇값(singular values) $\sigma_1\ge\sigma_2\ge\dots\ge0$을 가진다.
• $\mathbf V^T$는 $p\times p$ 행렬이며, 그 행은 오른쪽 특이벡터(right singular vectors)다.
• $\mathbf V^T$의 행 $\mathbf v_k^T$가 principal components다. SVD는 행렬을 "중요도 순으로 정렬된 가장 단순한 조각들의 합"으로 쓴다. 조각 하나는 방향 하나로만 이루어진 표 $\sigma_k\mathbf u_k\mathbf v_k^T$다(rank-1).
• 사영(projection)은 앞의 k개 PC를 써서 $\mathbf Z=\mathbf X\mathbf V_k\in\mathbb R^{n\times k}$로 계산한다.
• sklearn의 components_는 (2, 30) 행렬이다. 각 행이 PC 단위벡터이므로, components_는 $\mathbf V_k^T$에 해당한다.
• 노트북에서 Z == X_scaled @ components_.T를 확인하면 True가 나온다. 즉 Z는 $\mathbf X\mathbf V_k$다.
• PC k 방향의 분산은 $\sigma_k^2$에 비례한다. 그래서 설명 분산 비율은 다음과 같다. $$\text{Explained Variance Ratio}_k=\frac{\sigma_k^2}{\sum_i\sigma_i^2}$$

표기 주의: 슬라이드 p6 코드 주석은 Z = X W로 쓰고 components_ = Wᵀ로 둔다. 즉 W = $\mathbf V_k$(p×k)다. 실습 3.2는 W = components_(k×p)로 두고 $Z = XW^{\top}$로 쓴다. 둘은 같은 내용이므로, 답안에서는 W가 무엇인지 먼저 정의한다.

4.5 SVD, PC score, explained variance (2/3) W5-1 p11–13 · notebook 3

슬라이드 toy 예에서는 var(PC1) = 2.04, var(PC2) = 0.29이고, PC1이 약 87%를 설명한다. 표시된 숫자로 나누면 0.876인데, 두 값이 반올림된 값이라 끝자리가 조금 다르다. 추론

4.5 SVD, PC score, explained variance (3/3) W5-1 p11–13 · 실습 W5 3.2–3.3

Explain how PCA finds its components and what the explained variance ratio means.

1. feature를 표준화해 평균 0, SD 1로 만든다. 스케일이 큰 feature가 분산을 지배하지 않게 하기 위해서다.
2. 단위벡터 v로 사영한 값 Xv의 분산 $\|Xv\|^2/(n-1)$을 최대화하는 v₁을 찾는다. 이것이 PC1이다.
3. PC1이 설명한 부분을 빼서 잔차 $X_1=X-(Xv_1)v_1^T$를 만든다. 잔차에서 다시 분산이 최대인 방향을 찾으면 PC2이며, PC2는 PC1과 직교한다. 이 과정을 반복한다.
4. 실제 계산은 SVD $X=U\Sigma V^T$로 한 번에 한다. $V^T$의 행이 PC이고, $Z=XV_k$가 PC score다.
5. PC k가 설명하는 분산은 $\sigma_k^2$에 비례한다. 그래서 explained variance ratio $\sigma_k^2/\sum\sigma_i^2$는 전체 분산 중 그 축이 담은 비율이다.
6. 누적 비율로 남길 PC 개수를 정한다. 예를 들어 95%를 담으려면 10개가 필요하다. PCA는 선형이고 결정적이며 빠르다.

4.6 UMAP: 같은 데이터, 축 없음 (1/6) 3단계 설명W5-1 p14–20 · W5-2 p3–5

UMAP은 고차원에서 이웃 그래프를 만든 뒤 2D 평면에 점을 배치한다. 고차원에서 연결된 점은 가깝게, 연결되지 않은 점은 멀게 놓는다.

UMAP은 비선형(nonlinear) 방법이며, 주로 시각화에 쓴다. 확률적(stochastic) 방법이기도 하다. 보존하는 것은 이웃 정보(local neighborhood)다.

1. 전체 feature(예: 30차원)로 이웃 그래프를 만든다. 각 샘플 i마다 n_neighbors개의 최근접 샘플을 찾고 거리를 잰다. 엣지 가중치는 다음과 같다. $$w=\exp\!\Big(-\frac{d-\rho_i}{\sigma_i}\Big)$$ 여기서 $\rho_i$는 가장 가까운 이웃까지의 거리(distance to nearest neighbor)다. 그래서 가장 가까운 이웃의 w는 항상 1이다. 점마다 자기 스케일($\rho_i,\sigma_i$)로 정규화하므로, 밀집 영역과 희박 영역이 비슷하게 보인다. 여기서 $\sigma_i$는 표준편차나 특잇값이 아니다. 점 i마다 따로 정하는 거리 눈금으로, 곡선이 얼마나 빨리 떨어지는지를 정한다.

4.6 UMAP: Step 1을 더 자세히 (2/6) W5-1 p16

4.6 UMAP: 같은 데이터, 축 없음 (3/6) 3단계 설명W5-1 p14–20 · W5-2 p3–5

1. 2D 평면에 점을 떨어뜨린다. 먼저 spectral layout으로 초기화해, 연결된 점끼리 가까이서 시작하게 한다. 2D에서 "이웃"의 정도는 다음 식으로 정의한다. $$v'=\begin{cases}1 & d\le d_{min}\\ e^{-(d-d_{min})} & d\gt d_{min}\end{cases}\qquad v=\frac1{1+a\,d^{2b}}$$ $a$와 $b$는 $v$가 $v'$에 가까워지도록 맞춘(fitted) 상수다.

   

   $v'$는 $d_{min}$(= min_dist)까지 1로 평평하다. 그래서 이미 min_dist보다 가까운 쌍은 충분히 가깝다고 보고 더 당기지 않는다. 그 결과 점들이 min_dist보다 촘촘하게 겹쳐 쌓이려 하지 않는다. 추론 꺾인 $v'$ 대신 매끄러운 $v$를 쓰는 것은 미분(gradient)으로 최적화하기 위해서다. 자료 외 보충

2. 두 그래프가 일치하도록 손실을 최소화한다. 손실은 w 그래프와 v 그래프 사이의 cross-entropy다. $$L=\sum_{ij}\Big(\underbrace{w_{ij}\log\frac{w_{ij}}{v_{ij}}}_{\text{Attract}}+\underbrace{(1-w_{ij})\log\frac{1-w_{ij}}{1-v_{ij}}}_{\text{Repel}}\Big)$$
   • 고차원에서 강하게 연결된 쌍($w$ 큼)이 2D에서 멀리 있으면 $v$가 작아 첫 항이 커진다. 그래서 두 점을 당긴다.
   • 연결되지 않은 쌍($w\approx0$)이 2D에서 가까이 있으면 $v\approx1$이 되어 둘째 항이 커진다. 그래서 두 점을 밀어낸다.
   • $w_{ij}=v_{ij}$이면 두 항이 모두 0이 되어 최소다.
   • 최적화를 한 바퀴 돌 때마다(epoch) 차례가 된 연결 쌍을 당긴다. 그리고 그 쌍의 각 점마다 무작위 점 5개를 그 점에서 밀어낸다.
   • 이 무작위 밀어내기를 negative sampling이라고 부른다. 자료 외 보충
   • 밀어낼 점을 무작위로 고르므로, random_state를 고정하지 않으면 실행마다 배치가 달라질 수 있다. UMAP이 확률적(stochastic)인 이유 중 하나다. 추론

4.6 UMAP: 같은 데이터, 축 없음 (4/6) 3단계 설명W5-1 p14–20 · W5-2 p3–5

4.6 UMAP: 왜 그림의 거리·크기·축을 믿으면 안 되나 (5/6) 설명 필수W5-1 p15–21 · 실습 W5 4.1–4.2

4.6 UMAP: 틀리기 쉬운 것과 답안 (6/6) W5-1 p14–21 · W5-2 p3–5 · 실습 W5 4

4.7 PCA vs UMAP (1/2) W5-1 p6, p15, p21

4.7 PCA vs UMAP: 함정과 답안 (2/2) W5-1 p12, p21

4.8 Supervised vs Unsupervised (1/2) W5-2 p6–7

Supervised는 선생님이 training data와 함께 답을 건네준다는 뜻이다. Unsupervised는 알고리즘이 스스로 정리하고, 우리가 나중에 해석한다는 뜻이다.

4.8 Supervised vs Unsupervised (2/2) W5-2 p6–7 · 실습 W5 6.1

4.9 k-NN과 cross-validation (1/6) W5-2 p8–15 · notebook 5

1. 새 샘플에서 모든 training 샘플까지 거리를 잰다. 거리는 p개 feature 전체에 대한 Euclidean 거리다. $$d_i=\sqrt{\sum_{j=1}^{p}\big(x^{j}_{new}-x^{j}_{i}\big)^2}$$
2. 가장 가까운 k개를 골라 다수결로 정한다. 거리를 정렬해 가까운 k개를 고르고, 그중 가장 많은 클래스를 예측값으로 쓴다. predict_proba는 투표 비율이다(예: 3/5 malignant). 클래스가 2개면 동점을 막기 위해 홀수 k를 쓴다.

• 학습되는 모델이 없다(no model is learned). 'training'은 데이터를 저장하는 것뿐이고, 모든 일은 예측 시점에 한다. 가중치, 손실함수, gradient descent가 없다.
• 거리 기반이라 표준화가 필수다. scaler는 train에만 fit한다.
• k의 역할: 슬라이드 p13은 feature 2개(mean radius, mean texture)로 실험한다.
• k=1이면 training set을 암기한다(train 1.00). 경계가 모든 점을 따라가므로 overfit이고, test는 0.85다.
• k=15이면 경계가 매끄럽다(train 0.90). test가 0.88로 셋 중 가장 높다.
• k=150이면 경계가 거의 직선이 되어 국소 구조를 무시한다. underfit이며 train 0.87, test 0.85다.
• k=1의 train 1.00은 각 점이 자기 자신의 최근접 이웃이기 때문이다. 이 값은 새 샘플에 대해 아무것도 말해 주지 않는다.

4.9 k-NN: k는 무엇을 바꾸나 (2/6) W5-2 p8–13 · W4 p10 · 실습 W5 5.1–5.2

feature 2개로 한 슬라이드 p13 수치와 feature 30개로 한 실습 수치는 서로 다른 실험이다. 30개 feature에서는 k=1도 test가 0.947이다.

따라서 교훈은 "k=1이면 test가 반드시 나쁘다"가 아니다. "train 1.00은 아무 정보가 없다"는 것이다.

train accuracy는 k가 커질수록 대체로 떨어진다. p15 그림을 보면 전체 추세는 감소지만, 군데군데 작은 오르내림이 있어 엄밀한 단조 감소는 아니다.

4.9 k-NN: 언제 쓰고 무엇을 조심하나 (3/6) W5-2 p8–13 · W4 · 실습 W5 5.1–5.2

4.9 k-NN과 cross-validation (4/6) W5-2 p8–15 · notebook 5

Cross-validation으로 k 고르기

• test set은 손대지 않는다. training set 안에서 데이터를 5개 fold로 나눈다.
• 한 fold씩 빼고 나머지 4 fold로 fit한 뒤, 뺀 fold로 점수를 잰다. 5개 점수를 평균하며, 슬라이드에서는 0.970(SD 0.013)이다.
• k=1, 3, …, 51 중 CV accuracy가 가장 높은 값은 k=9다.
• test set은 마지막에 단 한 번만 쓴다. k=9의 test accuracy는 0.947이다.
• 왜 test로 k를 고르면 안 되나? test로 고르면 test가 더 이상 "본 적 없는 데이터"가 아니다. 모델 선택에 test 정보가 새어 들어가, 성능이 낙관적으로 부풀려진다.

4.9 cross-validation: 왜 5번 돌려 평균하나 (5/6) W5-2 p14–15 · 실습 W5 5.3

4.9 cross-validation: 함정과 답안 (6/6) W5-2 p14–15 · 실습 W5 5.3

4.10 k-means: 어떻게 작동하나 (1/5) 교수님 예시 문제W5-2 p16–21 · notebook 6 · W7 p2

k-means는 label 없이 작동하는 비지도(unsupervised) 방법이다. 샘플을 k개 그룹으로 나누며, k는 사용자가 정한다.

각 그룹은 중심(centroid), 즉 소속 샘플들의 평균으로 요약한다. 모든 샘플은 가장 가까운 centroid의 클러스터에 속한다.

목표는 그룹을 모르는 상태에서 가능한 한 촘촘한(tight) k개 그룹을 찾는 것이다.

1. 초기화: k개 centroid를 정한다. 초기화는 결과에 중요하다.
   • sklearn의 기본값은 k-means++다. 첫 centroid는 무작위 샘플로 정한다.
   • 다음 centroid는 확률적으로 뽑는다. 샘플 x에서 가장 가까운 기존 centroid까지의 거리를 $D(x)$라 하면, x가 뽑힐 확률은 $D(x)^2$에 비례한다. 그래서 시작점들이 퍼진다.
   • 예를 들어 거리가 1인 점과 3인 점이 있으면, 거리 3인 점이 뽑힐 확률이 9배 높다.
   • 슬라이드 p18은 "거리에 비례"처럼 적었지만 이는 오타다. 원래 k-means++ 알고리즘과 sklearn은 거리의 제곱에 비례한다. 답안에는 $D(x)^2$로 쓴다. 자료 외 보충
   • 대안인 random 초기화는 무작위 샘플 k개로 시작하며, local minimum에 빠질 수 있다.
2. 할당: 각 샘플에서 k개 centroid까지 Euclidean 거리를 재고, 가장 가까운 centroid에 할당한다. 두 centroid 사이의 경계는 수직이등분선이므로, 암묵적 경계는 2D에서는 직선, 3D에서는 평면, 그보다 높은 차원에서는 초평면(hyperplane)이다.
3. 갱신: centroid를 소속 샘플의 평균으로 옮긴다. 그리고 2단계로 돌아가며, 클러스터가 더 이상 바뀌지 않으면 멈춘다.

4.10 k-means: 손으로 돌려 보기 (2/5) W5-2 p18–21

1차원 예 자료 외 보충: 점 1, 2, 3, 10, 11, 12를 k = 2로 나눈다. 일부러 나쁜 시작을 골라, p18 그림처럼 두 centroid를 모두 한쪽인 1과 2에 둔다.

J는 246, 89.2, 41.68, 4로 줄어들며 한 번도 늘지 않는다. 그 이유는 다음 슬라이드에서 설명한다.

4.10 k-means: 어떻게 작동하나 (3/5) 교수님 예시 문제W5-2 p16–21 · notebook 6

무엇을 최적화하나: within-cluster sum of squares

$$\text{Inertia}=J=\sum_{i=1}^{k}\sum_{\mathbf x\in C_i}\|\mathbf x-\boldsymbol\mu_i\|^2$$

갱신 단계의 미분은 다음 한 줄이다. 자료 외 보충

$$\frac{\partial}{\partial\mathbf c}\sum_{\mathbf x\in C}\|\mathbf x-\mathbf c\|^2=-2\sum_{\mathbf x\in C}(\mathbf x-\mathbf c)=\mathbf 0\;\Rightarrow\;\mathbf c=\frac1{|C|}\sum_{\mathbf x\in C}\mathbf x$$

notebook에서 표준화 데이터를 k=2로 군집하면 inertia는 11596이고, centroid의 shape은 (2, 30)이다.

cluster ID(0/1)는 임의의 번호다. 그래서 진단과 비교할 때는 다수결로 이름을 붙인다.

4.10 k-means: 용도와 함정 (4/5) 교수님 예시 문제W5-2 p16–24 · 실습 W5 6 · W7 p2

4.10 k-means: 시험 답안 (5/5) 교수님 예시 문제W5-2 p16–24 · 실습 W5 6

4.11 클러스터 수 정하기 & k-means의 가정 (1/5) W5-2 p22–24 · notebook 6.2–6.3

• Elbow: inertia의 감소가 꺾이는 곳을 고른다. 클러스터를 더 늘려도 더 이상 이득이 없는 곳이다.
• 단, 최적 inertia는 k가 커질수록 줄어들기만 하고, k=n이면 0이 된다. 그래서 inertia 최솟값으로는 k를 고를 수 없다.
• 실제 실행에서는 local minimum 때문에 드물게 예외가 생긴다. 자료 외 보충
• Silhouette: 각 샘플이 가장 가까운 다른 클러스터보다 자기 클러스터에 얼마나 더 가까운지를 나타낸다. 값의 범위는 −1에서 1이다.

$$a(i)=\frac1{|C_i|-1}\sum_{j\in C_i,\,j\ne i}d(i,j),\qquad b(i)=\min_{k\ne i}\frac1{|C_k|}\sum_{j\in C_k}d(i,j)$$

$a(i)$는 자기 클러스터 안의 다른 점들까지의 평균 거리(mean distance to own cluster)다.

$b(i)$는 가장 가까운 다른 클러스터까지의 평균 거리(mean distance to nearest other cluster)다.

슬라이드 표기 "$k\ne i$"는 "i가 속하지 않은 클러스터 k"라는 뜻이다.

$$s(i)=\frac{b(i)-a(i)}{\max\{a(i),b(i)\}}$$

$s\approx1$이면 잘 분리된 것이고, $s\approx0$이면 경계에 있는 것이다. $s\lt0$이면 잘못 배정된 것으로 보인다.

breast cancer에서는 k=2일 때 0.343으로 가장 높다. k=3이면 0.314, k=4이면 0.159다. k=1에서는 silhouette가 정의되지 않는다.

4.11 k 고르기: 왜 inertia로는 안 되고 silhouette는 되나 (2/5) W5-2 p22–23 · 실습 W5 6.2

4.11 k 고르기: 틀리기 쉬운 것 (3/5) W5-2 p22–23 · 실습 W5 6.2

4.11 클러스터 수 정하기 & k-means의 가정 (4/5) W5-2 p22–24 · notebook 6.2–6.3

4.11 k-means의 가정: 함정과 답안 (5/5) W5-2 p16–24 · 실습 W5 6.1–6.3

How does k-means work? What does it optimize, and why can it end in different solutions?

1. k를 정하고 centroid k개를 초기화한다. k-means++에서는 첫 점을 무작위로 뽑는다. 이후에는 가장 가까운 기존 centroid까지의 거리 D(x)가 큰 점일수록 높은 확률로 뽑으며, 확률은 D(x)²에 비례한다.
2. 각 샘플을 Euclidean 거리로 가장 가까운 centroid에 할당한다.
3. 각 centroid를 소속 샘플의 평균으로 옮긴다.
4. 할당이 바뀌지 않을 때까지 2–3단계를 반복한다.

목적함수는 within-cluster sum of squares $J=\sum_i\sum_{x\in C_i}\|x-\mu_i\|^2$이며, inertia라고도 부른다. 할당 단계와 평균 단계 모두 J를 줄이거나 유지하므로 수렴한다.

그러나 J의 지형은 바닥이 하나뿐인 그릇 모양(볼록, convex)이 아니다. 골짜기(local minimum)가 여러 개라서, 초기값에 따라 서로 다른 골짜기에 멈춘다. 예를 들어 두 centroid가 한 덩어리 안에서 출발하면, 그 덩어리를 둘로 쪼갠 채 멈출 수 있다. 그래서 여러 번 초기화(n_init)해 J가 가장 작은 해를 고른다.

k는 elbow나 silhouette로 고른다. k-means는 둥글고 퍼짐(spread)이 비슷한 클러스터를 가정하고, outlier에 민감하며, feature 표준화가 필요하다.

4.12 k-NN vs k-means (헷갈리기 쉬움) W5-2 p7–8, p16–17

4.13 서술형 대비: "왜?" 질문 모음 W5-1 · W5-2 · 실습 W5

먼저 답을 말해 본 뒤 펼친다. 각 답은 15분 서술형의 뼈대 수준이다.

Why must features be standardized before PCA, k-NN and k-means?

PCA는 사영 분산을 최대화하고, k-NN과 k-means는 Euclidean 거리(feature별 차이를 제곱해 더한 뒤 제곱근을 씌운 값)를 쓴다. 둘 다 숫자 크기에 직접 반응하므로, 단위 때문에 분산이 큰 feature가 결과를 지배한다. 예를 들어 mean area의 SD는 352다.

강의 도식에서 raw PC1은 큰 단위 축 x₁ 하나와 거의 같고 97%를 담는다. (W5-1 p7)

유방암 k-means의 진단 일치율도 raw에서 85%, 표준화 후 91%다.

z = (x − μ)/σ로 모든 feature를 평균 0, SD 1로 맞추면 각 feature가 비슷하게 기여한다. supervised 평가에서는 scaler를 training set에만 fit한다.

Why does the explained variance ratio use σ_k² rather than σ_k?

SVD에서 $X\mathbf v_k=\sigma_k\mathbf u_k$이고 $\|\mathbf u_k\|=1$이다. 따라서 PC k 방향의 분산은 다음과 같다.

$$\|X\mathbf v_k\|^2/(n-1)=\sigma_k^2/(n-1)$$

분산은 σ의 제곱에 비례하고, 비율에서는 n−1이 약분되어 $\sigma_k^2/\sum\sigma_i^2$가 된다. 이는 공분산 행렬의 고윳값 λ로 쓴 $\lambda_k/\sum\lambda$와 같다.

Why are the principal components orthogonal?

PC2는 PC1이 설명한 부분을 뺀 잔차 $X_1=X-(X\mathbf v_1)\mathbf v_1^T$에서 찾는다. $X_1\mathbf v_1=\mathbf 0$이므로, 잔차에는 v₁ 방향 분산이 전혀 없다.

그래서 최대 분산 방향 v₂는 v₁에 수직이다. 이를 반복하면 모든 PC가 서로 직교하며, 이는 SVD의 V 열들이 서로 직각이고 길이가 1이라는 것(직교행렬)과 같다.

Why can't we read cluster sizes or distances between clusters from a UMAP plot?

1. Step 1에서 점마다 ρᵢ, σᵢ로 거리를 정규화해, 밀집 영역과 희박 영역이 비슷하게 보인다. 그래서 크기와 밀도 정보가 사라진다.
2. Step 3의 손실은 연결된 이웃만 당기고, 연결 안 된 점은 "충분히 멀리" 밀어낼 뿐이다. 목표 거리가 없으므로 클러스터 간 거리는 임의다.
3. n_neighbors, min_dist, random_state에 따라 그림이 바뀐다.
4. 임베딩이 X × 행렬이 아니므로 축에도 의미가 없다.

보존되는 것은 국소 이웃 관계뿐이다.

Explain the roles of n_neighbors and min_dist in UMAP.

n_neighbors는 Step 1의 고차원 이웃 그래프에서 각 점이 몇 개의 이웃과 연결되는지를 정한다(local vs global). 값이 5처럼 작으면 세부는 보이지만 데이터가 가닥으로 쪼개진다. 100처럼 크면 전체 모양은 유지되지만 국소 구조가 뭉개진다.

min_dist는 2D 유사도 v′가 평평한 구간(d ≤ min_dist에서 1)을 정한다. 즉 2D에서 점들이 얼마나 촘촘히 뭉칠 수 있는지를 정한다. 0.0이면 이웃이 겹쳐 쌓이고, 0.9면 고르게 퍼진다.

Why does k = 1 give training accuracy 1.0 in k-NN, and why is that not evidence of a good model?

training 샘플의 가장 가까운 이웃은 거리가 0인 자기 자신이다. 그래서 중복 샘플이 없다면 항상 자기 label을 맞힌다.

이것은 training set을 외운 것이다. 경계가 모든 점을 따라가는 high variance 상태라, 새 샘플 성능에 대해서는 아무것도 말해 주지 않는다.

그래서 k는 처음 보는 fold로 잰 cross-validation accuracy로 고른다(k = 9).

Why must k be chosen by cross-validation and not by the test set?

test set은 처음 보는 데이터에서의 성능을 추정하기 위한 것이다. test 점수로 k를 고르면 test 정보가 모델 선택에 새어 들어가, 최종 성능이 낙관적으로 부풀려진다.

그래서 training set을 5 fold로 나눠 돌아가며 검증하고, 평균(0.970)이 가장 높은 k를 고른다. test는 마지막에 한 번만 쓴다(0.947).

Prove that the k-means objective never increases. Does k-means find the global minimum?

할당 단계에서는 centroid를 고정하고 각 점을 가장 가까운 centroid로 옮긴다. 그러면 그 점의 $\|x-\mu\|^2$는 줄거나 같다.

갱신 단계에서는 할당을 고정한다. $\sum_{x\in C}\|x-c\|^2$을 c로 미분하면 $-2\sum(x-c)=0$이므로, c가 평균일 때 최소가 된다. 따라서 J는 줄거나 같다.

그러므로 J는 단조 비증가이고, 가능한 할당이 유한하므로 수렴한다.

하지만 local minimum일 수 있어 전역 최소는 보장되지 않는다. 그래서 k-means++ 초기화를 쓰고, n_init으로 여러 번 실행해 J가 가장 작은 해를 쓴다.

Why can't inertia alone choose the number of clusters, and what does the silhouette add?

k를 늘리면 기존 클러스터를 쪼개기만 해도 제곱거리 합이 줄어든다. 그래서 최적 inertia는 k에 대해 감소만 하고 k = n이면 0이 되며, 최솟값을 기준으로 하면 항상 최대 k가 뽑힌다.

elbow는 감소폭이 꺾이는 곳을 보는 방법이며, 주관적이다.

silhouette는 자기 클러스터까지의 평균 거리 a와, 가장 가까운 다른 클러스터까지의 평균 거리 b를 비교해 s = (b − a)/max(a, b)를 계산한다. 그룹을 억지로 쪼개면 b가 작아져 점수가 떨어지므로, 평균 s가 최대인 k를 고른다(유방암 k = 2, 0.343).

What does k-means assume, and what happens when the assumptions fail?

k-means는 둥근 클러스터, 비슷한 퍼짐, 그리고 모든 점이 어딘가에 속한다는 것을 가정한다.

경계가 두 centroid의 수직이등분선(직선이나 초평면)이라, 휘어지거나 길쭉한 클러스터는 잘못 잘린다. 퍼짐이 다르면 넓은 그룹의 바깥 점을 좁은 그룹이 가져간다.

outlier도 강제로 배정되어 centroid를 끌어당긴다. Euclidean 거리를 쓰므로 표준화도 필요하다(91% 대 85%). (W5-2 p24)

4.✎ 영어 용어 정리 시험 문제는 영어로 나온다

문제에서 이 단어가 보이면 무엇을 묻는지 바로 떠올릴 수 있어야 한다. 답은 한국어로 써도 되지만, 용어는 영어 그대로 써도 좋다.

5.1 이미지 = 2D array (1/5) W7 p4–9 · notebook 1–2

• 이미지는 2D 공간의 각 위치에 feature 값을 대응시킨 것이다. 위치는 인덱스 2개, 즉 행(row)과 열(column)로 정한다.
• img.shape는 (h, w)이고, img[i,j]는 행을 먼저 쓴다. img[0,0]은 왼쪽 위 픽셀이다.
• 슬라이스는 stop 위치를 포함하지 않는다. 예: img[1:5, 2:4] → 4×2 patch.
• 이미지 크기(image size)는 촬영 면적이 넓을수록 커진다. 해상도가 높을 때, 즉 같은 면적에 픽셀이 더 많을 때도 커진다.
• img[::4, ::4]는 4배 낮은 해상도를 흉내 낸다. 예: 660×550 → 165×138.
• intensity 영상은 픽셀마다 상대적 밝기를 담는다. dtype은 uint8이나 uint16이고, 범위는 각각 0–255와 0–65535다. 정규화했다면 0–1 범위의 float다.
• 슬라이드 식은 $\mathrm{img}[i,j]\in\{0,1,\dots,L-1\}$, $0\le i\lt h$, $0\le j\lt w$다. L은 픽셀이 가질 수 있는 값의 개수이며, uint8이면 L = 256이다. (W7 p7)
• segmentation 영상은 픽셀마다 세포 ID를 정수로 담는다. (1.2 참고)
• 컬러 영상(RGB)은 shape이 (h, w, 3)인 3D array다. channel이 마지막 축이다.
• img[:,:,0]은 red 채널이며, 평범한 2D array다. 한 픽셀 값이 (255,255,0)이면 노랑이다.
• 즉 컬러 영상은 grayscale 영상 여러 장을 채널로 쌓은 것일 뿐이다. ("Color images are just multi-channel grayscale images.")
• 형광(fluorescence) 영상은 그냥 grayscale이다. 현미경은 강도값만 준다.
• 논문 속 초록색(GFP)은 시각화를 위해 색을 입힌 것일 뿐이다. 데이터는 같고 표시만 다르다.

5.1 이미지 = 2D array (2/5) W7 p5–6 · 실습 W7 1.1–1.2

5.1 이미지 = 2D array (3/5) W7 p5–6 · 실습 W7 1.1–1.2

5.1 이미지 = 2D array (4/5) W7 p7–9 · 실습 W7 2.1–2.2 · 녹음 10/12

5.1 이미지 = 2D array (5/5) W7 p7–9 · 실습 W7 2.1–2.2 · 녹음 10/12

5.2 계산 전에 점검하라 (오늘의 하이라이트) (1/3) 서술 단골W7 p10–11 · 녹음 10/12

이 점검을 하는 가장 쉬운 방법은 히스토그램(histogram)이다.

• x축은 강도값 k이고, y축은 값이 k인 픽셀 수다.
• uint8이면 0–255의 256개 값에 대한 이산분포가 된다.
• x 범위에서 dtype을, 양 끝에서 min/max를, 분포의 중심에서 평균을, 폭에서 SD를 한눈에 읽는다.
• 코드는 np.bincount(img.ravel(), minlength=256)이다. 막대 높이를 모두 더하면 전체 픽셀 수가 된다.

5.2 계산 전에 점검하라 (오늘의 하이라이트) (2/3) W7 p3, p10–11 · 실습 W7 3.1–3.2 · 녹음 10/12

5.2 계산 전에 점검하라 (오늘의 하이라이트) (3/3) W7 p3, p10–11 · 실습 W7 3.1–3.2 · 녹음 10/12

5.3 밝기(brightness)와 대비(contrast) (1/3) W7 p12–13

5.3 밝기(brightness)와 대비(contrast) (2/3) W7 p12–13 · 녹음 10/12

5.3 밝기(brightness)와 대비(contrast) (3/3) W7 p12–13 · 녹음 10/12

5.4 Point operation과 clip (1/3) W7 p14 · 녹음 10/12

$$s=T(r)$$

$r$은 입력 강도(input intensity), 즉 원래 픽셀값이다. $s$는 출력 강도(output intensity)다.

• 모든 픽셀에 같은 함수 T를 독립적으로 적용한다. 이웃 픽셀과 무관하므로 공간 정보(spatial information)가 없다. 그래서 "point" operation이라고 부른다.
• uint8이면 s도 [0,255]의 정수여야 한다. 그래서 계산 결과를 반올림이나 내림 등으로 정수에 매핑한다.
• clip(f(x), min, max)은 f(x)가 min보다 작으면 min을, max 이상이면 max를, 그 사이면 f(x)를 돌려준다.
• clip은 출력이 유효 범위(0–255 또는 0–65535)를 벗어나지 않게 한다. 그래서 point operation에 꼭 필요하다.

5.4 Point operation과 clip (2/3) W7 p14 · 실습 W7 2.1, 4.1 · 녹음 10/12

5.4 Point operation과 clip (3/3) W7 p14 · 실습 W7 2.1, 4.1 · 녹음 10/12

5.5 Brightness / Contrast 조정 식 (1/6) 유도·설명W7 p15–16 · notebook 4

$$\textbf{Brightness: }\ s=\mathrm{clip}(r+\beta,\ 0,\ L-1)$$

• β가 양수면 영상이 밝아지고, 히스토그램이 β만큼 오른쪽으로 이동한다. β가 음수면 어두워진다.
• 평균도 β만큼 따라 움직인다. 단, 0이나 255에 픽셀이 쌓이기(clipped) 시작하면 평균이 움직이는 크기는 |β|보다 작아진다.
• 교수님은 이것이 휴대폰 사진 앱 뒤에서 실제로 일어나는 일이라고 했다. ("That's what's actually happening behind your iPhone or Galaxy.")

5.5 Brightness / Contrast 조정 식 (2/6) W7 p15–16 · notebook 4

5.5 Brightness / Contrast 조정 식 (3/6) 유도·설명W7 p15–16 · notebook 4

$$\textbf{Contrast: }\ s=\mathrm{clip}\big(\alpha(r-\mu)+\mu,\ 0,\ L-1\big)$$

5.5 Brightness / Contrast 조정 식 (4/6) W7 p15–16 · notebook 4

• α가 1보다 크면 SD가 커져 대비가 높아진다. 0<α<1이면 대비가 낮아지고, α=1이면 원본 그대로다.
• 음수 α는 원하는 동작이 아니다. 교수님은 αr에 음수를 곱하면 값이 음수가 된다고 설명했다.
• 중심화한 이 식에서 음수 α를 쓰면, μ를 기준으로 밝고 어두움이 뒤집힌 반전 영상이 된다. 추론
• SD는 |α|배가 된다: $\mathrm{SD}(\alpha r+c)=|\alpha|\,\mathrm{SD}(r)$.
• 실습의 IHC(면역조직화학) 영상을 흑백으로 바꿔 적용한 결과, std는 α=0.5일 때 24.8, 1.0일 때 49.5, 1.8일 때 81.7이다. 1.8에서 89보다 작은 것은 clipping 때문이다.
• 반면 평균은 α=0.5, 1.0일 때 159.7, 160.0으로 거의 고정된다. α=1.8에서는 clip 때문에 154.7로 내려간다.
• 대비를 높이면 일부 값이 255를 넘거나 0 미만이 될 수 있고, 그런 값은 clip된다. 정보 손실을 감수하는 것이다.
• 밝기와 대비 조정 모두 파라미터(α, β)를 사람이 정해야 한다. 이 문제가 5.6의 질문으로 이어진다.

5.5 Brightness / Contrast 조정 식 (5/6) W7 p16 · 실습 W7 4.2 · 녹음 10/12, 10/14

5.5 Brightness / Contrast 조정 식 (6/6) W7 p16 · 실습 W7 4.2 · 녹음 10/12, 10/14

5.6 좋은 조정이란? → Normalization (linear) (1/5) W7 p17–20 · notebook 5

• 슬라이드에는 세 영상이 나온다. A는 어두운 쪽에 몰려 있고, B는 가운데에 좁게 모여 있으며, C는 전 범위에 퍼져 있다.
• 이 중 C가 가장 디테일이 많다. A와 B는 값 범위의 대부분을 쓰지 않는다("Unused").
• 픽셀값 범위는 일종의 "정보 해상도"다. 그래서 목표는 사용 가능한 값 범위를 최대한 다 쓰는 것이고, 이상적으로는 uniform 분포다.

5.6 좋은 조정이란? → Normalization (linear) (2/5) W7 p17–20 · notebook 5 · 녹음 10/14

왜 하필 uniform인가 — 정보량(entropy) 관점 자료 외 보충

256개 값을 쓸 수 있다고 하자. Shannon entropy는 다음과 같다. $$H=-\sum_k p_k\log_2 p_k$$ 각 값의 비율이 모두 1/256로 같으면 H는 최댓값 $\log_2 256=8$ bit가 된다. 값이 한쪽에 몰릴수록 H가 작아지고, 모든 픽셀이 한 값이면 0이다. 즉 uniform은 픽셀값 하나가 평균적으로 가장 많은 정보를 담는 분포다.

5.6 좋은 조정이란? → Normalization (linear) (3/5) W7 p17–20 · notebook 5

$$\textbf{Min–max normalization: }\ s=(L-1)\frac{r-r_{min}}{r_{max}-r_{min}}$$

• $r=r_{min}$이면 0이 되고, $r=r_{max}$이면 1 × (L−1) = 255가 된다. 그래서 전 범위를 쓴다.
• 예: EM 영상은 33–255 → 0–255로 넓어진다.
• 전개하면 아래와 같은 $s=a\,r+b$ 꼴이므로 여전히 선형이다. $$s=a\,r+b,\qquad a=\frac{L-1}{r_{max}-r_{min}}$$
• Outlier 문제: min이나 max가 outlier면, 범위가 outlier에 의해 결정된다.
• 그래서 1st–99th percentile을 쓰면 outlier를 배제할 수 있다. $r_{min}$, $r_{max}$ 자리에 1st, 99th percentile인 $p_1$, $p_{99}$가 들어갈 뿐이므로 여전히 선형이다.
• 실습 코드는 (em − p1)/(p99 − p1)·255를 계산한 뒤 clip한다. notebook에서는 56–220을 늘려 std가 61.6이 되었고, 픽셀의 2.2%가 clip되었다.
• 표준편차로 나누는 z-score식 정규화도 있다. outlier 한 픽셀이 범위를 정하지는 않지만, 변환 후 0 미만이나 255 초과인 픽셀은 잘려 사라진다. (녹음 10/14)

5.6 좋은 조정이란? → Normalization (linear) (4/5) W7 p19–20, p25 · 실습 W7 5.1–5.2 · 녹음 10/14

5.6 좋은 조정이란? → Normalization (linear) (5/5) W7 p19–20, p25 · 실습 W7 5.1–5.2 · 녹음 10/14

왜 직선(선형)은 모양을 못 바꾸나 — 밀도 변환 한 줄 자료 외 보충

증가함수 $s=T(r)$로 바꾸면 출력 밀도는 다음과 같다. $$p_s(s)=\frac{p_r(r)}{T'(r)}$$ 선형이면 $T'(r)=a$로 상수다. 그래서 $p_s$는 $p_r$를 가로로 a배 늘리고 높이를 1/a로 줄인 같은 모양이다.
평평하게, 즉 $p_s$가 상수가 되게 만들려면 $T'(r)$가 $p_r(r)$에 비례해야 한다. 이는 r마다 기울기가 달라진다는 뜻이므로 반드시 비선형이다.
그 답이 $T'(r)=(L-1)\,p_r(r)$, 즉 히스토그램 평활화다. (5.7)

5.7 Histogram equalization (1/6) 유도 필수W7 p21–24 · notebook 6 · 녹음 10/14

• 목표는 히스토그램 모양을 평평하게(uniform) 만드는 것이다. 그러려면 비선형 변환이 필요하다.
• 코드는 exposure.equalize_hist(img) * 255다. 결과 영상에서는 EM의 세포막이 더 잘 보인다.

용어 주의: 히스토그램 평활화(equalization)는 이웃 평균으로 노이즈를 줄이는 평활화(smoothing)와 전혀 다른 연산이다. 시험 문제는 영어로 나오므로 equalization과 smoothing이라는 영어 용어로 구분해 두자. (2.5 참고, 녹음 10/14)

시험 범위: 구현은 과제 2라서 시험에서 제외되지만, 원리와 유도는 수업 내용이라 범위 안이다. (녹음 10/12, 10/14)

5.7 Histogram equalization (2/6) W7 p21–24 · notebook 6 · 녹음 10/14

5.7 Histogram equalization (3/6) 유도 필수W7 p21–24 · notebook 6 · 녹음 10/14

아이디어: 히스토그램을 확률밀도로 보고, 출력 분포가 uniform이 되도록 하는 T를 찾는다. 방법은 간단하다. 입력에서 r까지 쌓인 면적(픽셀 비율)과 출력 uniform 분포에서 s까지 쌓인 면적이 같아지도록 s를 정한다.

1. 입력 히스토그램을 확률분포로 바꾼다. 각 bin을 전체 픽셀 수 N으로 나누면 합이 1이 된다. $$p_r(r)=\frac{h(r)}{N},\qquad \sum_{r=0}^{L-1}p_r(r)=1$$
2. 목표 분포를 정한다. 0부터 L−1까지 uniform이어야 하므로, 높이와 폭의 곱이 1이 되도록 높이를 정한다. $$p_s(s)=\frac1{L-1}$$

5.7 Histogram equalization (4/6) 유도 필수W7 p24 · 녹음 10/14

1. 누적 면적(CDF)을 같게 놓는다. 연속으로 근사하면 다음과 같다. $$\int_0^s p_s(w)\,dw=\int_0^r p_r(w)\,dw$$
2. 왼쪽 적분을 계산한다. 상수를 적분하면 된다. $$\int_0^s\frac1{L-1}dw=\frac{s}{L-1}=\int_0^r p_r(w)\,dw$$
3. s에 대해 풀고, 이산 합으로 바꾼다. $$s=T(r)=(L-1)\int_0^r p_r(w)\,dw=(L-1)\sum_{j=0}^{r}\frac{h(j)}{N}$$ 즉 s = (L−1) × 입력의 CDF(r)이다. 각 픽셀값을 "그 값 이하인 픽셀의 비율"에 비례하는 값으로 보낸다.

5.7 Histogram equalization (5/6) 유도 필수W7 p21–24 · notebook 6 · 녹음 10/14

작은 손계산 예 (L=8, N=16) 자료 외 보충

h(r) = [0, 0, 6, 6, 2, 2, 0, 0]이다. 값 2–5만 쓰고, 2와 3에 몰려 있다.
CDF는 r=2에서 6/16, r=3에서 12/16, r=4에서 14/16, r=5에서 16/16이다.
s = 7·CDF를 계산하면 2.625, 5.25, 6.125, 7이고, 반올림하면 3, 5, 6, 7이다.
몰려 있던 2와 3은 3과 5로 가서 간격이 2로 벌어진다. 드문 4와 5는 6과 7로 가서 간격이 1이다.
원래 2–5(폭 3)를 쓰던 영상이 3–7(폭 4)을 쓰게 된다.
같은 값의 픽셀은 같은 출력으로 가므로 bin을 쪼갤 수 없다. 그래서 이산 영상에서는 완전히 평평해지지 않고 "nearly flat"이 된다.
참고로 이 식은 최솟값이 0으로 가지 않을 수 있다. 변형 공식은 CDF 최솟값을 빼서 0부터 시작하게 한다.

왜 CDF를 쓰면 uniform이 되나 (확률적 설명) 자료 외 보충

$S=F(R)$이면 다음이 성립한다. $$P(S\le F(r))=P(R\le r)=F(r)$$ 따라서 $P(S\le u)=u$이고, S는 [0,1]에서 uniform이다. 이것을 probability integral transform이라고 한다. 여기에 (L−1)을 곱하면 [0, L−1]에서 uniform이 된다.

5.7 Histogram equalization (6/6) W7 p22–25 · 실습 W7 6.1–6.2 · 녹음 10/14

5.8 Normalization vs Equalization (1/3) 비교 서술W7 p25 · 녹음 10/14

Compare image normalization and histogram equalization. When would you choose each?

정규화(min-max, percentile)는 $s=ar+b$ 선형 변환으로 범위만 늘린다. 그래서 히스토그램 모양과 픽셀 간 상대 강도를 보존한다. 하지만 bump가 남아 가운데 몰린 값들은 여전히 구분하기 어렵고, min/max(outlier)가 범위를 결정하는 약점이 있다. percentile로 완화할 수 있지만 일부 픽셀이 clip된다.
평활화는 $s=(L-1)\,\mathrm{CDF}(r)$의 비선형 변환으로 히스토그램을 평평하게 만든다. 전 범위를 쓰므로 세부 구조가 잘 보인다. 하지만 상대 강도가 파괴되고, 흔한 강도 구간의 노이즈(세포질 speckle 등)까지 증폭한다.
둘 다 파라미터가 필요 없어 대량 영상의 일관된 전처리에 유리하다. 시각화나 구조 검출에는 평활화를, 강도의 정량 비교(발현량 비교 등)에는 정규화를 고른다.

Derive the histogram equalization transform s = T(r).

입력 확률은 $p_r(r)=h(r)/N$이고, 목표는 uniform인 $p_s(s)=1/(L-1)$이다. 같은 픽셀 비율이 같은 누적 면적을 차지하도록 다음과 같이 놓는다. $$\int_0^s p_s\,dw=\int_0^r p_r\,dw$$ 왼쪽은 $s/(L-1)$이므로 $s=(L-1)\int_0^r p_r\,dw$다. 이산이면 $s=(L-1)\sum_{j=0}^{r}h(j)/N$, 즉 (L−1)×CDF(r)이다.
기울기가 $(L-1)p_r(r)$이므로 밀집 구간은 넓히고 희박 구간은 압축한다. 그래서 히스토그램이 (거의) 평평해진다.

5.8 Normalization vs Equalization (2/3) 비교 서술W7 p25 · 녹음 10/14

5.8 Normalization vs Equalization (3/3) 비교 서술W7 p25 · 녹음 10/14

5.✎ 영어 용어 정리 시험 문제는 영어로 나온다

문제에서 이 단어가 보이면 무엇을 묻는지 바로 떠올릴 수 있어야 한다. 답은 한국어로 써도 되지만, 용어는 영어 그대로 써도 좋다.

6.1 자료형 (1/16): 한눈에 보기 W2-1 p16–41 · W3-1 p4

6.1 자료형 (2/16): 어떤 그릇을 고르나 · 함정 W2-1 p16–41 · W3-1 p4

6.1 자료형 (3/16): bool · 비교 · truthiness W2-1 p12–14 · W2-2 p2–3 · 실습 W2 Part 2

• bool은 True와 False 두 값을 가진다. 숫자 0은 False로, 0이 아닌 수는 True로 해석된다.
• 비교 연산자 ==, !=, >, <, >=, <=의 결과는 bool이다.
• 예를 들어 3 == 3, "abc" != "ab", [1,2] == [1,2]는 모두 True다.
• 반면 [2,1] == [1,2]는 False다. list는 원소를 순서대로 비교하기 때문이다.
• bool은 숫자처럼 계산된다. True는 1, False는 0으로 취급된다.
• 그래서 True*True는 1, True-True는 0, True+True는 2다. sum([True,False,True,True])는 3이 되므로 개수 세기에 쓸 수 있다.
• 조건 자리에는 True나 False로 바꿀 수 있는 값이면 무엇이든 올 수 있다. 이것을 truthiness라고 한다. ("Any value that can be converted to True or False can be used")
• 0, 0.0, "", [], {}, None은 False로 해석된다(falsy).
• 나머지 값은 모두 True로 해석된다(truthy). 예: -5, "ATG", [0].

6.1 자료형 (4/16): bool · truthiness — 쓰임과 함정 W2-1 p12–14 · W2-2 p2–3 · 실습 W2 Part 2

6.1 자료형 (5/16): list · tuple · str — mutable vs immutable W2-1 p17–29 · 실습 W2 4.1–4.4

6.1 자료형 (6/16): list · tuple · str — 쓰임과 함정 W2-1 p17–29 · 실습 W2 4.1–4.4

6.1 자료형 (7/16): dict — 이름표로 찾는 표 W2-1 p31–33 · 실습 W2 4.5, 5.3

• dict는 {key: value} 쌍을 담는다. 예: card = {"face": "spade", "value": 10}이면 card["face"]는 "spade"다.
• keys()와 values()로 key와 value를 볼 수 있다. dict는 mutable이라 letter["e"] = 5처럼 항목을 추가할 수 있다.
• dict는 빠른 조회(fast lookup)에 쓴다. 예: {"user1": "Alex", "user2": "Sam", …}.
• 코돈표 {"AUG": "Met", "UGA": "Stop", …}에서 codon_table["UGA"]는 "Stop"이다.
• 희소 데이터(sparse data)도 dict로 표현한다. 대부분 0인 긴 벡터에서 0이 아닌 위치만 저장한다. 예: {5: 100, 9999: 50, 13020: 60}.
• "z" in letter는 key를 검사한다. "z"라는 key가 없으므로 결과는 False다.
• letter.get("z", 0)은 0을 돌려준다. 없는 key면 에러 대신 기본값을 주기 때문이다.
• 값을 찾기만 하는 일이라면 match–case보다 dict가 짧고 확장하기 쉽다. 예: codon_table.get("XYZ", "Unknown codon"). (노트북 5.3)

6.1 자료형 (8/16): numpy array — 고정 크기 · 고정 dtype W2-1 p34–38 · 실습 W2 4.6

• numpy array는 행렬 연산에 최적화되어 있다. 차원 수는 자유롭고, 모든 차원의 크기가 고정이며, 모든 원소가 같은 dtype이다. 그리고 mutable이다. (W2-1 p34)
• shape는 attribute로 확인한다. a.shape는 (2, 2)이고, c.shape는 (3, 2)다.
• a.dtype은 int64다. dtype="uint8"처럼 dtype을 직접 지정할 수도 있다.
• a = np.array([[1,2],[3,4]]), b = np.array([[1,2],[1,1]])라고 하자. a + b는 [[2,4],[4,5]]이고, a * b는 [[1,4],[3,4]]다.
• 즉 +와 *는 원소별 연산이고, 행렬곱이 아니다.
• 행렬곱은 a.dot(b), np.matmul(a, b), a @ b로 한다. 결과는 모두 [[3, 4], [7, 10]]이다. 손으로 계산하면 다음과 같다. $$\begin{bmatrix}1&2\\3&4\end{bmatrix}\begin{bmatrix}1&2\\1&1\end{bmatrix}=\begin{bmatrix}1\cdot1+2\cdot1 & 1\cdot2+2\cdot1\\ 3\cdot1+4\cdot1 & 3\cdot2+4\cdot1\end{bmatrix}=\begin{bmatrix}3&4\\7&10\end{bmatrix}$$
• c.T는 전치(transpose)다. shape가 (3,2)에서 (2,3)으로 바뀐다.
• a + c처럼 shape가 (2,2)와 (3,2)인 배열을 더하면 ValueError가 난다. ("operands could not be broadcast together")

6.1 자료형 (9/16): numpy array — 쓰임과 함정 W2-1 p34–38 · 실습 W2 4.6

6.1 자료형 (10/16): 형 변환(type casting) · array vs tensor W2-1 p30, p39–41 · 실습 W2 4.7

• str(123)은 '123', int("123")은 123, float('123')은 123.0이 된다. 타입은 type(a)로 확인한다.
• int(3.7)은 3이다. 반올림하지 않고 0 쪽으로 버리기 때문이다.
• int("3.7")은 ValueError가 난다. "3.7"은 정수 모양의 문자열이 아니기 때문이다.
• np.array([1,2,3])은 list를 array로 바꾼다. b.astype("uint8")은 dtype을 바꾼다.
• 반대로 list(b)는 [np.int64(1), np.int64(2), np.int64(3)]을 준다. 원소가 numpy 정수 타입으로 남는다.
• array와 tensor는 둘 다 n차원 숫자 격자다. 차이는 두 가지다. (W2-1 p41)
• 첫째, tensor는 GPU로 쉽게 옮길 수 있다. 둘째, tensor는 자동 미분을 위해 연산을 기록(track)한다.

6.1 자료형 (11/16): pandas — 왜 쓰나, Series/DataFrame W3-1 p4, p6 · 실습 W3 1.1, 1.3

• numpy array는 dtype이 하나이고 열 이름이 없다. 그런데 실제 생물 표는 타입이 섞여 있다. 예를 들어 species와 sex는 텍스트이고, mass는 float다.
• 그래서 pandas는 numpy 위에 label, 혼합 dtype, 결측치(NaN), grouping을 더한다.
• pandas의 객체는 두 가지뿐이다. Series는 label이 붙은 열 하나다.
• DataFrame은 같은 index를 공유하는 Series들의 dict다.
• df.index는 행 label이고, df.columns는 열 이름이다. df["body_mass_g"]처럼 열 하나를 꺼내면 Series가 된다.
• 계산할 때는 numpy array를 꺼내서 쓴다. 예: df[["bill_length_mm","bill_depth_mm"]].values 또는 .to_numpy(). ("Extracts info into numpy array for computation")

6.1 자료형 (12/16): pandas Series/DataFrame — 쓰임과 함정 W3-1 p4, p6 · 실습 W3 1.1, 1.3

6.1 자료형 (13/16): pandas — 계산 전에 점검 · 행 필터 W3-1 p5, p7, p9 · 실습 W3 1.2, 1.4

• 계산하기 전에 데이터를 먼저 점검한다. ("Inspect the data before you compute")
• 점검 도구는 df.head(), df.shape, df.columns, df.dtypes, df.info(), df.describe(), df.isna().sum()이다.
• penguins 표에서 df.shape는 (344, 7)이다.
• df.isna().sum()은 열별 결측 수를 준다. sex 열은 11개, 측정 4열은 각 2개가 비어 있다.
• describe()는 NaN을 무시한다. 그래서 측정 열의 count는 342다. body_mass_g의 평균은 4201.8, std는 802.0이다.
• 행 필터는 boolean mask로 한다. df[df["body_mass_g"] > 6000]은 슬라이드 출력에서 2행이다. 라벨은 237과 253이고, 체중은 6300 g과 6050 g이다. (6.2 Boolean masking)
• df[(df["species"]=="Gentoo") & (df["body_mass_g"]>5500)]는 28행이다.
• cheat sheet의 개념도 알아 둔다. groupby('g')['x'].mean()은 그룹별 평균을, value_counts()는 범주별 개수를 준다.
• dropna()는 결측 행을 지우고, merge는 표를 합친다. reset_index(drop=True)는 index를 다시 0부터 매긴다.

6.1 자료형 (14/16): pandas 점검 · 행 필터 — 쓰임과 함정 W3-1 p5, p7, p9 · 실습 W3 1.2, 1.4