-
교차검증이란? – 과적합을 피하고 회귀모델을 선택하는 기술 (통계학기초, ADSP 독학)
교차검증이란? – 과적합을 피하고 회귀모델을 선택하는 기술 (통계학기초, ADSP 독학)예측이 잘 맞는 것 같았는데, 새로운 데이터에서는 성능이 뚝 떨어진 경험 있나요? 그게 바로 과적합(Overfitting)입니다. 교차검증(Cross-validation)은 이런 문제를 예방하고, 진짜 실전에서 잘 작동할 모델을 고르는 필수 과정이에요. 안녕하세요, 문노베입니다! 이제 우리는 회귀모델을 만들고 정규화하는 방법까지 배웠어요. 하지만 아무리 모델을 잘 만들었다고 해도, 검증을 제대로 하지 않으면 실제 적용에서 실패할 수 있어요. 이번 편에서는 교차검증의 개념부터 다양한 방법(K-fold, LOOCV), 모델 선택 기준(MAE, MSE, RMSE)까지 실전 중심으로 차근히 정리해 볼게요.목차왜 모델 검증이..
자격증 정복기/ADSP - 데이터분석준전문가
2025. 4. 29.
-
산포도란? – 분산과 표준편차로 데이터의 흩어짐을 읽는 법 (통계학 기초, ADSP)
산포도란? – 분산과 표준편차로 데이터의 흩어짐을 읽는 법 (통계학 기초, ADSP)"평균은 같은데, 왜 이렇게 다르지?" 이런 생각이 들었다면, 당신은 이미 통계의 핵심 감각을 가진 겁니다. 답은 바로, 데이터의 '흩어짐'을 보여주는 산포도에 있어요. 안녕하세요, 문노베입니다. ADSP 공부를 하다 보면 ‘평균은 70점입니다’라는 말이 자주 나와요. 하지만 저는 그 한 줄로는 부족하다고 생각했어요. 학생들이 60~80점에 고르게 분포했는지, 아니면 대부분이 30점과 100점으로 갈렸는지에 따라 해석은 완전히 달라지니까요. 그래서 오늘은 통계학에서 아주 중요한 개념, 산포도(Dispersion), 분산(Variance), 표준편차(Standard Deviation)를 쉽고 명확하게 정리해보려 해요. G..
자격증 정복기/ADSP - 데이터분석준전문가
2025. 3. 29.
-
정규분포란? – 통계학에서 가장 중요한 곡선, AI는 여기서 시작된다 (통계학 기초, ADSP)
정규분포란? – 통계학에서 가장 중요한 곡선, AI는 여기서 시작된다 (통계학 기초, ADSP)“대부분의 데이터는 종 모양이다.” 통계를 배우다 보면 마치 국룰처럼 듣게 되는 말이 있어요. 그 중심에 있는 게 바로 ‘정규분포’입니다. 안녕하세요, 문노베입니다. ADSP를 공부하면서 정규분포라는 단어를 정말 자주 봤어요. 시험은 물론이고, 실무, 인공지능, 심지어 마케팅까지—이 곡선이 빠지는 곳이 없더라고요. 처음엔 “그냥 대칭적으로 생긴 예쁜 곡선 아닌가?” 싶었는데, 알고 보니 우리가 세상을 예측하는 거의 모든 방식의 기본 원리가 여기에 숨어 있더라고요. 이번 글에서는 정규분포의 개념과 원리, 실제 적용 사례, 그리고 GPT 같은 AI 모델이 왜 이 곡선에서 출발했는지까지 풀어보려 합니다. 문노베의 ..
자격증 정복기/ADSP - 데이터분석준전문가
2025. 3. 27.
-
통계학이란? AI와 데이터 분석을 위한 기초 개념 정리 (통계학 기초, ADSP)
통계학이란? AI와 데이터 분석을 위한 기초 개념 정리 (통계학 기초, ADSP)“통계학은 숫자를 다루는 학문이 아니라, 세상을 이해하는 방식이에요.” ADSP를 공부하던 어느 날, 이 문장이 마음에 꽂혔습니다. 안녕하세요, 문노베입니다. 마케터로 일하면서 AI와 데이터 분석에 관심을 갖기 시작했어요. 그런데 막상 공부를 시작하니, 늘 벽처럼 느껴지는 게 하나 있더라고요. ‘통계학’이라는 단어만 봐도 머리가 아픈… 바로 그 느낌, 저도 똑같이 겪었어요. 그런데 어느 순간부터 통계학이란 게 단순히 숫자를 외우는 게 아니라, ‘세상을 어떻게 바라보는가’에 관한 이야기란 걸 알게 되었죠. 이 글은 저처럼 통계에 입문하고 싶은 분들에게, 통계학이 왜 중요한지, 어디서부터 시작해야 하는지, 그리고 AI와 어떤 연..
자격증 정복기/ADSP - 데이터분석준전문가
2025. 3. 26.