머신러닝이란?
Il 기계 학습(ML) 컴퓨터를 가능하게 하는 인공지능의 한 분야 명시적으로 프로그래밍하지 않고도 데이터에서 학습할 수 있습니다. 각 시나리오에 대해 수동으로 규칙을 작성하는 대신 우리는 대량의 데이터와 이를 추출할 수 있는 알고리즘을 시스템에 제공합니다. 패턴 e 처지 자율적으로. 그 결과는 예측을 할 수 있는 수학적 모델입니다. 이전에 본 적 없는 데이터에 대해
ML의 선구자인 Arthur Samuel은 1959년에 이를 컴퓨터에 능력을 부여하는 연구 분야로 정의했습니다. 명시적으로 프로그래밍되지 않고도 학습할 수 있는 능력. 그 이후로 ML은 엄청나게 발전했습니다. 오늘날 그것은 검색 엔진, 추천 시스템, 자동화된 의료 진단, 자율주행차 및 가상 비서. 머신러닝의 기본 사항을 이해하는 것은 더 이상 선택 사항이 아닙니다. 현대 개발자: 필수적인 기술입니다.
이 기사에서 배울 내용
- ML의 세 가지 기본 유형: 감독, 비지도, 강화
- ML 프로젝트의 표준 워크플로
- 문제에 적합한 패러다임을 선택하는 방법
- Python을 사용한 scikit-learn 실습 소개
- 각 패러다임의 실제 활용 사례
머신러닝 워크플로
모든 기계 학습 프로젝트는 선택한 알고리즘에 관계없이 구조화된 흐름을 따릅니다. 특정 알고리즘을 살펴보기 전에 이 워크플로를 이해하는 것이 중요합니다. 과정 크게 6단계로 요약할 수 있습니다.
1. 데이터 수집: 필요한 데이터를 식별하고 획득합니다(데이터베이스, API, CSV 파일, 웹 스크래핑). 2. 전처리: 정리, 누락된 값 처리, 정규화 및 변환. 3. 기능 엔지니어링: 가장 유익한 변수를 선택하고 생성합니다. 4. 훈련: 알고리즘은 훈련 데이터로부터 학습합니다. 5. 평가: 모델의 성능은 테스트 데이터로 측정됩니다. 6.배포: 모델은 실제 데이터에 대한 예측을 위해 프로덕션에 투입됩니다.
황금률: ML 프로젝트 시간의 80%가 데이터 준비에 소요됩니다. (1-3단계), 알고리즘 선택이 아닙니다. 좋은 데이터 세트는 정교한 알고리즘보다 더 가치가 있습니다.
지도 학습
학습 중 감독 모델은 레이블이 지정된 데이터 세트에서 학습합니다. 각 입력에 대해 우리는 이미 올바른 출력을 알고 있습니다( 상표). 알고리즘은 다음과 같은 기능을 학습하려고 시도합니다. 입력을 출력으로 매핑하므로, 보이지 않는 새로운 입력에 대한 출력을 예측할 수 있습니다.
이는 두 가지 매크로 범주로 나뉩니다. 분류 (출력은 별개의 카테고리입니다. 스팸/비스팸으로 표시) e 회귀 (산출물은 주택 가격과 같이 연속적인 가치입니다).
Real-world examples of supervised learning include filtering spam in emails, diagnosing diseases 의료영상을 시작으로 부동산 가격 예측, 얼굴인식 및 분류까지 제품 리뷰에 대한 감정.
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
# 1. Caricare il dataset
iris = load_iris()
X, y = iris.data, iris.target
# 2. Dividere in train e test
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# 3. Creare e addestrare il modello
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)
# 4. Predire e valutare
predictions = model.predict(X_test)
accuracy = accuracy_score(y_test, predictions)
print(f"Accuracy: {accuracy:.2f}") # Accuracy: 1.00비지도 학습
학습 중 감독되지 않은 데이터세트에 라벨이 없습니다. 알고리즘은 알아내야 한다 데이터에 숨겨진 구조, 패턴 및 그룹화를 독립적으로 수행합니다. 정답은 없습니다 기본값: 목표는 데이터의 본질적인 구조를 탐색하고 이해하는 것입니다.
주요 기술은 클러스터링 (K-Means 및 DBSCAN과 같은 유사한 데이터 그룹화), 는 차원 축소 (유지하면서 변수 수를 줄이는 PCA와 유사) 필수 정보) 및 이상 탐지 (이상 데이터 또는 특이치 식별)
구체적인 적용: 개인화된 마케팅 캠페인을 위한 고객 세분화, 거래 내 사기 탐지 대규모 문서 컬렉션에서 뱅킹, 이미지 압축, 소셜 네트워크 분석 및 주제 검색이 가능합니다.
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
import numpy as np
# Dati di esempio: clienti con spesa annua e frequenza acquisti
X = np.array([
[15000, 35], [16000, 40], [14500, 30], # Cluster 1: spesa alta
[3000, 5], [2500, 3], [3500, 8], # Cluster 2: spesa bassa
[8000, 15], [9000, 20], [7500, 18] # Cluster 3: spesa media
])
# Normalizzazione dei dati
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# Clustering con K-Means
kmeans = KMeans(n_clusters=3, random_state=42, n_init=10)
clusters = kmeans.fit_predict(X_scaled)
for i, cluster in enumerate(clusters):
print(f"Cliente {i}: Cluster {cluster}")강화 학습
학습 강화를 위해 (강화 학습, RL)은 다음과 같은 패러다임입니다. 대리인 와 상호작용하면서 배우다 환경. 에이전트는 작업을 수행하고 수신합니다. 보상 (긍정적이든 부정적이든) 시간이 지남에 따라 누적 보상을 최대화하는 방법을 배웁니다. 라벨이 붙은 데이터가 없습니다. 에이전트는 시행착오를 통해 최적의 전략을 찾습니다.
RL은 다음과 같은 주요 개념을 기반으로 합니다. 상태 (현재 상황),행동 (대리인의 선택) 보상 (환경으로부터의 피드백) 그리고 정책 (에이전트가 학습하는 전략) 보상을 극대화하는 최적의 정책을 찾는 것이 목표 장기간의 기다림.
응용 분야: 비디오 게임(AlphaGo, OpenAI Five), 로봇 공학(드론 및 기계 팔 제어), 거래 알고리즘, 교통 관리, 적응형 추천 시스템 및 산업 자원 최적화.
주요 차이점: 지도를 받는 사람은 올바른 예를 통해 학습하고, 지도를 받지 않는 사람은 올바른 예를 통해 학습합니다. 숨겨진 패턴을 발견하고 강화는 보상을 통해 자신의 경험을 통해 학습합니다. 선택 패러다임은 전적으로 문제의 성격과 사용 가능한 데이터에 따라 달라집니다.
올바른 패러다임을 선택하는 방법
감독, 비지도, 강화 사이의 선택은 세 가지 요소, 즉 사용 가능한 데이터에 따라 달라집니다. 문제 유형과 최종 목표. 결정 흐름도를 통해 선택을 안내할 수 있습니다.
라벨링된 데이터가 있나요? 그렇다면 지도 학습을 사용하세요. 출력이 카테고리는 분류 문제입니다. 연속적인 숫자이면 회귀입니다.
라벨이 없나요? 감독되지 않은 상태로 사용하세요. 유사한 데이터를 그룹화하려면 클러스터링. 복잡성을 줄이려면 차원 축소를 사용하세요.
에이전트가 환경과 상호작용합니까? 강화를 사용하세요. 행동에 결과가 있는 경우 장기적으로 에이전트가 피드백을 받을 수 있다면 RL이 올바른 선택입니다.
도구 개요: scikit-learn
scikit-learn 이는 고전적인 기계 학습에 가장 많이 사용되는 Python 라이브러리입니다. 전처리, 교육, 평가 및 모델 선택을 위한 일관되고 직관적인 API를 제공합니다. 그의 힘 간단합니다. 몇 줄의 코드만으로 원시 데이터에서 훈련된 모델로 이동할 수 있습니다.
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
import numpy as np
# Creazione di una pipeline completa
pipeline = Pipeline([
('scaler', StandardScaler()), # Preprocessing
('classifier', LogisticRegression()) # Modello
])
# Cross-validation per valutazione robusta
# X e y sono il dataset e le etichette
# scores = cross_val_score(pipeline, X, y, cv=5, scoring='accuracy')
# print(f"Accuracy media: {scores.mean():.3f} (+/- {scores.std():.3f})")
# L'API di scikit-learn segue sempre lo stesso pattern:
# 1. Istanziare il modello: model = Algorithm(params)
# 2. Addestrare: model.fit(X_train, y_train)
# 3. Predire: predictions = model.predict(X_test)
# 4. Valutare: score = model.score(X_test, y_test)scikit-learn을 넘어서: Python ML 생태계
Scikit-learn은 기존 ML을 다루지만 Python 생태계는 훨씬 더 많은 것을 제공합니다. 텐서플로우 e 파이토치 딥러닝의 주요 프레임워크 (심층 신경망). 팬더 e 넘파이 그들은 처리에 필수적입니다 데이터의. Matplotlib e 시본 그들은 디스플레이에 사용됩니다. XGBoost e 라이트GBM 최첨단 앙상블 알고리즘을 제공합니다.
배포의 경우 FastAPI 모델을 REST API로 노출할 수 있습니다. MLflow 실험 및 버전 관리를 관리합니다. 도커 생산을 위해 전체 파이프라인을 컨테이너화하세요. 이 시리즈에서는 scikit-learn과 동반 라이브러리에 중점을 두고 점진적으로 기술을 구축해 나갈 것입니다. 완전한 ML 프로젝트에 필요합니다.
핵심 사항
- 기계 학습을 통해 컴퓨터는 명시적인 프로그래밍 없이 데이터로부터 학습할 수 있습니다.
- 세 가지 패러다임: 감독(레이블이 지정된 데이터), 비지도(레이블 없음), 강화(보상)
- ML 워크플로에는 데이터 수집, 전처리, 기능 엔지니어링, 교육, 평가, 배포가 포함됩니다.
- scikit-learn은 일관된 API(맞춤, 예측, 점수)를 갖춘 이상적인 출발점입니다.
- 패러다임의 선택은 데이터 유형과 문제의 목표에 따라 다릅니다.