Dori's Data

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go 자연어처리 (Natural Language Processing) 란?- 컴퓨터가 인간의 언어 (자연어)를 이해하고, 처리할 수 있도록 하는 인공지능 (AI) 기술- 문장, 단어, 텍스트 데이터를 분석하고 해석하여 의미를 이해하거나 새로운 텍스트를 생성하는 기술 텍스트 처리① 형태소 분석 : 문장에서 단어를 분리하고, 각각의 의미 단위(형태소)를 분석하는 과정② 토큰화 : 문장을 단어 또는 어절 단위로 분할③ 품사 태깅 : 단어의 품사를 식별하여 문장 구조 분석 텍스트 변환 | 번역, 문서, 요약, 텍스트 생성① 기계 번역 : 한 언어에서 다른 ..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go 전체적인 프로젝트에서 가장 헷갈렸던 부분들만 집중적으로 코멘트를 남기고자 합니다.제가 헷갈렸던 부분들이 「비전공자」에게 큰 힘이 되었으면 좋겠습니다 :) 1.import seaborn as snsimport matplotlib.pyplot as pltsns.countplot(x = 'Address1', data = df)plt.show()df.drop(df[df['Address1'] == '-'].index, inplace = True) 일단 여기 부분에서 df.drop(df[df['Address1'] == '-'].index, inplace..

■ 핵심 용어1. 인공 뉴런 : 입력값과 가중치, 편햐을 이용해 출력값을 내는 수학적 모델2. 단층 인공 신경망 : 퍼셉트론을 하나만 사용하는 인공 신경망3. 다층 인공 신경망 : 퍼셉트론을 여러 개 사용하는 인공 신경망4. 입력층 : 입력값을 표현하는 것 / 출력층 : 신경망의 출력을 계산하는 것 / 은닉층 : 입력층 이후부터 출력층 전5. 가충치 : 입력의 중요도6. 편향 : 활성화의 경계가 원점으로부터 얼마나 이동할지를 결정7. 활성화 함수 : 해당 뉴런의 출력을 다음 뉴런으로 넘길지 결정하는 것8. 시그모이드 함수 : 뉴런의 출력값을 0과 1 사이로 고정하는 것9. 손실 함수 : 정답과 신경망의 예측의 차이를 나타내는 함수이다.10. 경사 하강법 : 손실을 가중치에 대해 미분한 다음, 기울기의 반..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go 레이블 인코딩(Lable encoding)- 각 범주마다 인덱스를 붙여 수치화하는 방법- sklearn.preprocessing 모듈을 사용한다.- 인코딩을 할 때에는 fit-transform 메서드를 활용합니다. items=['TV','냉장고','전자렌지','컴퓨터','선풍기','선풍기','믹서','믹서']from sklearn.preprocessing import LabelEncoderencoder = LabelEncoder()encoder.fit(items) # 규칙만들기result = encoder.transform(items)print..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go 회귀 학습- 종속 변수가 연속형 데이터일 때 사용하는 지도 학습 방법- 즉, 숫자로 된 값을 예측하는 모델을 만들 때 활용합니다. 회귀 학습의 특징- 출력값(정답, 목표 변수)이 연속형 데이터- 예측값이 숫자로 표현됨- 데이터의 패턴을 분석하여 연속적인 값을 예측 회귀의 예시문제입력 데이터(X)출력 데이터(Y, 예측값)집값 예측면적, 위치, 방 개수집값 (원)키 예측부모 키, 영양 상태키(cm)기온 예측날짜, 습도, 기압기온 대표적인 회귀 모델선형 회귀(Linear Regression)결정 트리 회귀(Decision Tree Regression..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go  인공지능과 머신러닝의 관계■ 인공지능(AI, Artificial Intelligence) - 인간의 학습, 추론, 문제 해결 능력을 모방하는 기술 - 광범위한 개념 - 크게 기계 학습 (Machine Learning, ML), 딥러닝(Deep Learning, DL) 등의 하위 분야를 포함한다. ■ 머신러닝 - 인공지능의 한 분야 - 데이터를 이용하여 스스로 학습하는 알고리즘을 개발하는 기술 - 기존의 프로그래밍 방식과 달리, 사람이 직접 명령어를 입력하지 않아도 데이터를 통해 패턴을 학습하고 새로운 데이터를 예측할 수 있음 ■ 딥러닝 - 머..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go  가설검정가설검정은 표본데이터를 이용해 모집단에 대한 주장의 진위 여부를 통계적으로 판단하는 절차로서, 우리가 세운 주장이 데이터에 의해 통계적으로 타당한지 판단하는 방법이다. 가설검정 절차?가설검정비교 또는 검증할 주장 설정, 귀무가설과 대립가설 정의유의수준 결정기각 기준이 되는 오류 허용 수준 설정 (보통 0.05)검정방법 결정데이터 특성과 조건에 따라 적절한 검정법 선택검정통계량 계산표본 통계량을 이용해 검정통계량 계산채택/기각 여부 판단계산된 p-value와 유의수준을 비교하여 귀무가설 기각 여부 판단 가설 설정 : 귀무가설 vs 대립가..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go  수치 변수 분포 시각화히스토그램(plt.hist()), 밀도함수그래프(kdeplot / sns.kdeplot()), 이상치(boxplot / plt.boxplot())수치 변수 관계 시각화산점도(plt.scatter()), 페어플롯(pairplot / sns.pairplot()), 히트맵(df.corr() -> sns.heatmat())범주형 변수 시각화막대그래프(plt.bar()), 카운트 플롯(sns.countplot()), 파이차트(plt.pie()),(관계) 모자이크 플롯(① import statemodel ② 교차표 : pd.cros..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go 데이터 시각화 Matplotlib 기본 사용법Matplotlib은 Python에서 가장 기본이자 강력한 데이터 시각화 라이브러리입니다. 특히 matplotlib.pyplot 모듈은 간단한 API를 제공하여, 다양한 유형의 시각화를 손쉽게 구현할 수 있습니다. ※  matplotlib.pyplot.plot(*args, scalex=True, scaley=True, data=None, **kwargs)import matplotlib.pyplot as pltimport numpy as npimport pandas as pdx = [1, 2, 3, 4..

KT 에이블스쿨 7기 DX 트랙에 기자단으로 신청하기도 하였고, 복습을 통한 역량을 강화, 습득을 목적으로 작성되었음을 알려드립니다. 그럼, 복습 Let's go  기술통계기술통계는 데이터를 정리하고 요약하는 방법으로, 데이터의 전반적인 특성을 파악하는 데 사용되는 통계 기법이다.즉, 복잡한 데이터를 한눈에 이해하고, 이애할 수 있도록 요약하는 과정 먼저, Numpy 와 DataFrame을 가져왔습니다. (본인이 헷갈림..) numpy.mean(a, axis=None, dtype=None, out=None, keepdims= value>, *, where= value>)https://numpy.org/doc/2.2/reference/generated/numpy.mean.html class pandas.D..