[DE] Cloud Computing (AWS/AZURE/GCP)
1. Cloud Computing 1) 클라우드 컴퓨팅 (1) 정의 - 컴퓨터의 각종 연산 및 처리를 개인 PC가 아닌 인터넷 공간(클라우드)에서 처리하는 방식 - 인터넷(클라우드)을 통해 Server, Storage, DB, Networking, SW, Analysis, Intelligence 등의 서비스 제공 - 즉, 인터넷(클라우드)을 통해 컴퓨터의 자원을 제공 (2) 등장 배경 - 과거 : 주로 서버를 직접 소유해 서버 관리에 대한 직접 권한을 갖고 서버의 모든 자원을 활용하며 독립적 사용 서버(Server) : 클라이언트에게 네트워크를 통해 정보나 서비스를 제공하는 컴퓨터 시스템. 프로그램 또는 장치 - 대규모의 컴퓨팅 파워가 필요하다면, 집에 엄청 큰 서버를 들여야 하는걸까? (효율성, 확장성..
[DA] WordCloud
1. WordCloud : 텍스트 데이터에서 단어들의 빈도수를 나타내는 그림 텍스트에서 빈도수가 높거나 중요한 단어 직관적 파악 가능 - 빈도수가 높은 단어일수록 더 크고 두껍게 나타남 - 텍스트 데이터의 주제를 파악하는 데 도움 2. 모듈 다운로드 및 설치 1) cmd conda install -c conda-forge wordcloud=1.5 # 설치 실패하거나 DLL load failed 에러 뜰 경우 conda remove pillow conda install -c conda-forge wordcloud=1.5 2) python shell from wordcloud import WordCloud, STOPWORDS as stopwords 3. WordCloud 만들기 1) text load 및 W..
[DA] NLP Pipeline - NLTK & KoNLPy
1. Introdunction to NLP 1) NLP (Natural Language Processing) : 자연어처리, 즉 우리가 일상생활에서 사용하는 언어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일 Ex. Sentiment Classification, Machine Translation 2) NLP Pipeline (1) Text Data (Corpus, 말뭉치, 코퍼스) (2) Data Preprocessing (데이터 전처리) + FE - Tokenization - Stemming or Lemmatization - Stopwords removal - Text Representation (3) Modeling (모델링) Train - Test - Evaluate Model 3) 관련 패..
[DE] 크롤링
1. 기본 개념 1) 크롤링 : 웹 페이지를 그대로 가져와서 거기서 필요한 데이터(정보)를 추출하는 작업 2) Request & Response HTTP : 웹 상에서 클라이언트와 서버 간에 요청 & 응답으로 데이터를 주고 받을 수 있는 프로토콜 Methods : 클라이언트가 서버로 보내는 요청(Request) 방법 9개의 요청 방법 중 주로 GET, POST 방식 사용 (1) GET : 클라이언트가 서버에게 조회할 리소스를 요청. 요청 값을 URL에 담아 *쿼리스트링을 통해 전송 * 쿼리스트링 : URL 끝에 붙은 '?' 뒤의 key-value 쌍을 이루는 요청 파라미터 Ex) https://URL?name=mike&age=20 : name이 mike, age가 20일 때의 응답을 보내줘! (2) PO..
[DS] RNN
1. AI/ML/DL 개요 1) 포함 관계 및 정의 2) DL 분야 (1) Dataset (데이터셋) - Training Data - Validation Data - Test Data (2) CV (컴퓨터비전) - Image Classification - Object Detection - Image Segmentation - Saliency Detection (특정 인식) (3) NLP (자연어처리) - Text Classification & Ranking (텍스트 분류 및 순위) - Sentiment Analysis (감성 분석) - Doc Summarization (문서 요약) - Name-Entity Recognition, NER (개체 이름 인식) - Speech Recognition (음성 인식..
[DS] CNN
1. Computer Vision 1) CV : A field of AI that trains computers to interpret and understand the visual world (시각적 세계를 해석하고 이해하도록 컴퓨터를 학습시키는 인공지능의 한 분야) - Computer가 Digital Image와 DL 모델을 통해 객체를 정확히 식별하고 분류하는 학습을 진행 - 사람의 눈으로 사물을 보는 것처럼 컴퓨터가 사물을 보고, 뇌가 하는 작업을 알고리즘을 통해 컴퓨터가 유사하게 수행할 수 있도록 만드는 작업 2) Task (1) Classification (객체 분류) : 이미지 속 객체를 인지해 객체의 Class를 분류하는 기술 Ex. DenseNet, SENet, MobileNet, Squ..
[DS] MLP
1. Perceptron 1) 인공신경망 : 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘 2) 퍼셉트론 : 프랑크 로젠블라트가 1957년에 제안한 초기 형태의 인공신경망 (1) 형태 : 입력값- 가중치 - 가중합 - 계단함수(활성화함수) - 출력값 ① Inputs ② Weights - 각 입력값에 대한 가중치 존재 - 가중치 값이 클수록 해당 입력값이 중요하다는 의미 ③ Weighted Sum - 가중합(net) : 각 입력과 그에 해당하는 가중치의 곱의 합 ④ Activation Function - Activation Function : net 값에 따라 뉴런의 활성화 여부를 결정하는 함수 - ReLU : net 이 threshold 보다 크면 1, 크지 않으면 0을 ..
[DS] Machine Learning (ML)
1. Machine Learning 개요 1) 정의 (1) ML : 인공지능의 연구 분야 중 하나로, 인간의 학습 능력과 같은 기능을 컴퓨터에서 실현하고자 하는 기술 및 기법 (2) AI ⊃ ML ⊃ ANN ⊃ DL - AI : 사람이 해야 할 일을 기계가 대신할 수 있는 모든 자동화에 해당 - ML : 명시적으로 규칙을 프로그래밍하지 않고 데이터로부터 의사결정을 위한 패턴을 기계가 스스로 학습 - DL : 인공신경망(ANN) 기반의 모델로, 비정형 데이터로부터 특징 추출 및 판단까지 기계가 한 번에 수행 (3) ML은 경험(E)을 통해 특정한 작업(T)에 대한 성능(P)를 스스로 향상 2) 머신러닝 유형 (1) 지도학습 : 정답이 정해진 문제에 대해 학습. ex) 분류, 예측 문제의 정답을 모두 알려주..