IT’s economics

9/18 끝날까 싶었던 프로젝트도 발표자료 만들고 마무리 단계다 개인회고도 우리 조 발표자료에 들어가있는데 내가 느낀 점은 이러함 DB를 하다보니 내가 좀 더 백이랑 프론트를 잘 알았다면 좋았겠다... 하는 아쉬움이 남았다 아침부터 편집자 모드 발표장소가 인터넷이 안되니 시연영상을 준비하라고 해서 준비했다 시나리오 짜준대로 찍고 편집 찍고 편집 반복 ㅋㅋㅋ 핫스팟은 된다고 했는데 불안한 거보단 준비 미리 하는게 낫다 리더님이 꼼꼼하게 확인해서 PPT도 제출완료 오후에는 발표장소가서 PPT 글씨 크기나 발표자들 대략적인 연습도 했다 PPT는 큼직큼직하게 만들어서 잘보이는데 영상이 생각보다 작아서 좀 실망 ㅠ (추후에 수정했다) 우리반에 다른조가 대략적으로 발표하는 모습도 지켜봤는데 흥미롭고 다른 반들은 어..

9/11 이번주도 시작된 개빡센 프로젝트의 시작 오늘의 목표는 db 마무리하고 RDS까지 하는 것 우선 DB 쿼리 업로드 다했다 RDS는 처음해봐서 좀 버벅거렸는데 선생님 도움으로 금방 만들었다 1. RDS 찾아가서 데이터베이스 생성 누르기 2. 여러 SQL이 있지만 나는 MySQL을 선택했다 3. 템플릿은 프리티어 선택 많은 기능을 사용하진 않을 것이기 때문에 프리티어로도 충분할 거 같아서 선택했다 4. DB인스턴스는 한눈에 알아보게 해주는게 좋겠고 마스터 사용자 이름은 admin으로 했다 5. 비밀번호 설정하기 기억하기 쉬운 걸로 하거나 메모를 해놔야한다 중요함 ! 6. 이것도 그냥 기본으로 놔두고 지나갔다 7. 스토리지 설정 이건 선생님이 최대 스토리지 임계값을 최소로 해도 괜찮겠다고 하셔서 22로..

9/2 TF-IDF(Term Frequency-Inverse Document Frequency)는 단어의 빈도와 역 문서 빈도(문서의 빈도에 특정 식을 취함)를 사용하여 DTM 내의 각 단어들마다 중요한 정도를 가중치로 주는 방법 https://wikidocs.net/31698 04-04 TF-IDF(Term Frequency-Inverse Document Frequency) 이번에는 DTM 내에 있는 각 단어에 대한 중요도를 계산할 수 있는 TF-IDF 가중치에 대해서 알아보겠습니다. TF-IDF를 사용하면, 기존의 DTM을 사용하는 것보다 보다 많… wikidocs.net 9/4 이 블로그에서 기본적인 실습을 하고 다음을 진행하려 했는데 막히는 부분 tf = pd.DataFrame(dtm.toarra..

8/28 전처리 시작하기도 전에 공유드라이브에 있는 파일을 코랩에 마운트하는데서 고난 이 글을 보고 해결했다 역시 답은 내 드라이브에 경로를 만들어주는 것 밖에 없나보다 https://sundries-in-myidea.tistory.com/96 구글 콜랩에서 구글 드라이브 공유 폴더 사용하기 구글 콜랩을 모두 공유하면서 사용한다면... 개인 프로젝트로 진행하는 것이라면 굳이 콜랩을 선택하는 것은 사실상 컴퓨터 성능의 문제로 선택하는 경우를 제외하면 없을 것 같다. 하지만, 단 sundries-in-myidea.tistory.com 지지난주는 DB구성 지난주는 크롤링 이번주는 크롤링한 텍스트 데이터 전처리를 해야한다 전처리는 1차 세미나 때와 수업 때 elasticsearch에서 했던 걸 제외하면 거의 처..

8/21 크롤링을 위한 작업 그 첫번째! 크롤링할 사이트 정하기 멘토님께서는 뽐뿌를 얘기하셨는데 들어가보니 생각보다 양질의 게시글이 없었다 질문과 답변이 있는 게시글을 생각했는데 질문만 있거나 하는 경우가 허다했다 그게 아니면 카드팔이 그 다음 후보는 인스타였는데 여기도 마찬가지로 카드팔이만 잔뜩 😓 결국 DC까지 들어가게 됐다 내가 DC를 들어가게 되다니 찾아보니 신용카드 갤러리가 있어서 열심히 뒤져봄 추천이라고 치면 그나마 자세하게 나온다 근데 줄임말이 많아서 공부(?)를 좀 해야겠음 어질어질하네 이 크롤링 제대로 할 수 있을까? 다른 조에서 크롤링을 했다고 해서 그 조 크롤링 담당인 분에게 부탁해서 코드 받음 근데 받은 코드에 잘 모르겠는 라이브러리가 있어서 구글 검색 ㄱㄱ https://ongbi..

8/11 1. ERD란? - ERD(Entity Relationship Diagram) = 시스템 내 다양한 엔티티와 서로 간의 관계를 시각화한 것 - 관계형 데이터베이스 설계 및 모델링에 도움 - 데이터베이스의 논리적 구조를 볼 수 있음 2. ERD의 용도 - DB설계 - 시스템 요소와 서로의 관계 식별에 도움 → 소프트웨어 엔지니어링에 사용 ex) 소매점에 사용되는 재고 소프트웨어 : 구매, 항목, 항목유형, 항목소스, 항목가격 3. ERD 기호 및 표기법 - 엔티티 = 개체 - 약한 엔티티 : 다른 엔티티에 의존하는 엔티티, 자체 속정으로 식별할 수 없는 엔티티, 외래키 사용 - 속성 : 엔티티는 필요한 만큼 속성을 가질 수 있음, 속성도 고유한 속성을 가질 수 있음 8/14 이론보다 실제로 하는 ..

8/9 개인 목적에 맞게 카드 추천 서비스를 구현하는 것이 우리 조의 목표 카드 데이터를 수집했는데 많이는 아니고 우리카드 1개, 다른 카드사 카드 1개를 고객에게 보여줄 예정이라 우리카드 34개, 다른 카드사 5곳 10개씩 수집했다 신용카드만 수집했고 각 카드사는 10위까지 순위가 나오지 않아 네이버 신용카드 검색에서 검색순으로 10위까지 해서 데이터를 수집했는데 https://m.card-gorilla.com/chart 카드고를때, 카드고릴라국내 최대 신용카드 플랫폼! 1,000여 개의 카드 중 원하는 카드를 골라보세요! 실시간 인기순위와 알짜카드 추천으로, 나만의 카드를 찾아드립니다.m.card-gorilla.com 이런 곳도 있다 진짜 존경스러운게 실시간 카드 차트가 있다; 이곳도 데이터 수집 전..

프로젝트를 위한 Java 공부 REST API에 대한 개념이 제대로 안잡혀서 책 보면서 정리해봤다 1. REST : Representational State Transfer - WWW와 같은 분산 하이퍼미디어 시스템 아키텍쳐의 한 형식 - 이름을 규정하고 URI에 명시해 HTTP 메서드(GET, POST, PUT, DELETE)를 통해 해당 자원의 상태를 주고받는 것 2. REST API란? - API : Application Programming Interface, 어플리케이션에서 제공하는 인터페이스 - 서버, 프로그램 사이를 연결할 수 있음 - REST API = REST 아키텍처를 따르는 시스템/어플리케이션 인터페이스 3. REST API 특징 - 유니폼 인터페이스 : 일관된 인터페이스, HTTP ..

이번주에 진행한 미니 프로젝트 조별로 주제 정해서 데이터 튜닝해보기 자료는 Kaggle의 Bank Marketing Data를 사용했다 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from matplotlib import rc 필수적인 pandas와 numpy를 비롯한 시각화 라이브러리 import Bank Client Data만 사용하여 해당 고객의 예금 가입 여부를 예측해보았다 1차적으로 pandas profiling으로 자료 파악 Baseline Model을 먼저 만들었다 LogisticRegression, DecisionTreeClassifier, XGBoostClassifie..