본문 바로가기

대학원 공부172

Python : basic : 문자열 (format) 이름공간의 이름이 가리키는 값 출력하기 >>> import math >>> '원주율: {0.pi}'.format(math) '원주율: 3.141592653589793' format에 math라는 모듈을 넣고, 모듈안의 변수를 넣어주면, 실제로 값이 나옴을 알 수 있다. json 형식 출력해보기 >>> countries = [ ... {'name': 'China', 'population': 1403500365}, ... {'name': 'Japan', 'population': 126056362}, ... {'name': 'South Korea', 'population': 51736224}, ... {'name': 'Pitcairn Islands', 'population': 56}, ... ] >>> for.. 2019. 11. 22.
Python : basic : list.sort(), sorted list.sort() list.sort()는 list를 sort해서 list에 다시 저장하는 느낌이다. 즉 list = sorted(list) 라고 생각하면 어렵지 않다. sorted( list_name, 조건(key 값을 다르게 준다, Descending or Ascending) ) # 공백을 기준으로 문자열을 나누어 리스트로 변환한다 # 리스트로 변환시 >>> sorted("This is a test string from Andrew".split(), key=str.lower) ['a', 'Andrew', 'from', 'is', 'string', 'test', 'This'] 뒤에 key를 str이 lower한 것 부터대로 sort하는 것을 의미한다. sorted를 복잡한 객체를 정렬할 때 자주 사용.. 2019. 11. 22.
Python : SQLite : SQLite 란? Why? sqlite는 embedded (내장된) database 소프트웨어로, 웹브라우저 같이 application software안에 local/client storage이다. 기본 기능 CRATE TABLE # table 생성 CREATE TABLE extract_urls(title text, url text, user_count INTEGER DEFAULT 1, visit_count INTEGER) # table이 없을 경우 생성 CREATE TABLE IF NOT EXISTS extract_urls(title text, url text, user_count INTEGER, visit_count INTEGER) DEFAULT는 그 곳에 다른 값을 주지 않는다면, default 기본값으로 1을 준다.. 2019. 11. 19.
Python : basic : List -> Dict로 압축, json 출력 result = [(,,,),(,,,) ----------] def print_json(result): columns = ['title', 'url', 'user_count', 'visit_count'] change_dict= [] for result_line in result: # crawling_url = result_line[1] # print(crawling_url) change_dict = dict(zip(columns, result_line)) return change_dict print(json.dumps(print_json(result))) """ output: {"title": "\uc815\ubc30\uc6b0, \ub355\uc790-\ud131\ud615 \ubd88\uacf5\uc.. 2019. 11. 19.
Linux : SSH 이해하기 SSH Protocol SSH 는 Secure Shell의 약자이다. 즉, 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 실행하고 다른 시스템으로 파일을 복사할 수 있도록 해 주는 프로토콜이다. VPN을 구성하는 것보다 가격이 저렴하고 쉽게 연결할 수 있어 많이 사용된다. SSH 프로그램 중 내가 많이 쓰는 프로그램은 PuTTy 다. MacOS에는 OpenSSH 클라이언트와 서버가 내장되어 있기 때문에 바로 사용할 수 있다. SSH는 22번 포트 를 사용하며, 크게 다음의 3가지를 제공한다. 1. Authentication SSH는 public key와 private key를 사용하는 비대칭 암호방식을 사용합니다. 간단히 설명하면, public key와 private key가 모두 있어.. 2019. 11. 15.
git & github : branch # branch list 보여주기 git branch # git branch 생성 git branch branch_name # git branch 변경 git checkout branch_name # git branch 생성 및 변경 한번에 git checkout -b branch_name # git branch 삭제 git branch -d branch_name # branch 명 바꾸기 git branch -m "branch 이름" # branch 원격저장소 list git branch -r # branch 원격 + 로컬저장소 list git branch -a # git 로 github branch 가져오기 git checkout -t origin/branch_name # git 비교하기 git di.. 2019. 11. 11.
git & github : git add, commit 취소하기, commit message 수정 git add # add 하기 git add # add 모두하기 git add --all # add 예전에 커밋한적이 있는 파일만 git add -u # add 하면 변경사항이 보인다. git add -p # add 할 때, 해당글자, ML이 있으면 add git add ML* git commit # commit 하면서 내가 메모할 말 --> "제일 많이 쓴다!!!" git commit -m "내가 올리면서 메모할 말" # 모든 branch 에서 commit 했던 내용들 git branch -v git push # git 로 push (리모트 저장소) (리모트 브랜치) git push origin branch_name # git 로 github branch 삭제 git push origin --delet.. 2019. 11. 11.
Numpy & Pandas & Sqlite : sqlite, Add column, 제약조건 Sqlite 제약 조건 https://thinking-jmini.tistory.com/19 [SQLite] 테이블 제약 조건 보통 테이블 스키마를 작성한 사람과 해당 테이블의 데이터를 입력하고 사용하는 사용자가 다른 경우가 많다. 그렇기에 우리는 최초 테이블 스키마를 작성할 때의 의도와 다르게 사용하는 경우가 많이 생기며 이로.. thinking-jmini.tistory.com DEFAULT, UNIQUE, CHECK, NOT NULL DEFAULT : 값을 안주면, DEFAULT = 'yes' -> yes가 들어간다. UNIQUE : id INTEGER NOT NULL UNIQUE 라고 한다면, id는 정수로써 빈 값이 될 수 없고, 중복이 안 된다. CHECK : email TEXT CHECK (em.. 2019. 11. 11.
Numpy & Pandas : Pandas Reference Pandas 기초 https://sacko.tistory.com/18 파이썬으로 데이터분석하자 (4) - Pandas 기본 파이썬 Numpy - 파이썬 라이브러리를 활용한 데이터 분석 中 ※본 포스팅은 "파이썬 라이브러리를 활용한 데이터 분석"을 다시 돌아볼 목적으로 필요 내용만 간단하게 정리하였습니다. 2017/09/19 - [Data Science.. sacko.tistory.com https://3months.tistory.com/292 Python - Pandas 튜토리얼 (데이터프레임 생성, 접근, 삭제, 수정) Pandas (Python Data Analysis Library) 파이썬을 통해 데이터 분석을 할 때, Pandas를 빼놓고 이야기할 수 없다. 온전히 통계 분석을 위해 고안된 R 과.. 2019. 11. 11.
Numpy & Pandas : DataFrame 객체 -> Sqlite3 DB에 저장 Data 입력 형태 : Dict or list, tuple import pandas as pd raw_data = {'col0': [1, 2, 3, 4], 'col1': [10, 20, 30, 40], 'col2':[100, 200, 300, 400]} df = DataFrame(raw_data) print(display(df)) """ Out[5]: col0 col1 col2 0 1 10 100 1 2 20 200 2 3 30 300 3 4 40 400 """ 위의 방법은 딕셔너리 형태를 저장!!! 딕셔너리 형태로 저장한다면, columns을 중심으로 저장하게 된다. import pandas as pd raw_data = [[1, 10, 100], [2, 20, 200], [3, 30, 300], [4.. 2019. 11. 11.
Python : basic : import OS (파일, 디렉토리 조작) https://godoftyping.wordpress.com/2017/07/01/python-%ED%8C%8C%EC%9D%BC-%EB%94%94%EB%A0%89%ED%84%B0%EB%A6%AC-%EC%A1%B0%EC%9E%91/ [python] 파일, 디렉터리 조작 디렉터리, 파일, 확장자 분리 (get directory and file, extension) 파일 확인 (check file exists) 파일 복사 (copying files) 파일 이동 (moving files) 파일삭제 (deleting files) 디렉터리 복사 (copying directories) 디렉터리 이동 (moving directo… godoftyping.wordpress.com 디렉토리, 파일 확장자 분리 path.dir.. 2019. 11. 11.
Python : basic : 정규표현식 문장속에서 명확한 기준없이 (예를 들어 띄어쓰기라던지) 한글, 영어,숫자등이 섞여서 나올때가 있다. 이때 언어별 처리가 필요한 경우 regex라는 라이브러리를 사용할수 있다. 1. regex 설치 (맥기준, 우분투에서는 apt-get install python-regex 설치) # sudo pip install regex 2. 파이선 실행 # python 3. regex import >>> import regex 4. 한글, 영어, 한문을 모두 뽑아낸다. 숫자는 버린다 >>> regex.findall(ur'[\p{Hangul}|\p{Latin}|\p{Han}]+', u'24.resin수지樹脂') 결과) [u'resin\uc218\uc9c0\u6a39\u8102'] 5. 영문만 뽑아낸다. 나머지는 버린다... 2019. 11. 7.