본문 바로가기

mambo's coding note346

[Transformer] Positional Encoding 해당 글은 아래의 참고문헌을 각색한 글입니다. 그림들의 저작권은 해당 저작자들에게 있습니다.1. Input embedding💡 input embedding 이라 함은, 입력된 문장을 컴퓨터가 이해할 수 있는 행렬 값으로 변환하는 작업을 말한다.“This is my car”라는 문장이 있다. 이 문장에 대해서 string 형태로 넣는다면 모델은 해당 단어가 어떤 단어인지 모른다. 따라서 우리는 “단어” → “숫자”를 해줄 수 있는 embedding matrix를 만들어야한다. 그래서 “This is my car”라는 문장을 embedding matrix와의 연산을 통해 [3412, 5281, 6899, 8678]이라는 embedding vector가 만들어졌다.여기서는 문장의 길이가 4개라서 4차원 벡터.. 2024. 10. 9.
Catalyst Engineering : 1-3. Industrial catalyst, 산업계에서 쓰이는 촉매 예시 Industrial Catalyst1. Sulfide Oxdiation$SO_2 \to SO_3$Pt GauzeS는 전기음성도가 높아서 poisoning 확률 높다.요즘은 $V_2O_5 + K_2SO_4$로 대체2. $NH_3$ Oxidation$NH_3 \to NO_3$Pt Gauze + $O_2$$NO_3$는 $H_2O$로 질산 형태로 배출하지만 Gauze를 이용하기 때문에 metal atom dispersion이 굉장히 낮다.3. $NH_3$ SynthesisHaber Bosch$Fe + Al_2O_3, CaO, K_2O, MgO$ : Oxide 계열이 promotor4. Methanol Synthesis$CO + H_2 \to CH_3OH$$Al_2O_3, Cu + ZnO$이 합성방법에서 conv.. 2024. 5. 19.
Catalyst Engineering : 1-2. Definition of catalysis, 촉매의 정의 Catalysiscf) 용어정리Conversion : 반응이 일어난 반응물의 양 / input 양Selectivity : 내가 원하는 생성물의 양 / output 양Yield : 내가 원하는 생성물의 양 / input 양1. 정의어떤 공정에서 조성이나 구조의 변화 없이 반응물을 활성화시켜서 다른 물질로 만드는데 도움을 주는 물질을 촉매라고 한다.2. Catalytic Activity내가 원하는 반응의 진행 정도를 촉매 활성이라 한다. 보통 촉매의 성능 측정은 다양한 방법으로 진행된다.3. Catalyst selectivity & functionalityex) $Cu : CH_3OH \to HCHO$, $Al_2O_3 : 2CH_3OH \to $같은 메탄올 반응이지만 copper는 산화반응, 산촉매인 Al.. 2024. 5. 19.
Catalyst Engineering : 1-1. Theories of catalyst Basic Concept & Theories1. Basic ConceptPhysisorptionChemisorption (rearragnement) or MigrationDesorption촉매에서의 반응은 크게 3가지로 나뉜다.처음에는 physisorption으로 표면에 붙는다. 그러다 표면에 metal원자나 active site에서 chemisorption이 일어난다. 이 때 반응물에서 rearrangement, 즉 새로운 생성물이 생성이 되어야 chemisorption이다. 그 후 Desorption이 진행되어 생성물이 나온다.2. Theories2-1. Geometrical Theories분자가 표면에 어떤식으로 흡착하는지?흡착하였을 때, Bridge 형태를 만든다면, 옆에 site와 어떤 arra.. 2024. 5. 19.
Catalyst Engineering : 1. Introduction of catalyst 1. introduction and basic concepts목적촉매들이 도대체 어디에 적용되고 있는지 알아보자.촉매를 만들 때, 어떠한 부분들을 고려해야하는지 알아보자.촉매의 종류는 어떻게 나뉠지 알아보자.열역학적인 개념과 에너지적인 개념에서의 촉매반응을 이해하자.theories Geometrics TheoriesElectronic TheoriesChemical ApproachCatalysis 에서 중요한 부분Industrial Heterogenous Catalyst (과거 촉매의 역사)Pt catalystNH3 oxidationNH3 synthesisMethanol synthesisSyn gasPartial oxidationPetroleum processingcrackingreformingHydro-.. 2024. 5. 19.
Catalyst Engineering : Introduction Catalyst Engineering촉매공학 공부란?촉매에 분자가 흡착하는 원리와 종류흡착의 mechansim촉매 제조 (preparation)촉매의 특성 파악 (activity & characterization)이 4가지를 공부를 해야 촉매가 분자를 어떻게 활성을 띄게 해서 반응을 일으키는지 알 수 있다.왜 촉매공학 공부를 해야할까?먼저 촉매를 공부하기 전에 이 촉매공학을 왜 공부를 해야할까를 짚고 가자.Solid State : 촉매가 대부분 고체이기 때문에Organic Chemistry : 반응물들이 대부분 유기물들 (석유)Kinetics : 촉매의 반응속도식이나 mechanism을 알기 위해Surface Chemistry : 촉매는 보통 표면에서 반응이 일어남Thermodynamics : 반응이 자.. 2024. 5. 19.
Python : TypeError: unhashable type: 'numpy.ndarray' 사실 TypeError: unhashable type: 'numpy.ndarray' error는 정말 다양한 곳에서 일어난다. 직역해보자면, numpy.array 형태는 hash가 안된다는 이야기다. 과연 나는 어디서 이런 error가 발생했는지 적어보려한다.Main code : pygmo를 활용하여 hypervolume 계산나는 pygmo라는 라이브러리를 활용하여 multi-objective optimization을 진행할 때 필요한, hypervolume을 계산하고자 하였다. 밑에가 내가 작성한 코드이다.import functoolsimport pygmoimport numpy as np# hypervolume을 계산하는 함수에 캐싱 적용@functools.lru_cache(maxsize=None)de.. 2024. 5. 15.
20230913 : VScode Remote 접속 (Remote Development) 글을 쓰기 앞서.. 재택근무가 활성화된 시점에서 원격으로 내 컴퓨터에 접속해서 code를 수정하고 싶은 나날들이 정말 많았다. 이런 니즈를 느끼던 와중에 vscode에서 사전에 remote 접속하고 싶은 컴퓨터 정보만 입력해두면, 노트북에서 바로 연결해서 사용이 가능하다는 정보를 보고 포스팅하게 되었다. 여기서 굉장히 마음에 들었던 점은 원격 접속이라는 편리함 뿐만 아니라, 원격 접속할 컴퓨터의 가상환경이나 세팅을 그대로 사용이 가능하다는 것이다. 내가 직접 해보고 쓴 글이니 아마 많은 사람들에게 도움이 되었으면 한다. 사전에 check해야할 부분 - sever로 구축할 computer에 openSSH, openClient 설치 여부 Remote server (ubuntu) : 원격으로 접속할 컴퓨터 (.. 2023. 9. 13.
Optimization : Bayesian Optimization 우리는 실생활에서 어떤 것을 최적화를 하고 싶어한다. 예를들어, 나에게 10분이 주어질 때, 제일 최적의 경로를 예측한다고 하면, 커피를 뽑고, 모니터를 키고, 모니터를 키는 동안 약을 먹고, 약을 먹는동안 다 내려진 커피를 가지고 정수기로 가서 물을 담는다. 이러한 과정을 어찌보면 실생활에서 누구나 쓰는 최적화 기법이다. 조금만 더 ML 관점으로 적어보자. 보통 Deep Learning은 아키텍쳐의 구조, 신경망의 깊이와 넓이, L1, L2 계수, batch 크기, epoch 크기 등등 정말 수십가지의 hyperparameter들이 존재한다. 이러한 parameter 들을 어떤 파라미터들을 어떻게 적용했을 때, 제일 최상의 max 하기 위해서는 어떻게 조절해야하는지 궁금하다. 이러한 과정도 최적화, O.. 2022. 5. 25.
Pytorch + RTX3080 print(torch.cuda.is_available()) # False CUDA : 11.2 cuDNN : 미리 깔았었음 pytorch : 1.8.1 계속해도 안되서 아래의 페이지를 참고해서 pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html 위의 command로 torch를 한단계 downgrade했더니 정상작동함. goodtogreate.tistory.com/entry/2004-%EC%9A%B0%EB%B6%84%ED%88%AC%EA%B8%B0%EB%B0%98-NVIDIA-GeForce-RTX-3090%EC%97%90-CUD.. 2021. 3. 8.
RTX 3080 병렬로 tensorflow 위에 올려보기 GPU 연결하기 1. GPU tensorflow와 연동하기 전반적인 Setting은 이 사이트를 보고 했다. 하지만, 이 사이트는 RTX 3080에는 적합하지 않은 Setting 환경이었다. 지금 RTX 3080이 나온지 얼마 되지 않았고, Tensorflow 에서 정식적으로 호완하기에는 아직은 이른 상황인가보다. (역시...새로운게 다 좋은건 아닌 것 같다.) 그래서 이 글을 보고 헤매지 말자... 나 진짜 반나절은 이거 하나로 날려먹은듯. 처음에는 CUDA 11.2 버젼 // cuDNN 11.1 버젼으로 다운받았다가, CUDA 11.1 버젼 // cuDNN 11.1 버젼, 마지막으로 해본게 CUDA 11.0 버젼 // cuDNN 11.0 버젼 이었다. (하지만, 이게 CUDA, cuDNN 이 아니라,.. 2020. 12. 23.
트랜지스터 오늘은 짧게 트랜지스터에 대해서 얘기하려고 한다. 사실 나도 핸드폰, 컴퓨터를 쓰면서, 컴퓨터가 어떻게 이루어져있고, 어떠한 원리로 동작하는지 제대로 이해하지 못했다. 그래서 항상 궁금했었고, 알고보니 표면화학 수업을 들으면서 이미 알고 있던 내용이라 다시 한 번 정리하는 기회를 가지면 좋을 것 같다고 생각했다. n-type, p-type 반도체 mambo-coding-note.tistory.com/403?category=786168 2-2. Band of Structures : 반도체, Fermi Level, dopant 본 글은 고려대학교 화공생명공학과 하정숙 교수님의 강의록을 참고하였으므로, 이를 상업적으로 이용하면 안되며, 글을 가져가실 때는 꼭 출처와 댓글을 남겨주시기 바랍니다. 4. Band .. 2020. 11. 8.

티스토리툴바