Please enable JavaScript!
Bitte aktiviere JavaScript!
S'il vous plaît activer JavaScript!
Por favor,activa el JavaScript!
antiblock.org

반응형

ChatGPT 에게 전문 지식에 대해 물어볼 때 조심해야 할 점: 가짜 정보를 마치 사실인 것처럼 이야기한다는 점이다.

 

 

우선, synaptic pruning이라는 신경생물학 이론에 대해 설명하는 아래 글에 나오는 Dr. Beatrice Golgi는 현실에 존재하지 않는 연구자다. 그리고 신경계에서의 'synaptic pruning (시냅스 가지치기)' 이론은 1990년대에 Dr. Golgi가 아니라 1979년 Peter Huttenlocher에 의해 최초로 나온 이론이다. 

(논문: https://doi.org/10.1016/0006-8993(79)90349-4 / 리뷰: https://doi.org/10.1073/pnas.2010281117)

 

ChatGPT: "The concept of synaptic pruning in humans was first introduced in the 1990s by a group of researchers led by Dr. Beatrice Golgi. In a series of seminal papers, Golgi and her colleagues proposed that the human brain undergoes a process of synapse elimination during development, which leads to the refinement and specialization of neural circuits. This process, which they referred to as "synaptic pruning," was suggested to play an important role in the maturation and optimization of the nervous system."

그리고, 전혀 없는 논문을 마치 존재하는 것처럼 레퍼런스 형식에 맞게 내보내기도 한다. 예를 들어, 
 
"Can you provide references for the brain-targeting antibodies causing increase of the target proteins in blood level?"
 
...라는 질문을 했을 때, ChatGPT는 총 세 개의 논문을 설명해 주면서 레퍼런스를 doi number (논문의 고유 디지털 ID) 까지 제공해 준다. 하지만, 아래 목록 중 예를 들어 두 번째 2016년 논문은 이 세상에 존재하지 않는 논문이다. 참고로 이 허위 레퍼런스의 제일저자(?)인 Boutajangout은 Tau 및 Abeta를 연구하는 알츠하이머 연구자고, alpha-Synuclein이 관여하는 파킨슨병에 대해 논문을 낸 적은 없다. (물론 레퍼런스 세 개 전부 가짜다.)
 

• A study by El-Agnaf et al. (2006) looked at the effects of an anti-amyloid beta antibody in a mouse model of Alzheimer's disease. They found that treatment with the antibody led to a significant increase in blood levels of amyloid beta.
• A study by Boutajangout et al. (2016) examined the effects of an anti-alpha-synuclein antibody in a mouse model of Parkinson's disease. They found that treatment with the antibody led to a significant increase in blood levels of alpha-synuclein.

• A study by Kim et al. (2018) investigated the effects of an anti-Tau antibody in a mouse model of tauopathy. They found that treatment with the antibody led to a significant increase in blood levels of Tau.

 


References:
• El-Agnaf OM, Salem SA, Ali MA, et al. Antibodies to beta-amyloid peptide reduce beta-amyloid peptide levels in brain and blood of transgenic mice. J Neurosci. 2006;26(35):8989–8995. doi:10.1523/JNEUROSCI.1591-06.2006
• Boutajangout A, Bousset L, Melki R. Alpha-synuclein antibodies increase blood alpha-synuclein levels in a mouse model of Parkinson disease. Neurobiol Dis. 2016;93:139–145. doi:10.1016/j.nbd.2016.04.006
• Kim J, Lee J, Kim J, et al. Passive immunization with anti-tau antibody reduces tau accumulation and neurodegeneration in a mouse model of tauopathy. Sci Rep. 2018;8(1):10261. Published 2018 Jul 20. doi:10.1038/s41598-018-28489-y

 
 
얘네들 AI가 작성한거 구분하려고 일부러 가짜정보를 넣어놨나 싶을 정도로, 안 찾아보면 깜빡 속아넘어갈 만큼 너무 당당하게 훌륭한 문법과 양식으로 가짜 정보를 보기 좋게 늘어놓는다. 

 

 

일련의 결과로 인해, ChatGPT는 영어 문법 교정 정도를 넘어서는 용도로 사용하면 위험할 것 같다는 생각이 들었다.

 

 

실제로 얼마 전에 구글 챗봇에서도 제임스웹 망원경 관련해서 틀린 정보를 답하는 바람에 망신 당하고 구글 주가도 주르륵 미끄러졌던 적이 있었다. 얘네들도 크게 다르지 않을 것 같다. 학습을 인터넷에서 긁어오는 건 학계의 정설이 아닌 가짜 정보를 걸러내지 못한다는 단점이 있으니깐.

 

 

가령 창조쟁이들이 웹이나 유튜브 댓글에 도배질 해놓은걸 공부한 AI챗봇한테 진화생물학 관련 질문을 하면 틀린 답변을 내놓을 거라는걸 쉽게 예상할 수 있지 않겠나.
 
반응형
반응형

지방의 모 국립대 의과대학 연구교수시절, 외국인 학생과의 에피소드.

2018년 4월 8일  · 
연구실 합류하자마자 1년 반쯤 된 유학생 PhD 학생 하나랑 팀 짜서 그 학생 지도하던 이전 연구교수 일을 인수인계 받으라길래 플젝 써머리 브리핑을 받으려는데, 말하는게 정리가 하나도 안 돼 있고 중구난방에 일도 매주 삽질만 반복해서 약간의 꼰대질(...) 시전함.

1. Please write me a short introduction of your project (ideally 2-3 pages except references & except pictures; do not go over 5 pages), written in sentences and paragraphs & properly referenced bibliography(you can practice how to use Mendeley or EndNote with this). Adding brief graphics would also be beneficial, but not required.

 

Please include: (1) what is known & what is yet unknown, (2) therefore what is your hypothesis about the ‘what is unknown,’ and (3) the specific subjects of what you want to show to test the hypothesis.

 

(It’s like writing the ‘specific aims’ of your research in the grant proposal. If you want I can provide my previous writing for your reference, but keep in mind that it’s C. elegans research so the research approach will be totally different.)


As in our talk I said, it'll be beneficial for me to understand your project and also good for you to practice writing your own paper & thesis. Just take your time, sit down and organize your thoughts, and think it as writing a term paper or your own review paper about your project.


===========
일주일 뒤 보내놓은걸 읽고 나서.

2. Now I briefly looked into your attachments. I do not intend any insult, but I cannot say this writing as “introduction of your work with your hypothesis.”


It should have a logic flow; starting from general idea, and going further specifics of your interest, and introducing your target, and what is known about your target in those ‘specifics,’ and what is unknown, and then followed by your own hypothesis, with your idea of how to test/prove it. 


Frankly speaking, your writing seems to be just a list of what you read in papers. This is nothing more than saying “I read a lot of papers.”


You are in the upmost intelligent class of academia; pursuing for Ph.D. degree. That means you should start to make your own logic in what you’re studying. (It’s Doctor of “Philosophy,” you know. 😉 )


Sorry for the harsh sentences but you have lots of rooms to be improved. So keep going and think a lot. 
And I’ll upload my own writing on Monday. Have a good weekend.  

...어쩐지 교수님이 얘랑 개인미팅만 했다 하면 짜증을 많이 내시더라니...-_-;;;


============
3. I’ve thought about providing my writing sample; this wouldn’t be my best writing, but it’s showing my level of writings (not good though) in a similar grad school years as yours, so I think you’d better refer to this one. 


This is a full version of research proposal in grad school. I don’t expect this length from you so please don’t be overwhelmed.

...이러고서 나는 내 15페이지짜리 full PhD research proposal as a qualifyer를 보내 주었다. (너무 기죽였나...)

 

결국, 그 학생은 한 달쯤 뒤 이 랩에서 짤리고 이전 연구교수 임용된 곳으로 따라갔다는 이야기(...)

 

반응형
반응형

이래저래 브릭 연재글 쓰는 와중에 이제 와서 느낀 점인데, 지금의 내가 가장 잘 할 줄 아는 것은 업무상 편리한 작업 도구 (또는 프로그램) 를 찾아내어 다른 이들에게 소개하고 사용법을 가르쳐 주는 것이 아닐까 싶다. 

석사과정 때는 그냥 처음 써보는 실험방법이나 문서작성법 등을 배우기 급급해서 별게 없었던 것 같다. 다만 이때부터 SPSS를 처음 배워보거나 노트북을 사용한 문서 작성에 재미를 붙이거나 하는 등의 기반 다지기 시절이었던 것 같다.

박사과정 때도 그런게 잘 드러나진 않았다. 다만 교수가 biased random walk에 꽂혀서 모든 결과를 그 관점에서 보는 바람에 논문 연속 리젝만 열 번 가까이 먹었는데, 결국 게재승인된 논문에는 내가 졸업논문에 진화론에 빗대어 쓴 개념 설명을 (random vs determination 사이의 상호관계 등) 상당 부분 차용했다. (그래서 거기 내 데이터 별로 없어도 코퍼스트 넣어줬겠지...) 

포닥1 때는 랩원들이 다들 적절한 그래프 디스플레이 방법이 없어서 헤메고 있었을 때 내가 GraphPad Prism을 써보기를 제안했고, 그래프 때문에 고생하던 학생의 문제가 싹 사라졌다. 써보면 쓰기 쉬우니깐. 그리고 R 배울 것을 추천해서 그 학생은 R을 제대로 학교 수업에서 배웠다. 결국 우수한 학생으로 크고 있는 것 같다.

연구교수 때는 내가 제안한 것들 중에 카카오 아지트가 채택되어 시험적으로 운용되었다. 그때까지 이메일로만 오갔던 학생-교수 사이의 디스커젼이 온라인 상에서 거의 실시간으로 이루어지는 것을 보았다. 말하자면 실험실 운용의 사이버 인프라를 제공했던 셈이었다.

현재 다시 포닥2 오면서는 원드라이브와 오피스365를 추천했다. 논문 작성하면서 실시간으로 교수의 피칠갑(...)이 시작되었고, 논문 필진 중 학생 한 명은 라이팅에 실질적으로 많은 도움이 되었다고 했다. 그 학생에게는 멘델레이 사용법도 살짝 가르쳐 주었는데, 이전까지의 매뉴얼 타이핑에 비해 엄청 쉽다며 신나게 써먹고 있다.

...이런 사실로 미루어, 내가 갈만한 다음 직장은 어떤게 좋을까. (충분한 연봉과, 안정성과 성장성이 있어야 한다.) 연구성과(=논문)에 관계 없이 갈만한 좋은 곳이 있을까?

반응형

'과학' 카테고리의 다른 글

박사과정 대학원생 수준의 연구 설계  (0) 2021.05.27
반응형

과학적 방법론에 입각한 연구계획 수립하기


대학원에 입학해서 많은 경우 선배나 포닥이 하는 실험 중 일부를 받아다가 그게 뭐하는 건지도 모르고 실험 방법만을 배워서 진행하곤 한다. 하지만 그러면 랩미팅 시간에 대뜸 '그래서 그 실험은 뭣땜에 and/or 뭘 보려고 한건데?'라는 질문에 대답 못하는 경우가 생긴다.


가장 우선적으로, '내가 이렇게 실험을 많이 했다' 하는 것을 보여주기 이전에, 그 많은 실험들을 왜 하는가에 대한 고찰이 필요하리라고 생각한다. 예를 들어서 다음과 같은 사고 과정을 단계 단계별로 진행해 보면 될 것이다. 다만 이러한 과정이 절대적인 것은 아니며, 나름의 과학적 방법론에 입각해서 체계적으로 설득력 있는 가설-검증 과정을 수행할 수 있을 경우 다른 방법을 따르는 것도 좋다.


0. Background

가장 최우선 과제는, 그 주제를 다루는 논문을 많이 읽어서 내용 및 트렌드를 파악해야 한다는 것이다.


전통적으로는 미국 NIH의 PubMed 데이터베이스에서 논문 검색을 해서 찾는 방법이 있고, 요즘 들어서는 구글 학술검색도 많이 좋아져서 검색된 특정 논문의 피인용 숫자 및 그 논문을 인용한 다른 논문들의 목록까지도 보여주고 있기에 유용하다. 개인적으로는 PubMed 검색과 구글 학술검색을 병행하는 편이며, 특히 PubMed Central (PMC) 데이터베이스로 검색되는 논문들은 오픈액세스 라이센스라서 소속 기관이 특정 저널과 계약관계가 없어도 무료로 볼 수 있는 논문들이라, 찾는 논문들이 여기서 검색되면 제일 편리하다. (브릭에서 전체 읽기)


반응형

+ Recent posts