[Updating] !notes on creativity and research

notes on research

• research
  • 训练和考察他们检索寻求信息的能力、基于充分的信息进行推理判断的能力
  • 试图寻找史料，尽可能阅读多方观点，搭建自己的推理论证框架来得出独立结论

notes on problem-solving skills

• 建立自己做事的方法论

  • TODO
  • 以目前的知识能力, 建立一个方法系统, 试图解决一类问题
  • 然后, 通过一个个问题的套用, 会发现系统中许多不足之处, 刺激方法系统的演进
  • 当方法系统演进不了的时候, 就去大量阅读, 借用别人的方法来刺激

• 解决“复杂，未知问题”的能力

  • 自己做的具体事务背后，终极目标是什么，或者这件事情对组织的价值究竟是什么
  • 是否在现有位置上，看到更长远的事情 - 是否愿意跳出现有框架，去做创新思考，解决更复杂的问题，以及去领悟问题背后的意义
  • 决定差异的，是你的高度，和面临那些未知的挑战与问题

• 解决问题的能力

  • 从现状出发，确定解决的目标是什么，再设定一个有解决价值的课题，然后付诸实际

• 构想力 - 限定问题的能力

  • 一般问题 转化为 非常有用的子问题
  • 准确地限定问题关键点， 确定问题的焦点 <- 研究的构想力
  • 对问题限定并给出定义的练习 -> 决定问题的构思范围
  • 能否将想到的问题简单到最合适的程度，省略到什么程度是关键

• 最初的想法的基础上， 添加附加东西，使之升华的水平才是决定胜负的关键

• 真正的能力是解决现实生活中具体问题的能力

  • 从实际问题出发，自己思考，调研，解决，得出结果
  • 培养学生独立思考问题， 下功夫求解，寻找答案的能力
  • 思考现实生活中的问题，然后产生各种各样的疑问，进而再去解决
  • “如果... ,你会怎么做？”

notes on critical thinking

• "批判性" 是指思辨式的评判，多是建设性的
• 理性分析，精确求证
• 批判性思维除了要求在逻辑上、统计上不犯错误之外，更重要的是要想别人没有想过的问题，问别人没有问过的问题 ，并且要刨根问底，探究深层次、根本性的原因

notes on ideas

• 相关性不等于因果性
  • 但是现在的大部分研究都是在论证相关性的，通过研究相关性来寻找其背后的机制，这是是推导出因果的基础,要直接论证因果性难度实在是太高，而且确定性的推论本来也不符合科学的要求。所以大家以后不要看到一篇研究相关性的论文就说它不科学

notes on taste

• 如何提升研究品味，判断哪些工作是重要的，哪些不重要，可能是困扰我们这些年轻研究人员的一个重要问题。我在清华读硕士的时候，导师应明生教授推荐过一个方法，读科学史 -- 看ACM网站上对图灵奖工作的介绍，看google scholar里引用次数很多的文章有什么样的特点 -- 受益很多。

notes on research - creative, thoughtful original engineering research

• How to come up with research ideas:

  • 1) Find an existing research area you're interested in
  • 2) Find a paper in the area, check out the research they cite/cite them
  • 3) Keep reading until you have a Q: "What would happen if I tried X?"
  • 4) Try X

• idea

  • mini-proposal
  • 3 project suggestions

  • 1 sentence

  • proposal

  • one page

  • what's your idea, and how do u plan to pursue it?

  • partial draft

  • 3 pages: Introduction, background, baseline results and a literature review

  • presentation

  • 5 minutes

  • final paper

  • 4 pages

• execution

• writing

• Example

  • The initial one-page proposal, which should describe the problem that you plan to solve, what resources (code, data, etc.) are available to help you solve it, and a very rough plan of work. We will try to offer constructive feedback at this point.

  • The partial draft in a single four-page document (not counting references and contribution statement). This should essentially be a near-final draft of your paper (in NAACL 2018 style) with the results, analysis, and conclusion sections missing. It should contain a link to your public GitHub repo, which should show evidence that you have implemented everything you’ll need to be able to run your experiments.

  • The presentation. You will be asked to give a very short presentation (likely 3–5 minutes) on the last day of class explaining the key result of your paper.

social skills

• 独立研究员

  • 独立 不等于 一个人
  • 独立意味着你有所有权，需要自己收集知识，形成想法，然后拿这些东西和所有能提供帮助的人对话
  • Independent does not mean alone. Independent means figuring out the right questions to ask, finding the right people to ask, and taking the initiative to make it happen

• direction

• 一个年轻的研究生最重要的一件事情是什么？
  • 其实不是你学到哪些技术，而是要使你自己走进未来五年、十年有大发展机会的领域，这才是你做研究生时所要达到的目标。”

确定的方向

• 重要的问题和挑战
• 即将成为热门 - 影响重大
• 高风险

Proposal <- 确定的问题 <- 确定的方向

• source <- web of science and google scholar

  • Conferences and journal
  • keywords -> 浏览摘要 来 筛选

• review paper - 文献综述

  • 一定要广， 尽力把一切可能想到的方法都想到
  • 选择参阅综述性文章 -
  • 刚入门，可以搜索业界大牛的阅读清单 （博士课程的纲要）
  • from abstract to conclusion
  • 自己做充分的调研，拿出充分理由和资料，来证明自己的想法

• 阅读侧重

  • 经典文章， 顶级刊物， 引用量大的文章， 和自己点子接近的 => 经典/重要/相关/最新的文章
  • 一般不超过15篇，大概5篇

problem solving <- 确定的思路 和 确定的方法

• 思路新颖

• From proposal, 一定得到了两三种可行的方法

• 从这些筛选的方法， 找相关文献细读了
  • 从最近的文献开始查找， 然后通过其引用找到更早的文献 -> 找到的文章一般都是引用数高的
  • 不要停止文献搜索
  • 顶着文章的limitation去读，去想
  • 改进（或去掉）假设 ->适用性更广
  • 改进方法 ->更快更准
  • 每解决一个小问题，可能就是一篇paper

paper - 将结果转化成论文

• 表达清晰

• 确保文献引用的专业性

  • 可信度而言：journal （peer review) > book > conference > presentation > website

• 引用的准确性

• 审稿

  • 先看题目，摘要 abstract，看介绍 -> 做了什么，贡献是什么
  • 再看核心实验结果， conclusion -> 做的好不好

• 以读者为核心阐述工作

  • 降低信息理解难度
  • 标题的重要性 -> 一句话概括所做工作， 包含关键词
  • abstract -> 用于简单，让外行能看懂
  • Introduction -> 论证所做的工作的必要性和重要性 - 首页加图表

精度

• 精度文章，叙述文章细节

  • 积极地和论文进行对话
  • 用自己的语言复述并记录下来
  • 记录自己的疑惑， 并思考
  • 如果作者再多做一步，你就信了

  • 可以设计一个怎样的研究，来证明对方是错误的

  • 积累经过了积极思考的短评

reading

• 想治学的，读了书还要去读论文，广读书， 并且仔细研究典型论文（结构，方法，表达）

教训

• 总是想着把基础打扎实，从而在理解和复现已有的技术上花了太多的时间

• 在实验设计上，我也没能做到「抓大放小」，而是曾经拘泥于一些小细节，比如训练数据和测试数据的划分。这些原因，导致我还没来得及走到「创新」这一步，研究项目就结束了。

summary

paper review

Explain the following items first:

1: Why is the paper you read related to the topic we covered: e.g., related to language modeling, or related to common sense reasoning. (1pt)

2: What techniques did it use? e.g., deep learning, smoothing, etc. (1pt)

3: What data sets did it use to evaluate the models? e.g., WSJ, etc. (1pt)

Write a review with:

1. Three strong points (explain why). (5pt)

2. At least one weak point (Whether the techniques used are solid? Are there any drawbacks? Too many parameters to tune? Whether the compared baselines are strong baselines? Whether they tune the parameters for the baselines? Whether does the algorithm developed make sense? Are there any kinds of improvements? Are there any theoretical flaws/drawbacks?) (2pt)

3. (Optional) Questions to me (what makes you confused or what you feel need to be clarified).

reference

• "How to Read a Paper"
• 科研具体思路
• "Crafting Your Research Future"