五千年(敝帚自珍)

主题:【讨论】科學雜誌的辦法能給西西河管理什麼啟發? -- 柠檬籽儿

共:💬15 🌺44
分页树展主题 · 全看首页 上页
/ 1
下页 末页
  • 家园 【讨论】科學雜誌的辦法能給西西河管理什麼啟發?

    一般來說,科研工作者會將自己的一段工作總結之後交付一種雜誌發表。雜誌接受稿件之後,不會直接發表,一個編輯會負責這篇稿件,他/她先大致瀏覽一下這篇稿件,然後決定是否有必要將這篇稿件送審。

    如果編輯覺得topic合適,他就會在一個專家數據庫中找出兩三個合適的專家,然後將稿件發給他們,看看他們是否願意審閱這篇稿件。如果有個專家沒有回應,或者沒空,那麼編輯會再找一位專家來填補這個空白。編輯一般都會給專家一段時間,使他們能自由獨立地審閱這篇稿件。一段時間之後,專家的評審建議回到編輯手裡,編輯再決定是否拒絕、修改、或者發表這篇文章。

    這個過程一方面體現專業精神,也使作者體會到發表文章是一件嚴肅的事情,同時也使讀者能抱著認真的態度來看待發表的文章。我覺得西西河可以從這裡採納一些有意義的手段,來提高西河眾的專業精神和修養。

    關於主貼

    當然我不會建議請某些ID做編輯這個位子,發帖者可以自主決定自己的帖子出現在哪個板塊上。但是帖子不會立即被發表,而是由系統隨機分配給幾個(比如5個,選取奇數個便於投票產生結果)指定的ID作為評閱人。這個ID的選取規則是,選取在發帖人指定板塊上曾經發表過帖子的ID。被選取的ID在規定時間內審閱這個帖子,他們需要確定(1)此帖是否適合發表在本版上?(2)此帖是否能被發表在本版上?如果是,是否建議修改,還是直接接受?最終的決定是由投票產生的。同時,這個過程儘管是匿名的,但是評審意見和投票結果是公開的。

    由於是隨機分配,並且選取一定量的ID作為評閱人,可以相當程度避免衝突,並且,匿名評閱人達成的共識能夠使更多人認同,即便有不同意見,至少也會尊重這個共識。

    關於回帖

    其實很多產生衝突的問題出在回帖中的。一般幾種情況,

    (1)回帖者與主帖產生分歧;

    (2)回帖者之間產生意見分歧;

    (3)回帖者借主帖發表無關見解。

    我們試想一種理想化的情景,如果一個人閱讀了一篇文章之後,對文章有不同意見。如果這位讀者是冷靜理智的,那麼他應當能在一個回复中表述完自己的主要思想。

    那麼我們是否可以考慮,針對同一個主帖的回帖,對同一個ID其實可以設一個限制,每個ID最多只能在同主題(包括此主題下對其他ID的回复的回复)下回复n次(例如n = 3)。因為回复機會有限,每個ID不得不思考之後再發表自己的見解。

    當然也有例外,有時候討論是互相激發,帖主與回帖者之間就一個話題展開討論,總是有新的想法出現,那麼此時加以限制就妨礙的交流。在這種可能的情況下,帖主有權限放開回帖者的回复次數。

    這樣就能在討論者之間形成一種制衡。提出觀點的人沒辦法取消不同的聲音,但是惡意回复者也沒有太多機會製造麻煩。真正希望能夠進行建設性交流的討論者也不會因此而受到限制。

    論壇的宏觀指標

    開放宏觀指標非常重要,比如股市的大盤指數是一個開放的數據,誰都可以看到,這樣大家會對市場當前狀況有一個直接的宏觀的了解,而不會因為一兩家公司業績好壞做出過分的反應。

    現在西西河也是類似的情況。因為缺乏宏觀指標,有人說吵架多了,創新少了,有人說其實一直都挺好。這就是因為缺乏公開的宏觀數據導致的。如果我們有一個指標,比如論壇創新話題指標,論壇健康討論指標這樣的宏觀數字,我們就不會有過分的反應。

    比如之前我在回复鐵手帖子中建議的一些指標,

    我想了一些宏觀指標

    diversity of topic

    話題多樣性,我個人認為這是個重要的指標。不一定要人工統計,按照google對文本內容聚類的算法應當可以解決吧。但是可能有個先驗數據的問題。所以我想,這個指標的計算可以大致根據詞頻聚類,在合理分類條件下,看看有多少個質心來解決。

    ratio of active member to inactive member

    這個指標能告訴我們整體西河眾參與當前論壇的“活力”。

    total number of flowers/eggs

    這個指標大致應當與前一個指標呈正相關關係,反之,則可以初步判斷是否有人過度活躍。

    co-occurrence of flowers/eggs

    這個指標算是大殺器吧,根據每個帖子花/蛋的共顯性來判斷人們是否進行獨立判斷。因為我們假設隨機挑選的兩個話題之間相互是獨立的。那麼也就是說,在人們分別獨立的討論不同問題時,他們的觀點應當是隨機分佈的。如果在實際檢驗中,我們發現不相關話題被花/蛋的ID總是顯著地關聯出現(採用超幾何分佈概率來檢驗,P<0.05),那麼就說明這些關聯的ID之間不是相互獨立的,也即相互之間有作用。那麼在之後進行的網站調查中,這些ID的評分需要被加權。

    其實這些實現起來並不難。如果能夠成為人人可以查閱的公開數據,那麼一段時間之後,每個人都可以通過觀察歷史數據來了解論壇當前的真實情況,ID之間的口水就完全沒有必要再起紛爭了。

    這不是拍拍腦袋就給的主意,而是考慮了一段時間才拿出來供大家參考的。希望鐵手能花一點點時間看看,是否有合理的內容和參考的價值。

    关键词(Tags): #論壇管理#科學雜誌#獨立審稿人制度通宝推:史文恭,铁手,

    本帖一共被 2 帖 引用 (帖内工具实现)
    • 家园 您这个办法旧矛盾解决不了,反而会制造新矛盾。

      您这办法,本身就是在制造新矛盾,而且这个矛盾比以往的更大。

      如果随机让ID决定某个主帖能不能发,那么某些主帖可能被莫名其妙地毙掉。比如审帖人立场与发帖人不同。又比如看不上主帖的行文。——主帖一次发不了,发帖人改个标题,变一下行文再发。下一轮随机审批的ID可能让他发,也可能不让。如果连续碰壁。发帖者就会为自己的帖子该不该发与别人吵,或者干脆为了这个引发的争执离开西西河。尤其牛人,随便找几个人来决定他的帖子该不该发,牛人能接受?而且牛人招风。一旦随机到的审帖者是牛人的反对者,毙掉其主帖。牛人直接大闹的可能性很大。

      相反,如果这个帖子的确有问题,但是偏偏随机选到的这几个审帖的会员心不在焉或者就喜欢看吵架。就把这帖子放出来了,不仍然是悲剧吗?所以说,审帖人搞随机肯定是不行的。

      其實我們也知道,投稿到科學雜誌上,為了爭取發表,也有最後一招,就是黑名單。作者可以提供一個名單,列出不希望參與評審的ID,編輯就不會將他的文章送到那些ID手裡。這也算是在極度衝突下的一種自我保護。
      您这个专家用可以。因为本专业领域里有那些有力量的反对者,作者本人是知道的。但是,如果你让牛人。比如忙总列出他在西西河有那些不喜欢的ID。他是列不全的。恐怕也不屑于列出来或懒得列这个东西。当然,您要是直接从被他屏蔽的人员中读取,倒是会省很多事。但是,正如牛人的粉丝是列不完的一样。牛人的敌人也是列不完的。

      至于限制回复次数。限制数少了。论坛冷清。限制数多了,限制争吵的效果不好。而且争论有一个情绪自然发泄的过程。回复达到限制导致不能再发,会使被限制的人有挫败感。因为担心被对方认为是理屈词穷。必定来日再战。这样一来反而延长了争论周期。——所以说,以限制回复次数来限制吵架。效果不会好,弊端还不少。目前会员有屏蔽功能,可以禁止别人回复自己。只是一些会员不愿采用这种方式而已。

      关键词(Tags): #版务
    • 家园 对回贴的限制是很好的想法,花

      对回贴的限制(开放)的想法感觉很好,花。

    • 家园 这个建议我觉得不错

      这个建议很有点意思

      我觉得在避免口水争吵方面很有想法

      现在一些网站一些话题有的是有人故意的找茬挑衅,这样的往往一个人就能造成很大的破坏

      找专家评审是科学文章保证质量的一个基本

      不过楼主的建议也有个坏处:效率偏低,会把网站的时效性变没了

      这个问题不解决,很多人会失去发帖的热情

    • 家园 感謝大家參與討論,補充一下

      總的思路是,主貼審查,回帖限制。現在鐵手採取花錢發帖的方法其實也應當有這個效果,具體的效果還要看接下來大家的表現。

      我想補充一下主貼審查的想法。

      獨立審查

      其實專業期刊選擇的reviewer也不能說就特別合適,除非是小的community,大家背景和方向基本一致。但是實際上現在發展太快了,選擇合適的reviewer並非那麼容易,只能根據以前發表文章的作者自報家門得到的信息來決定。我想,其實西西河每個版面的劃分標準並沒有專業雜誌那麼高,因此對reviewer的要求也沒有那麼高。

      reviewer選擇的範圍主要集中在在本版發主貼的ID,然後從中隨機產生一定數量的reviewers。這些板塊其實就是一個個community的窗口,reviewers也是作者,因此,相互審查的主要作用在於制衡- 如果大家都想說話,但是觀點不同- 那麼就要端正態度,好好說話。久而久之,就能產生好的文化。

      黑名單

      其實在科學領域中,同一個community的研究者之間的觀點衝突也很強烈。兩個人恨不得對方明天就出車禍,但是在大會上的發言,還是擺事實講道理,只說自己怎麼好,不對他人進行攻擊。這不是因為他們品格高尚,而是制衡的結果。

      其實我們也知道,投稿到科學雜誌上,為了爭取發表,也有最後一招,就是黑名單。作者可以提供一個名單,列出不希望參與評審的ID,編輯就不會將他的文章送到那些ID手裡。這也算是在極度衝突下的一種自我保護。編輯也可以利用這些黑名單信息,從宏觀尺度衡量ID之間是否有結黨的傾向,這樣更加便於管理。

      關於工作量的問題

      在我構想的西西河管理模式中,編輯其實不是人,而是程序。程序根據發帖人自己主張的版面自動列出候選的reviewers。發帖人可以自己從這個表單裡勾選黑名單,但是有數量的限制(比如少於1/10)。

      在剩下的候選reviewers中,系統選擇一定數量ID並發信詢問是否願意審查此帖,然後選擇最先回复(願意)的前n個ID作為reviewers。在規定時間內,reviewers應給出評價(拒絕,發表,修改後發表)和修改意見,如果到了指定時間而未評價,則按照(建議直接發表)處理。

      因此,實際上工作量是分散在reviewers中的。一個community越大,reviewer的工作量就越小。每次審查意見都可以放在數據庫中並進行統計,作為管理者的參考信息。


      本帖一共被 1 帖 引用 (帖内工具实现)
    • 家园 有创意的想法,但效果可能适得其反。

      首先,你这是有创意的想法。

      其次,我认为你的想法效果会适得其反。

      科学杂志有三个条件是西西河没有办法具备的。第一,科学杂志的投稿人、审稿人、编辑有共同的利益和目标。大家都想把这门学科办好,共同目标是第一位的,而分歧是第二位的。而在西西河时政版面,这种共同目标并不存在。每个人都会说要西西河“好”,但是什么是“好”,根本就说不到一块去。

      第二,科学探讨本身的平等性。科学研究的范式本身包含了内在的平等,大牛固然会受到照顾,但是如果大牛的文章包含硬伤,搞错了事实、数据,那被人指出之后照样要该怎样就怎样,不会有人说“请给大牛必要的尊重”,这在西西河也没法做到。

      第三,资源不足。科学杂志的人力资源不是西西河能比的。科学杂志的各种人员如编辑、审稿人、投稿人,都是专业或半专业的,而西西河的至少审稿人没法半专业,全是业余的,一业余水平就没法保证。西西河尝试过匿名裁判制,效果并不好嘛。

      但是,对于你有创意的想法,我支持试验一下,不试验怎么能证明它不行呢。

      • 家园 呵呵,前面大段都论证了楼主在挖大坑

        然后最后一句说:让我们勇敢的跳下去,不跳一跳,怎么知道能不能爬出来

      • 家园 其实你提到的问题,都有技术性办法解决的

        第一,科学杂志的投稿人、审稿人、编辑有共同的利益和目标。大家都想把这门学科办好,共同目标是第一位的,而分歧是第二位的。而在西西河时政版面,这种共同目标并不存在。每个人都会说要西西河“好”,但是什么是“好”,根本就说不到一块去。

        这个可以设计一个选择性条件的编委会。只有某些条件符合要求的作者,才有权力成为审稿人。

        第二,科学探讨本身的平等性。科学研究的范式本身包含了内在的平等,大牛固然会受到照顾,但是如果大牛的文章包含硬伤,搞错了事实、数据,那被人指出之后照样要该怎样就怎样,不会有人说“请给大牛必要的尊重”,这在西西河也没法做到。

        所有审阅的帖子,也可以采用匿名的形式。并作出规定,不能在文章中直接泄露个人信息,否则不予采纳。

        科学界也是有人情关系的,但是有相应的制度设计把这种影响最小化。

        第三,资源不足。科学杂志的人力资源不是西西河能比的。科学杂志的各种人员如编辑、审稿人、投稿人,都是专业或半专业的,而西西河的至少审稿人没法半专业,全是业余的,一业余水平就没法保证。西西河尝试过匿名裁判制,效果并不好嘛。

        其实我发现河里每个版面每天发的文章并不多,关键是有热点事件引起激烈讨论的时候,需要有人自愿站出来多分担一点。

    • 家园 这个想法很好,关于主题帖,也有过类似的考虑

      所面临的问题主要是发帖成本太低,因而总是会出现一些不太合适的内容,而网站的定位,则相对鼓励精品和用心写作。对于时政话题,则鼓励从了解现象的角度去写,而不是为了宣传政治观点。

      公开出现的话题需要有一个删选,怎么来实现,就可以有很多种考虑。关于主题帖,你所提到的,是一个很好的思路。好处是可以保证主题质量,缺点就是时间性的问题,还有“编辑”人选的问题,还有就是工作量的问题。是否应该这么做,一个关键可能要看所有主题中达标主题的比例,如果足够高,则工作量就会显得没必要。

      回帖的限制思路极好。

      宏观指标的思路也极好。

    • 家园 这里有个问题:杂志是定期出版的,而论坛讨论是实时的

      所以从交稿,到审稿,到决定是否采用可以有一段时间,编辑也有足够的时候把稿子送给审稿者及候选人。但是论坛的讨论却是实时的,这个评阅的过程不可避免会耽误很长时间(可能是评审人在线但没有及时评阅,或者是帖子发给评阅人后评阅人刚好下线了,系统只好等time out后再给另一个候选的评阅人)。这就相当于在辩论赛中,规定双方每轮辩论之间有个5分钟休息时间——这个延时将导致思路被打断而辩论没法继续

      同时,由于没有专门的对某个话题有权威的评阅人,而只是随机挑选评阅人,就会把专业杂志的评审变成法庭上没有法官的陪审团,同时这些评阅人不会象陪审团成员一样自动与相关讨论保持距离,他们也会有自己的观点也可能参与讨论,这样就不能保持中立。

      第三,陪审团有权威性,而在论坛,权威是属于管理层的。这个也是个很大的矛盾。

      不过我非常喜欢你提出的这些指标,这些指标应该会对西西河非常有帮助。

    • 家园 很有创意的想法

      很有创意的想法,花一朵。

      不过,即便是我当初在某事件中再温和一些的提法(只是提法而不是做法),也有一些“老河友”们另贴异议,有“言语刻薄”之“大多数”之喻。所以对您的提法的前景,不抱乐观啊。

      下摘自我当初的一个帖子

      西西河之所以有价值,西西河之所以不是凯迪,不是天涯,正在于它有一批正直的、认真的网友,他们从事实出发,认真严肃地提出自己的观点,认真严肃地为爱好历史、爱好事实的作者和读者义务地、免费地、热情地做匿名的或者实名的Reviewer。

      这才是西西河最大的价值,基于它所拥有的一批好河友的价值观的价值。

      作为个人,我们可以因为个人情感不去赞美它,不去接受它,但是作为一个集体/整体,难道我们起码不应该去接受它,或者起码宽容这种批评吗?好的作品是不怕review的。

      秋末冬初:我觉得这是个很严肃的问题

    • 家园 首花谢宝

      我觉得这是非常好的建议,希望西西河能在论坛管理方面独创一帜,做出自己的特色。

分页树展主题 · 全看首页 上页
/ 1
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河